OpenAI se apoya en GPT-4 para crear un sistema de moderación de contenido

OpenAI, la compañía que capitanea Sam Altman, se apoya en la tecnología GPT-4 para desarrollar un sistema de moderación de material “tóxico” y “dañino” en los confines de Internet. El objetivo de este nuevo sistema de filtrado consiste en aliviar la “carga mental” de los moderadores humanos que desempeñan esta función y que están sometidos a altos niveles de estrés a causa de ello.

La compañía creadora del popular chatbot ChatGPT ha puesto en valor la necesidad de moderar el contenido que se vierte en las plataformas digitales, ya que, considera, se trata de algo "crucial en el mantenimiento de la salud" de dichos medios. En este sentido ha destacado el “esfuerzo meticuloso, la sensibilidad y la compresión profunda del contexto" que requiere el proceso de moderación de contenido en línea.

Siguiendo esta misma estela ha apuntalado la necesidad de lograr una rápida adaptación a nuevos casos de uso en este ámbito. Sin embargo, la entidad no ha olvidado que las cosas de palacio van despacio, y ha puesto de relieve que, debido a su carácter desafiante, será un proceso lento de llevar a cabo para quienes se encargan de moderar el contenido y filtrar el material dañino o inapropiado.

Sobre el sistema

La tecnológica ha presentado así un sistema de moderación de contenido, que utiliza su propia tecnología GPT-4 para filtrar el contenido en línea y detectar el material “tóxico” y “dañino” que se vuelca en las plataformas digitales. Se trata, según fuentes corporativas, de un sistema que, mediante su tecnología de IA más potente, puede ayudar a moderar el tráfico en línea de acuerdo con las políticas específicas de las plataformas donde se implemente. De hecho, cualquier usuario con acceso a la API de OpenAI puede implementar este sistema y crear su propio proceso de moderación asistido por IA.

De esta manera el sistema puede “aliviar la carga mental” de gran parte de los moderadores humanos, al permitir que se apoyen en la tecnología GPT-4 para filtrar los contenidos. Asimismo, la citada tecnología permite un etiquetado “más consistente” de los contenidos online, ya que los grandes modelos del lenguaje (LLM, por sus siglas en inglés) son más sensibles a las diferencias de redacción y pueden adaptarse más rápido a las actualizaciones para ofrecer una experiencia de contenido uniforme.

Operativa

Para utilizar el sistema se han de introducir primero las reglas de moderación deseadas en GPT-4. A continuación OpenAI prueba el funcionamiento del sistema de moderación con una muestra de contenido problemático, basándose en las citadas reglas preestablecidas. Tras ello, las decisiones tomadas por la IA deberán ser revisadas por los usuarios moderadores y, en caso de encontrar juicios erróneos, se puede corregir la decisión de la IA y entrenarla para que lleve a cabo una moderación más precisa. Con este procedimiento, se consigue reducir el proceso de desarrollo de políticas de contenido "de meses a horas".

A pesar de todo ello, OpenAI ha señalado que, por el momento, existen algunas limitaciones en el sistema.  Hace referencia, por ejemplo, a posibles juicios sesgados no deseados.