En este artículo se profundiza en la configuración del comportamiento de ChatGPT por parte de OpenAI, así como en sus planes para mejorar la personalización del usuario y hacer pública su toma de decisiones en estas áreas. Como organización que busca garantizar que la inteligencia general artificial beneficie a toda la humanidad, OpenAI se preocupa por el comportamiento de los sistemas de IA que construye y cómo se determina dicho comportamiento, especialmente en el período previo a AGI.
Desde el lanzamiento de ChatGPT, varios usuarios han planteado preocupaciones sobre la posibilidad de que los resultados sean políticamente sesgados, ofensivos o cuestionables. OpenAI ha tomado en serio estas inquietudes y ha reconocido las limitaciones reales de sus sistemas que deben ser abordadas. Al mismo tiempo, también se han detectado conceptos erróneos sobre cómo funcionan los sistemas y políticas de la organización para dar forma a los resultados que ofrece ChatGPT.
A continuación, resumimos:
- Cómo se moldea el comportamiento de ChatGPT
- Cómo se planea mejorar el comportamiento predeterminado de ChatGPT
- La intención de OpenAI de permitir una mayor personalización del sistema
- Los esfuerzos de OpenAI para obtener más información pública sobre su toma de decisiones
¿Dónde estamos hoy?
A diferencia del software convencional, los modelos de ChatGPT son redes neuronales masivas. Sus comportamientos se aprenden a partir de una amplia gama de datos, no programados explícitamente. Aunque no es una analogía perfecta, el proceso es más similar al entrenamiento de un perro que a la programación convencional. Primero viene una fase inicial de “preentrenamiento”, en la que el modelo aprende a predecir la siguiente palabra en una oración, informado por su exposición a muchos textos de Internet (y a una amplia gama de perspectivas). A esto le sigue una segunda fase en la que “afina” los modelos para reducir el comportamiento del sistema.
En la actualidad, este proceso es imperfecto. A veces, el proceso de ajuste no logra su intención (producir una herramienta segura y útil) ni la intención del usuario (obtener un resultado útil en respuesta a una entrada dada). Mejorar los métodos para alinear los sistemas de IA con los valores humanos es una prioridad principal para OpenAI empresa, especialmente a medida que los sistemas de IA se vuelven más capaces.
Un proceso de dos pasos: pre-entrenamiento y fine-tuning
Los dos pasos principales involucrados en la construcción de ChatGPT funcionan de la siguiente manera:
- En primer lugar, se realiza un “pre-entrenamiento” haciendo que el modelo prediga lo que sigue en un gran conjunto de datos que contiene partes de Internet. Podría aprender a completar la oración “en lugar de girar a la izquierda, giró ___”. Al aprender de miles de millones de oraciones, estos modelos aprenden gramática, muchos datos sobre el mundo y algunas habilidades de razonamiento. También pueden aprender algunos de los sesgos presentes en esas miles de millones de oraciones.
- Luego, se “afinan” estos modelos en un conjunto de datos más limitado que se genera cuidadosamente con la ayuda de revisores humanos que siguen las pautas proporcionadas por OpenAI. Dado que no se pueden prever todas las posibles entradas que los futuros usuarios puedan ingresar al sistema, no se escriben instrucciones detalladas para cada entrada que ChatGPT pueda encontrar. En su lugar, se describen algunas categorías en las pautas que los revisores usan para revisar y calificar los posibles resultados del modelo para una variedad de entradas de ejemplo. Luego, mientras se utiliza, los modelos se generalizan a partir de los comentarios de los revisores para responder a una amplia gama de entradas específicas proporcionadas por un usuario determinado.
El papel de los revisores y las políticas de OpenAI en el desarrollo del sistema
En algunos casos, los revisores pueden proporcionar orientación sobre un tipo específico de salida (por ejemplo, “no completar solicitudes de contenido ilegal”). En otros casos, la orientación que comparten con los revisores es de un nivel más alto (por ejemplo, “evita tomar una postura sobre temas controvertidos”). Es importante destacar que la colaboración con los revisores no es única, sino que es una relación continua de la que aprenden mucho de su experiencia.
Una gran parte del proceso de ajuste es mantener un ciclo sólido de retroalimentación con los revisores, lo que implica reuniones semanales para abordar preguntas o proporcionar aclaraciones sobre las pautas de OpenAI. Este proceso iterativo de retroalimentación es la forma en que el modelo se mejora con el tiempo.
Abordar los sesgos
Muchas personas tienen preocupaciones legítimas acerca de los sesgos en el diseño y el impacto de los sistemas de inteligencia artificial (IA). En OpenAI están comprometidos a abordar este problema de manera firme y a ser transparentes sobre sus intenciones y su progreso. Con este fin, han compartido parte de sus pautas relacionadas con temas políticos y controvertidos. Sus pautas son explícitas en cuanto a que los revisores no deben favorecer a ningún grupo político. Cualquier sesgo que pueda surgir del proceso descrito anteriormente son errores, no características.
Si bien siempre habrá desacuerdos, esperan que compartir esta información brinden más conocimiento sobre cómo vemos este aspecto crítico de una tecnología tan fundamental. Ellos creen que las empresas de tecnología deben ser responsables de producir políticas que resistan el escrutinio.
Siempre están trabajando para mejorar la claridad de estas pautas y, en función de lo que hemos aprendido del lanzamiento de ChatGPT hasta el momento, proporcionarán instrucciones más claras a los revisores sobre posibles dificultades y desafíos relacionados con el sesgo, así como personajes y temas controvertidos. Además, como parte de sus iniciativas de transparencia en curso, están trabajando para compartir información demográfica agregada sobre sus revisores de una manera que no viola las reglas y normas de privacidad, ya que esta es una fuente adicional de posible sesgo en los resultados del sistema.
En la actualidad, están investigando cómo hacer que el proceso de ajuste fino sea más comprensible y controlable. Están basándose en avances externos, como las recompensas basadas en reglas y la IA constitucional.
Hacia dónde van los componentes básicos de los sistemas futuros
En la búsqueda de su misión, OpenAI se compromete a garantizar que el acceso, los beneficios y la influencia sobre AI y AGI estén generalizados. La organización cree que se requieren al menos tres componentes básicos para lograr estos objetivos en el contexto del comportamiento del sistema de IA.
1. Mejorar el comportamiento predeterminado. Para que tantos usuarios como sea posible encuentren estos sistemas útiles “listos para usar” y sientan que la tecnología comprende y respeta sus valores.
Con este objetivo en mente, OpenAI está invirtiendo en investigación e ingeniería para reducir los sesgos evidentes y sutiles en la forma en que ChatGPT responde a diferentes entradas. En algunos casos, ChatGPT actualmente rechaza salidas que no debería y, en algunos casos, no rechaza cuando debería. OpenAI cree que es posible mejorar en ambos aspectos.
Además, OpenAI tiene espacio para mejorar en otras dimensiones del comportamiento del sistema, como el sistema “inventando cosas”. Los comentarios de los usuarios son invaluables para realizar estas mejoras.
2. Define los valores de tu IA, dentro de límites amplios. OpenAI cree que la inteligencia artificial (IA) debería ser una herramienta útil y personalizable para cada usuario dentro de los límites definidos por la sociedad. En este sentido, están trabajando en una actualización de ChatGPT que permitirá a los usuarios personalizar fácilmente su comportamiento.
Sin embargo, OpenAI reconoce que permitir una personalización extrema puede correr el riesgo de permitir usos maliciosos y amplificar sin pensar las creencias existentes de las personas. Por lo tanto, siempre habrá algunos límites en el comportamiento del sistema.
OpenAI considera que el desafío radica en definir cuáles son estos límites. Si intentan tomar todas las decisiones por su cuenta o desarrollar un sistema de IA único y monolítico, estarán fallando en el compromiso que asumieron en su carta para “evitar la concentración indebida de poder”.
3. Aporte público sobre valores predeterminados y límites estrictos. Una forma de evitar la concentración indebida de poder es otorgar a las personas que usan o se ven afectadas por sistemas como ChatGPT la capacidad de influir en las reglas de esos sistemas.
OpenAI cree que muchas decisiones sobre sus valores predeterminados y límites estrictos deben tomarse colectivamente, y aunque la implementación práctica es un desafío, el objetivo es incluir tantas perspectivas como sea posible. Como punto de partida, están buscando información externa sobre su tecnología en forma de equipo rojo. Recientemente, también comenzaron a solicitar la opinión del público sobre la IA en la educación (un contexto particularmente importante en el que se está implementando su tecnología).
OpenAI está en las primeras etapas de pilotear esfuerzos para solicitar la opinión pública sobre temas como el comportamiento del sistema, los mecanismos de divulgación (como la marca de agua) y sus políticas de implementación en general. También están explorando asociaciones con organizaciones externas para realizar auditorías de terceros de sus esfuerzos de seguridad y políticas.
Conclusión
La combinación de los tres bloques de construcción anteriores da la siguiente imagen de hacia dónde nos dirigimos:
