Para ayudar a los desarrolladores a proteger sus aplicaciones contra posibles usos indebidos, presentamos un endpoint más rápido y preciso. Este endpoint proporciona a los desarrolladores de API de OpenAI acceso gratuito a clasificadores basados en GPT que detectan contenido no deseado, una instancia del uso de sistemas de IA para ayudar con la supervisión humana de estos sistemas. También se ha lanzado un documento técnico que describe la metodología y el conjunto de datos utilizados para la evaluación.
Cuando se le da una entrada de texto, el moderation endpoint evalúa si el contenido es sexual, de odio, violento o promueve la autolesión, contenido prohibido por la política de contenido. El endpoint ha sido entrenado para ser rápido, preciso y para funcionar de manera robusta en una variedad de aplicaciones. Es importante destacar que esto reduce las posibilidades de que los productos “digan” algo incorrecto, incluso cuando se implementan para los usuarios a escala.
Como resultado, la IA puede desbloquear algunos módulos en entornos sensibles, como la educación, donde de otro modo no podría usarse con confianza.
Como parte del compromiso de OpenAI de hacer que el ecosistema de IA sea más seguro, se proporciona este endpoint para permitir la moderación gratuita de todo el contenido generado por la API de OpenAI. Por ejemplo, Inworld, un cliente de la API de OpenAI, utiliza el moderation endpoint para ayudar a que sus personajes virtuales basados en IA sigan siendo apropiados para sus audiencias. Al aprovechar la tecnología de OpenAI, Inworld puede concentrarse en su producto principal: crear personajes memorables.
