Saltar al contenido
Sociedad

OpenAI lanza una herramienta de IA para detectar material de abuso sexual infantil y contenido generado por IA

Turkey News Equipo editorial · · Tiempo de lectura 8min · Vistas 0 ·
Clave — OpenAI ha lanzado una nueva herramienta de clasificación impulsada por IA diseñada para detectar material de abuso sexual infantil, incluyendo contenido generado por inteligencia artificial. La herramienta tiene como objetivo priorizar el contenido abusivo para los equipos de revisión humana.

OpenAI ha desarrollado una nueva herramienta de clasificación impulsada por IA diseñada para detectar material de abuso sexual infantil (CSAM), incluyendo imágenes generadas por inteligencia artificial. La herramienta analiza señales visuales para identificar imágenes de abuso infantil previamente no detectadas y proporciona puntuaciones para priorizar el contenido para los equipos de revisión humana. Esta tecnología tiene como objetivo agilizar la identificación de material ilegal y ayudar a las organizaciones de seguridad en sus esfuerzos para combatir el abuso digital.

Desarrollo de herramientas y resultados de pruebas

La herramienta fue desarrollada con la asistencia del Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) con sede en los Estados Unidos. Las pruebas internas realizadas por OpenAI indican que la herramienta puede reducir el número de imágenes marcadas para revisión manual en un 48% sin afectar significativamente las capacidades de detección. Esta reducción en la carga de trabajo manual permite que los equipos de revisión humana se centren en los casos más críticos identificados por el sistema.

Las pruebas externas han validado aún más la eficacia del sistema de clasificación. Las pruebas realizadas por fal.ai confirmaron que el 72% de las imágenes marcadas como altamente sospechosas contenían material abusivo no identificado previamente. Además, las pruebas de SafetyKit mostraron que la herramienta identificó el 90% de los casos probados, lo que incluyó descripciones sexualizadas de niños en dibujos animados y animaciones. Estos resultados sugieren que la herramienta es capaz de detectar formas complejas de abuso que pueden eludir los métodos de detección tradicionales.

Medidas de seguridad y aplicación de OpenAI

OpenAI está implementando nuevas medidas de seguridad dentro de ChatGPT para evitar la generación y el acceso de contenido ilegal. La empresa está introduciendo advertencias para los usuarios que intenten acceder a contenido abusivo y realizará la eliminación de chats marcados. Estas medidas forman parte de un esfuerzo más amplio para garantizar que los modelos de IA generativa no faciliten la creación o distribución de material dañino.

La empresa ha establecido una política de aplicación estricta para los usuarios que violen estas pautas de seguridad. Las violaciones en ChatGPT resultarán en una suspensión de acceso de 24 horas. Para los usuarios que cometan infracciones repetidas, las consecuencias pueden incluir restricciones más prolongadas, cierre de cuentas o informes a las autoridades. Estas acciones disciplinarias tienen como objetivo disuadir el uso de la IA para actividades ilegales.

Soporte y distribución para desarrolladores

Para apoyar el ecosistema tecnológico más amplio, OpenAI está lanzando esta herramienta de forma gratuita para organizaciones verificadas a través de su interfaz de programación de aplicaciones (API). Esto permite a otras plataformas y desarrolladores integrar capacidades de detección avanzadas en sus propios sistemas. Al proporcionar la tecnología a través de una API, OpenAI tiene como objetivo crear un método estandarizado para identificar y reportar material abusivo en diversos entornos digitales.

Además, OpenAI ha publicado directrices para ayudar a los desarrolladores a detectar y reportar material abusivo. Estas directrices proporcionan marcos técnicos y de procedimiento para ayudar a los ingenieros de software y operadores de plataformas a mantener los estándares de seguridad. La iniciativa representa un paso significativo en el intento de la industria de gestionar los riesgos asociados con el contenido generado por IA y la proliferación de material digital de abuso infantil.

Este artículo se redactó con ayuda de IA a partir de varias noticias publicadas y es revisado por nuestros editores conforme a nuestros principios editoriales. Normas editoriales · Pistas y contacto

¿Qué te ha parecido esta publicación?

Comentarios 0

Sé el primero en comentar

Contáctanos

← Turkey News Inicio
Turkey News Recibe nuevas publicaciones por correoSuscríbete para recibir nuevos contenidos por correo. Cancela cuando quieras.
¿Te ha resultado útil?Compártelo con amigos y en redes