OpenAI lanza unha ferramenta de intelixencia artificial para detectar material de abuso sexual infantil e contido xerado pola intelixencia artificial
OpenAI desenvolveu unha nova ferramenta de clasificación impulsada pola intelixencia artificial deseñada para detectar material de abuso sexual infantil (CSAM), incluíndo imaxes xeradas pola intelixencia artificial. A ferramenta analiza pistas visuais para identificar imaxes de abuso infantil non detectadas anteriormente e ofrece puntuacións para priorizar o contido para os equipos de revisión humana. Esta tecnoloxía ten como obxectivo axilizar a identificación de material ilegal e axudar ás organizacións de seguridade nos seus esforzos para combater o abuso dixital.
Resultados do desenvolvemento e proba de ferramentas
A ferramenta foi desenvolvida coa axuda do Centro Nacional de Nenos Desaparecidos e Explotados (NCMEC) con sede nos Estados Unidos. As probas internas realizadas por OpenAI indican que a ferramenta pode reducir o número de imaxes marcadas para a súa revisión manual nun 48% sen afectar significativamente as capacidades de detección. Esa redución da carga de traballo manual permite aos equipos de revisión de humanos focalizar os casos máis críticos identificados polo sistema.
As probas externas validaron aínda máis a eficacia do sistema de clasificación. As probas de fal.ai confirmaron que o 72% das imaxes marcadas como altamente sospeitosas contiñan material abusivo non identificado anteriormente. Ademais, as probas de SafetyKit mostraron que a ferramenta identificou o 90% dos casos examinados, que incluían descricións sexualizadas de nenos en debuxos animados e animacións. Estes resultados suxiren que a ferramenta é capaz de detectar formas complexas de abuso que poidan ignorar os métodos de detección tradicionais.
OpenAI medidas de seguridade e execución
OpenAI está a implementar novas medidas de seguridade dentro de ChatGPT para evitar a xeración e o acceso de contido ilegal. A compañía está a introducir advertencias para os usuarios que intentan acceder a contido abusivo e realizará a eliminación de chats marcados. Estas medidas forman parte dun esforzo máis amplo para garantir que os modelos xerativos de IA non faciliten a creación ou distribución de material nocivo.
A compañía estableceu unha estrita política de aplicación para os usuarios que infrinxan estas directrices de seguridade. As infraccións en ChatGPT provocarán unha suspensión de 24 horas de acceso. Para os usuarios que cometen violacións repetidas, as consecuencias poden incluír restricións máis longas, peche de contas ou informes ás autoridades. Estas accións disciplinarias están destinadas a disuadir o uso da IA para actividades ilegais.
Soporte e distribución de desenvolvedores
Para apoiar o ecosistema tecnolóxico máis amplo, OpenAI está a lanzar esta ferramenta para organizacións verificadas de balde a través da súa interface de programación de aplicacións (API). Isto permite a outras plataformas e desenvolvedores integrar capacidades de detección avanzadas nos seus propios sistemas. Ao proporcionar a tecnoloxía a través dunha API, OpenAI ten como obxectivo crear un método estandarizado para identificar e informar material abusivo en varios ambientes dixitais.
Ademais, OpenAI publicou directrices para axudar aos desenvolvedores a detectar e denunciar material abusivo. Estas directrices proporcionan marcos técnicos e de procedemento para axudar aos enxeñeiros de software e aos operadores de plataformas a manter os estándares de seguridade. A iniciativa representa un paso significativo no intento da industria de xestionar os riscos asociados ao contido xerado pola IA e á proliferación de material dixital de abuso infantil.
Este artigo foi redactado con axuda de IA a partir de múltiples noticias e é revisado polos nosos editores segundo os nosos principios editoriais. Normas editoriais · Avisos e contacto
Comentarios 0