OpenAI lança uma ferramenta de IA para detectar material de abuso sexual infantil e conteúdo gerado por IA
A OpenAI desenvolveu uma nova ferramenta de classificação baseada em IA projetada para detectar material de abuso sexual infantil (CSAM), incluindo imagens geradas por inteligência artificial. A ferramenta analisa pistas visuais para identificar imagens de abuso infantil anteriormente não detectadas e fornece pontuações para priorizar o conteúdo para equipes de revisão humana. Esta tecnologia visa agilizar a identificação de material ilegal e auxiliar as organizações de segurança em seus esforços para combater o abuso digital.
Desenvolvimento de ferramentas e resultados de testes
A ferramenta foi desenvolvida com a assistência do Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC) com sede nos Estados Unidos. Testes internos realizados pelo OpenAI indicam que a ferramenta pode reduzir o número de imagens sinalizadas para revisão manual em 48% sem impactar significativamente os recursos de detecção. Essa redução na carga de trabalho manual permite que as equipes de revisão humana se concentrem nos casos mais críticos identificados pelo sistema.
Testes externos validaram ainda mais a eficácia do sistema de classificação. Testes realizados pela fal.ai confirmaram que 72% das imagens sinalizadas como altamente suspeitas continham material abusivo anteriormente não identificado. Além disso, os testes do SafetyKit mostraram que a ferramenta identificou 90% dos casos testados, o que incluiu descrições sexualizadas de crianças em desenhos animados e animações. Estes resultados sugerem que a ferramenta é capaz de detectar formas complexas de abuso que podem contornar métodos de detecção tradicionais.
Medidas de segurança OpenAI e aplicação
A OpenAI está implementando novas medidas de segurança dentro do ChatGPT para evitar a geração e o acesso de conteúdo ilegal. A empresa está introduzindo avisos para os usuários que tentam acessar conteúdo abusivo e realizará a remoção de bate-papos sinalizados. Essas medidas fazem parte de um esforço mais amplo para garantir que os modelos de IA gerativos não facilitem a criação ou a distribuição de material prejudicial.
A empresa estabeleceu uma política de aplicação rigorosa para os usuários que violam essas diretrizes de segurança. As violações no ChatGPT resultarão em uma suspensão de acesso de 24 horas. Para os usuários que cometem violações repetidas, as consequências podem incluir restrições mais longas, fechamento de conta ou relatórios às autoridades. Essas ações disciplinares destinam-se a impedir o uso de IA para atividades ilegais.
Suporte e distribuição para desenvolvedores
Para apoiar o ecossistema de tecnologia mais amplo, a OpenAI está lançando esta ferramenta gratuitamente para organizações verificadas através de sua interface de programação de aplicativos (API). Isso permite que outras plataformas e desenvolvedores integrem recursos avançados de detecção em seus próprios sistemas. Ao fornecer a tecnologia por meio de uma API, a OpenAI visa criar um método padronizado para identificar e relatar material abusivo em diversos ambientes digitais.
Além disso, a OpenAI publicou diretrizes para auxiliar desenvolvedores na detecção e denúncia de material abusivo. Essas diretrizes fornecem estruturas técnicas e processuais para ajudar os engenheiros de software e operadores de plataforma a manter os padrões de segurança. A iniciativa representa um passo significativo na tentativa da indústria de gerenciar os riscos associados ao conteúdo gerado por IA e à proliferação de material digital de abuso infantil.
Este artigo foi escrito com auxílio de IA a partir de diversas reportagens e é revisado por nossos editores de acordo com os princípios editoriais. Padrões Editoriais · Sugestões de Pauta e Contato
Comentários 0