Aller au contenu
Société

OpenAI lance un outil d'IA pour détecter le matériel d'abus sexuel sur les enfants et le contenu généré par l'IA

Turkey News Équipe éditoriale · · Temps de lecture 8min · Vues 0 ·
Clé — OpenAI a publié un nouvel outil de classification alimenté par l'IA conçu pour détecter le matériel d'abus sexuel sur des enfants, y compris le contenu généré par l'intelligence artificielle. L'outil vise à prioriser le contenu abusif pour les équipes de révision humaine.

OpenAI a développé un nouvel outil de classification alimenté par l'IA conçu pour détecter le matériel d'abus pédosexuels (CSAM), y compris les images générées par l'intelligence artificielle. L'outil analyse les indices visuels pour identifier les images de maltraitance d'enfants non détectées auparavant et fournit des scores pour hiérarchiser le contenu pour les équipes d'examen humaines. Cette technologie vise à rationaliser l'identification des matériels illégaux et à aider les organisations de sécurité dans leurs efforts de lutte contre les abus numériques.

Résultats du développement et des tests d'outils

L'outil a été développé avec l'aide du National Center for Missing & Exploited Children (NCMEC) basé aux États-Unis. Des tests internes menés par OpenAI indiquent que l'outil peut réduire le nombre d'images signalées pour une révision manuelle de 48 % sans affecter de manière significative les capacités de détection. Cette réduction de la charge de travail manuelle permet aux équipes d'examen humaines de se concentrer sur les cas les plus critiques identifiés par le système.

Des tests externes ont également validé l'efficacité du système de classification. Les tests effectués par fal.ai ont confirmé que 72 % des images signalées comme hautement suspectes contenaient du matériel abusif précédemment non identifié. De plus, les tests SafetyKit ont montré que l'outil a identifié 90 % des cas testés, ce qui incluait des descriptions sexualisées d'enfants dans des dessins animés et des animations. Ces résultats suggèrent que l'outil est capable de détecter des formes complexes d'abus pouvant contourner les méthodes de détection traditionnelles.

Mesures de sécurité et application de OpenAI

OpenAI met en œuvre de nouvelles mesures de sécurité au sein de ChatGPT pour empêcher la génération et l'accès à des contenus illégaux. La société introduit des avertissements pour les utilisateurs qui tentent d'accéder à des contenus abusifs et effectuera la suppression des chats signalés. Ces mesures s'inscrivent dans un effort plus large visant à garantir que les modèles d'IA génératifs ne facilitent pas la création ou la distribution de matériel nuisible.

La société a établi une politique d'application stricte pour les utilisateurs qui enfreignent ces directives de sécurité. Les violations dans ChatGPT entraîneront une suspension de l'accès de 24 heures. Pour les utilisateurs qui commettent des violations répétées, les conséquences peuvent inclure des restrictions plus longues, la fermeture de compte ou la déclaration aux autorités. Ces mesures disciplinaires visent à dissuader l'utilisation de l'IA pour des activités illégales.

Support et distribution pour les développeurs

Pour soutenir l'écosystème technologique plus large, OpenAI publie cet outil gratuitement pour les organisations vérifiées via son interface de programmation d'applications (API). Cela permet à d'autres plateformes et développeurs d'intégrer des capacités de détection avancées dans leurs propres systèmes. En fournissant la technologie via une API, OpenAI vise à créer une méthode standardisée pour identifier et signaler les contenus abusifs dans divers environnements numériques.

De plus, OpenAI a publié des directives pour aider les développeurs à détecter et à signaler les contenus abusifs. Ces directives fournissent des cadres techniques et procéduraux pour aider les ingénieurs logiciels et les opérateurs de plateformes à maintenir les normes de sécurité. Cette initiative représente une étape importante dans la tentative de l'industrie de gérer les risques associés au contenu généré par l'IA et à la prolifération du matériel numérique de maltraitance des enfants.

Cet article a été rédigé avec l'aide de l'IA à partir de plusieurs reportages et est relu par notre rédaction selon nos principes éditoriaux. Charte éditoriale · Signalements et contact

Qu'avez-vous pensé de cet article ?

Commentaires 0

Soyez le premier à commenter

Nous contacter

← Turkey News Accueil
Turkey News Recevez les nouveaux articles par e-mailAbonnez-vous pour recevoir les nouveaux contenus par e-mail. Désabonnement à tout moment.
Cet article vous a-t-il été utile ?Partagez-le avec vos amis et sur les réseaux