OpenAI lanserar ett AI-verktyg för att upptäcka material om sexuella övergrepp mot barn och AI-genererat innehåll
OpenAI har utvecklat ett nytt AI-drivet klassificeringsverktyg som är utformat för att upptäcka material mot sexuella övergrepp mot barn (CSAM), inklusive bilder som genereras av artificiell intelligens. Verktyget analyserar visuella ledtrådar för att identifiera tidigare oupptäckta bilder från barnmisshandel och ger poäng för att prioritera innehåll för mänskliga granskningsteam. Denna teknik syftar till att effektivisera identifieringen av olagligt material och bistå säkerhetsorganisationer i deras ansträngningar att bekämpa digitalt missbruk.
Verktygsutveckling och testresultat
Verktyget utvecklades med hjälp av det nationella centret för saknade och utnyttjade barn (NCMEC) i USA. Interna tester utförda av OpenAI indikerar att verktyget kan minska antalet bilder som flaggats för manuell granskning med 48 procent utan att det påverkar detekteringsfunktionerna nämnvärt. Denna minskning av den manuella arbetsbelastningen gör det möjligt för mänskliga granskningsteam att fokusera på de mest kritiska fallen som identifieras av systemet.
Extern testning har ytterligare validerat klassificeringssystemets effektivitet. Tester utförda av fal.ai bekräftade att 72 procent av de bilder som flaggats som mycket misstänkta innehöll tidigare oidentifierat kränkande material. Dessutom visade SafetyKit-tester att verktyget identifierade 90% av de testade fallen, vilket inkluderade sexualiserade beskrivningar av barn i tecknade serier och animationer. Dessa resultat tyder på att verktyget kan upptäcka komplexa former av missbruk som kan kringgå traditionella detekteringsmetoder.
OpenAI:s säkerhetsåtgärder och verkställighet
OpenAI implementerar nya säkerhetsåtgärder inom ChatGPT för att förhindra generering och åtkomst av olagligt innehåll. Företaget introducerar varningar för användare som försöker komma åt kränkande innehåll och kommer att utföra borttagning av flaggade chattar. Dessa åtgärder är en del av en bredare insats för att säkerställa att generativa AI-modeller inte underlättar skapandet eller distributionen av skadligt material.
Företaget har etablerat en strikt policy för efterlevnad för användare som bryter mot dessa säkerhetsriktlinjer. Överträdelser i ChatGPT kommer att resultera i en 24-timmars avstängning av åtkomst. För användare som begår upprepade överträdelser kan konsekvenserna inkludera längre restriktioner, kontostängning eller rapportering till myndigheter. Dessa disciplinära åtgärder är avsedda att avskräcka från användning av AI för olaglig verksamhet.
Utvecklarsupport och distribution
För att stödja det bredare tech-ekosystemet släpper OpenAI detta verktyg gratis till verifierade organisationer via sitt applikationsprogrammeringsgränssnitt (API). Detta gör det möjligt för andra plattformar och utvecklare att integrera avancerade detekteringsfunktioner i sina egna system. Genom att tillhandahålla tekniken genom ett API syftar OpenAI till att skapa en standardiserad metod för att identifiera och rapportera kränkande material över olika digitala miljöer.
Vidare har OpenAI publicerat riktlinjer för att hjälpa utvecklare att upptäcka och rapportera kränkande material. Dessa riktlinjer tillhandahåller tekniska och procedurmässiga ramverk för att hjälpa programvaruingenjörer och plattformsoperatörer att upprätthålla säkerhetsstandarder. Initiativet utgör ett betydande steg i branschens försök att hantera de risker som är förknippade med AI-genererat innehåll och spridningen av digitalt material mot barnmisshandel.
Den här artikeln har skrivits med AI-stöd utifrån flera nyhetsrapporter och granskas av våra redaktörer enligt våra redaktionella principer. Redaktionella riktlinjer · Tips & kontakt
Kommentarer 0