OpenAI lanceert een AI-tool om seksueel misbruik van kinderen en door AI gegenereerde inhoud te detecteren
OpenAI heeft een nieuwe AI-aangedreven classificatietool ontwikkeld die is ontworpen om materiaal voor seksueel misbruik van kinderen (CSAM) te detecteren, inclusief afbeeldingen die zijn gegenereerd door kunstmatige intelligentie. De tool analyseert visuele aanwijzingen om eerder onopgemerkte beelden van kindermishandeling te identificeren en biedt scores om inhoud te prioriteren voor menselijke beoordelingsteams. Deze technologie heeft tot doel de identificatie van illegaal materiaal te stroomlijnen en veiligheidsorganisaties te helpen bij hun inspanningen om digitaal misbruik te bestrijden.
Toolontwikkeling en testresultaten
De tool is ontwikkeld met hulp van het National Center for Missing & Exploited Children (NCMEC) in de Verenigde Staten. Interne tests uitgevoerd door OpenAI geven aan dat de tool het aantal afbeeldingen dat wordt gemarkeerd voor handmatige beoordeling met 48% kan verminderen zonder de detectiemogelijkheden aanzienlijk te beïnvloeden. Deze vermindering van de handmatige werklast stelt menselijke beoordelingsteams in staat zich te concentreren op de meest kritieke gevallen die door het systeem zijn geïdentificeerd.
Externe testen hebben de werkzaamheid van het classificatiesysteem verder gevalideerd. Tests door fal.ai bevestigden dat 72% van de afbeeldingen die als zeer verdacht werden gemarkeerd, eerder niet-geïdentificeerd misbruikmateriaal bevatten. Bovendien toonden SafetyKit-tests aan dat de tool 90% van de geteste gevallen identificeerde, waaronder geseksualiseerde beschrijvingen van kinderen in cartoons en animaties. Deze resultaten suggereren dat de tool in staat is om complexe vormen van misbruik te detecteren die traditionele detectiemethoden kunnen omzeilen.
OpenAI veiligheidsmaatregelen en handhaving
OpenAI implementeert nieuwe veiligheidsmaatregelen binnen ChatGPT om het genereren en de toegang van illegale inhoud te voorkomen. Het bedrijf introduceert waarschuwingen voor gebruikers die toegang proberen te krijgen tot beledigende inhoud en zal het verwijderen van gemarkeerde chats uitvoeren. Deze maatregelen maken deel uit van een bredere inspanning om ervoor te zorgen dat generatieve AI-modellen de creatie of distributie van schadelijk materiaal niet vergemakkelijken.
Het bedrijf heeft een strikt handhavingsbeleid opgesteld voor gebruikers die deze veiligheidsrichtlijnen overtreden. Overtredingen in ChatGPT zullen resulteren in een 24-uurs schorsing van de toegang. Voor gebruikers die herhaalde overtredingen begaan, kunnen de gevolgen langere beperkingen, accountsluiting of rapportage aan autoriteiten omvatten. Deze disciplinaire maatregelen zijn bedoeld om het gebruik van AI voor illegale activiteiten af te schrikken.
Ondersteuning en distributie van ontwikkelaars
Om het bredere tech-ecosysteem te ondersteunen, geeft OpenAI deze tool gratis vrij aan geverifieerde organisaties via zijn applicatieprogrammeringsinterface (API). Hierdoor kunnen andere platforms en ontwikkelaars geavanceerde detectiemogelijkheden in hun eigen systemen integreren. Door de technologie via een API te leveren, wil OpenAI een gestandaardiseerde methode creëren voor het identificeren en rapporteren van misbruikmateriaal in verschillende digitale omgevingen.
Verder heeft OpenAI richtlijnen gepubliceerd om ontwikkelaars te helpen bij het detecteren en rapporteren van misbruikend materiaal. Deze richtlijnen bieden technische en procedurele kaders om software-ingenieurs en platformexploitanten te helpen bij het handhaven van veiligheidsnormen. Het initiatief vertegenwoordigt een belangrijke stap in de poging van de industrie om de risico's te beheersen die verbonden zijn aan door AI gegenereerde inhoud en de verspreiding van digitaal kindermishandelingsmateriaal.
Dit artikel is met AI-ondersteuning geschreven op basis van meerdere nieuwsberichten en wordt door onze redactie beoordeeld volgens onze redactionele principes. Redactionele richtlijnen · Tips & contact
Reacties 0