OpenAI lancerer et AI-værktøj til at opdage seksuelt misbrug af børn og AI-genereret indhold
OpenAI har udviklet et nyt AI-drevet klassifikationsværktøj designet til at opdage seksuelt misbrug af børn (CSAM), herunder billeder genereret af kunstig intelligens. Værktøjet analyserer visuelle tegn til at identificere tidligere uopdagede børnemishandling billeder og giver scoringer til at prioritere indhold til menneskelige review teams. Denne teknologi har til formål at strømline identifikationen af ulovligt materiale og hjælpe sikkerhedsorganisationer i deres bestræbelser på at bekæmpe digitalt misbrug.
Værktøjsudvikling og testresultater
Værktøjet blev udviklet med hjælp fra National Center for Missing & Exploited Children (NCMEC) baseret i USA. Intern test udført af OpenAI indikerer, at værktøjet kan reducere antallet af billeder, der er markeret til manuel gennemgang, med 48% uden at påvirke detektionsfunktionerne væsentligt. Denne reduktion i manuel arbejdsbyrde gør det muligt for menneskelige gennemgangshold at fokusere på de mest kritiske tilfælde, der er identificeret af systemet.
Eksterne test har yderligere valideret klassificeringssystemets effektivitet. Test af fal.ai bekræftede, at 72% af billederne, der var markeret som meget mistænkelige, indeholdt tidligere uidentificeret misbrugsmateriale. Derudover viste SafetyKit-tests, at værktøjet identificerede 90% af de testede tilfælde, som omfattede seksualiserede beskrivelser af børn i tegnefilm og animationer. Disse resultater tyder på, at værktøjet er i stand til at opdage komplekse former for misbrug, der kan omgå traditionelle detektionsmetoder.
OpenAI sikkerhedsforanstaltninger og håndhævelse
OpenAI implementerer nye sikkerhedsforanstaltninger inden for ChatGPT for at forhindre generering og adgang til ulovligt indhold. Virksomheden introducerer advarsler til brugere, der forsøger at få adgang til misbrugende indhold, og vil udføre fjernelsen af markerede chats. Disse foranstaltninger er en del af en bredere indsats for at sikre, at generativ AI-modeller ikke letter skabelsen eller distributionen af skadeligt materiale.
Virksomheden har etableret en streng håndhævelsespolitik for brugere, der overtræder disse sikkerhedsretningslinjer. Overtrædelser i ChatGPT vil resultere i en 24-timers suspension af adgangen. For brugere, der begår gentagne overtrædelser, kan konsekvenserne omfatte længere begrænsninger, kontolukning eller rapportering til myndighederne. Disse disciplinære foranstaltninger har til formål at afskrække brugen af kunstig intelligens til ulovlige aktiviteter.
Support og distribution af udviklere
For at understøtte det bredere teknologiske økosystem frigiver OpenAI dette værktøj gratis til verificerede organisationer via dets applikationsprogrammeringsgrænseflade (API). Dette gør det muligt for andre platforme og udviklere at integrere avancerede detektionsfunktioner i deres egne systemer. Ved at levere teknologien gennem en API, har OpenAI til formål at skabe en standardiseret metode til at identificere og rapportere voldeligt materiale på tværs af forskellige digitale miljøer.
Desuden har OpenAI udgivet retningslinjer for at hjælpe udviklere med at opdage og rapportere misbrugsmateriale. Disse retningslinjer giver tekniske og proceduremæssige rammer for at hjælpe softwareingeniører og platformsoperatører med at opretholde sikkerhedsstandarder. Initiativet er et vigtigt skridt i branchens forsøg på at styre de risici, der er forbundet med AI-genereret indhold og udbredelsen af digitalt børnemisbrugsmateriale.
Denne artikel er skrevet med AI-assistance på baggrund af flere nyhedsrapporter og gennemgås af vores redaktører i overensstemmelse med vores redaktionelle principper. Redaktionelle retningslinjer · Tips & kontakt
Kommentarer 0