OpenAI lanserer et AI-verktøy for å oppdage seksuelt misbruk av barn og AI-generert innhold
OpenAI har utviklet et nytt AI-drevet klassifiseringsverktøy designet for å oppdage seksuelt misbruk av barn (CSAM), inkludert bilder generert av kunstig intelligens. Verktøyet analyserer visuelle signaler for å identifisere tidligere uoppdagede barnemishandlingsbilder og gir score for å prioritere innhold for menneskelige gjennomgangsteam. Denne teknologien har som mål å effektivisere identifiseringen av ulovlig materiale og bistå sikkerhetsorganisasjoner i deres arbeid for å bekjempe digital misbruk.
Verktøyutvikling og testresultater
Verktøyet ble utviklet med hjelp fra National Center for Missing & Exploited Children (NCMEC) basert i USA. Intern testing utført av OpenAI indikerer at verktøyet kan redusere antall bilder som er flagget for manuell gjennomgang med 48 % uten at det påvirker deteksjonsfunksjonene betydelig. Denne reduksjonen i manuell arbeidsbelastning gjør det mulig for menneskelige gjennomgangsteam å fokusere på de mest kritiske tilfellene som er identifisert av systemet.
Ekstern testing har videre validert effektiviteten til klassifiseringssystemet. Testing av fal.ai bekreftet at 72% av bildene som ble flagget som svært mistenkelige inneholdt tidligere uidentifisert fornærmende materiale. I tillegg viste SafetyKit-tester at verktøyet identifiserte 90% av testede tilfeller, som inkluderte seksualiserte beskrivelser av barn i tegneserier og animasjoner. Disse resultatene tyder på at verktøyet er i stand til å oppdage komplekse former for misbruk som kan omgå tradisjonelle deteksjonsmetoder.
OpenAI sikkerhetstiltak og håndheving
OpenAI implementerer nye sikkerhetstiltak innenfor ChatGPT for å forhindre generering og tilgang til ulovlig innhold. Selskapet introduserer advarsler for brukere som forsøker å få tilgang til misbrukende innhold og vil utføre fjerning av flaggede chatter. Disse tiltakene er en del av en bredere innsats for å sikre at generativ kunstig intelligens-modeller ikke legger til rette for etablering eller distribusjon av skadelig materiale.
Selskapet har etablert en streng håndhevelsespolitikk for brukere som bryter disse sikkerhetsretningslinjene. Brudd på ChatGPT vil resultere i en 24-timers suspensjon av tilgang. For brukere som begår gjentatte overtredelser, kan konsekvensene inkludere lengre restriksjoner, kontoavslutning eller rapportering til myndigheter. Disse disiplinære tiltakene er ment å avskrekke bruken av AI for ulovlige aktiviteter.
Utviklerstøtte og distribusjon
For å støtte det bredere teknologiske økosystemet, lanserer OpenAI dette verktøyet gratis til verifiserte organisasjoner via sitt applikasjonsprogrammeringsgrensesnitt (API). Dette gjør det mulig for andre plattformer og utviklere å integrere avanserte deteksjonsfunksjoner i sine egne systemer. Ved å tilby teknologien gjennom en API, har OpenAI som mål å skape en standardisert metode for å identifisere og rapportere misbrukende materiale på tvers av ulike digitale miljøer.
Videre har OpenAI publisert retningslinjer for å hjelpe utviklere med å oppdage og rapportere misbrukende materiale. Disse retningslinjene gir tekniske og prosedyremessige rammer for å hjelpe programvareingeniører og plattformoperatører med å opprettholde sikkerhetsstandarder. Initiativet representerer et betydelig skritt i bransjens forsøk på å håndtere risikoen forbundet med AI-generert innhold og spredning av digitalt barnemishandlingsmateriale.
Denne artikkelen er skrevet med AI-hjelp basert på flere nyhetsrapporter og gjennomgås av redaksjonen vår i tråd med våre redaksjonelle prinsipper. Redaksjonelle retningslinjer · Tips og kontakt
Kommentarer 0