OpenAI lancia uno strumento di AI per rilevare il materiale di abuso sessuale su minori e i contenuti generati dall'IA
OpenAI ha sviluppato un nuovo strumento di classificazione basato sull'intelligenza artificiale progettato per rilevare il materiale per abusi sessuali su minori (CSAM), comprese le immagini generate dall'intelligenza artificiale. Lo strumento analizza i segnali visivi per identificare le immagini di abusi sui minori non rilevate in precedenza e fornisce punteggi per dare priorità ai contenuti per i team di revisione umani. Questa tecnologia mira a semplificare l'identificazione di materiale illegale e assistere le organizzazioni di sicurezza nei loro sforzi per combattere l'abuso digitale.
Sviluppo di strumenti e risultati dei test
Lo strumento è stato sviluppato con l'assistenza del National Center for Missing & Exploited Children (NCMEC) con sede negli Stati Uniti. I test interni condotti da OpenAI indicano che lo strumento può ridurre il numero di immagini segnalate per la revisione manuale del 48% senza influire in modo significativo sulle capacità di rilevamento. Questa riduzione del carico di lavoro manuale consente ai team di revisione umana di concentrarsi sui casi più critici identificati dal sistema.
Test esterni hanno ulteriormente convalidato l'efficacia del sistema di classificazione. Test effettuati da fal.ai hanno confermato che il 72% delle immagini segnalate come altamente sospette conteneva materiale abusivo precedentemente non identificato. Inoltre, i test SafetyKit hanno mostrato che lo strumento ha identificato il 90% dei casi testati, che includevano descrizioni sessuali di bambini in cartoni animati e animazioni. Questi risultati suggeriscono che lo strumento è in grado di rilevare forme complesse di abuso che possono aggirare i metodi di rilevamento tradizionali.
Misure di sicurezza e applicazione di OpenAI
OpenAI sta implementando nuove misure di sicurezza all'interno di ChatGPT per prevenire la generazione e l'accesso di contenuti illegali. La società sta introducendo avvisi per gli utenti che tentano di accedere a contenuti abusivi ed eseguirà la rimozione delle chat contrassegnate. Queste misure fanno parte di uno sforzo più ampio per garantire che i modelli di IA generativa non facilitino la creazione o la distribuzione di materiale dannoso.
L'azienda ha stabilito una rigorosa politica di applicazione per gli utenti che violano queste linee guida di sicurezza. Le violazioni in ChatGPT comporteranno una sospensione dell'accesso di 24 ore. Per gli utenti che commettono ripetute violazioni, le conseguenze possono includere restrizioni più lunghe, chiusura dell'account o segnalazione alle autorità. Queste azioni disciplinari hanno lo scopo di scoraggiare l'uso dell'IA per attività illegali.
Supporto e distribuzione degli sviluppatori
Per supportare il più ampio ecosistema tecnologico, OpenAI sta rilasciando questo strumento gratuitamente per le organizzazioni verificate tramite la sua interfaccia di programmazione delle applicazioni (API). Ciò consente ad altre piattaforme e sviluppatori di integrare funzionalità di rilevamento avanzate nei propri sistemi. Fornendo la tecnologia attraverso un'API, OpenAI mira a creare un metodo standardizzato per identificare e segnalare materiale abusivo in vari ambienti digitali.
Inoltre, OpenAI ha pubblicato linee guida per assistere gli sviluppatori nel rilevamento e nella segnalazione di materiale abusivo. Queste linee guida forniscono quadri tecnici e procedurali per aiutare gli ingegneri del software e gli operatori di piattaforma a mantenere gli standard di sicurezza. L'iniziativa rappresenta un passo significativo nel tentativo del settore di gestire i rischi associati ai contenuti generati dall'IA e alla proliferazione di materiale digitale per abusi sui minori.
Questo articolo è stato redatto con il supporto dell'IA a partire da più notizie di stampa ed è rivisto dalla nostra redazione secondo i principi editoriali. Standard editoriali · Segnalazioni e contatti
Commenti 0