Salta al contingut
Societat

OpenAI llança una eina d'IA per detectar material d'abús sexual infantil i contingut generat per IA

Turkey News Equip de redacció · · Temps de lectura 7min de lectura · Visualitzacions 0 ·
Clau — OpenAI ha llançat una nova eina de classificació impulsada per IA dissenyada per detectar material d'abús sexual infantil, inclòs el contingut generat per la intel·ligència artificial. L'eina té com a objectiu prioritzar el contingut abusiu per als equips de revisió humana.

OpenAI ha desenvolupat una nova eina de classificació impulsada per IA dissenyada per detectar material d'abús sexual infantil (CSAM), incloses les imatges generades per la intel·ligència artificial. L'eina analitza els senyals visuals per identificar imatges d'abús infantil no detectades prèviament i proporciona puntuacions per prioritzar el contingut per als equips de revisió humana. Aquesta tecnologia té com a objectiu agilitzar la identificació de material il·legal i ajudar les organitzacions de seguretat en els seus esforços per combatre l'abús digital.

Desenvolupament d'eines i resultats de proves

L'eina es va desenvolupar amb l'ajuda del Centre Nacional per a Nens Desapareguts i Explotats (NCMEC) amb seu als Estats Units. Les proves internes realitzades per OpenAI indiquen que l'eina pot reduir el nombre d'imatges marcades per a la revisió manual en un 48% sense afectar significativament les capacitats de detecció. Aquesta reducció de la càrrega de treball manual permet als equips de revisió humana centrar-se en els casos més crítics identificats pel sistema.

Les proves externes han validat encara més l'eficàcia del sistema de classificació. Les proves de fal.ai van confirmar que el 72% de les imatges marcades com a altament sospitoses contenien material abusiu prèviament no identificat. A més, les proves de SafetyKit van mostrar que l'eina va identificar el 90% dels casos provats, que incloïen descripcions sexualitzades de nens en dibuixos animats i animacions. Aquests resultats suggereixen que l'eina és capaç de detectar formes complexes d'abús que poden passar per alt els mètodes de detecció tradicionals.

Mesures de seguretat i execució OpenAI

OpenAI està implementant noves mesures de seguretat dins de ChatGPT per evitar la generació i l'accés de contingut il·legal. L'empresa està introduint advertències per als usuaris que intenten accedir a contingut abusiu i realitzarà l'eliminació dels xats marcats. Aquestes mesures formen part d'un esforç més ampli per garantir que els models generatius d'IA no facilitin la creació o distribució de material nociu.

L'empresa ha establert una política d'aplicació estricta per als usuaris que infringeixin aquestes directrius de seguretat. Les infraccions a ChatGPT comportaran una suspensió d'accés de 24 hores. Per als usuaris que cometen infraccions repetides, les conseqüències poden incloure restriccions més llargues, tancament de comptes o informes a les autoritats. Aquestes accions disciplinàries tenen com a objectiu dissuadir l'ús de la IA per a activitats il·legals.

Suport i distribució per a desenvolupadors

Per donar suport a l'ecosistema tecnològic més ampli, OpenAI està alliberant aquesta eina de forma gratuïta a les organitzacions verificades a través de la seva interfície de programació d'aplicacions (API). Això permet a altres plataformes i desenvolupadors integrar capacitats de detecció avançades en els seus propis sistemes. En proporcionar la tecnologia a través d'una API, OpenAI té com a objectiu crear un mètode estandarditzat per identificar i informar de material abusiu en diversos entorns digitals.

A més, OpenAI ha publicat directrius per ajudar els desenvolupadors a detectar i informar de material abusiu. Aquestes directrius proporcionen marcs tècnics i procedimentals per ajudar els enginyers de programari i els operadors de plataformes a mantenir els estàndards de seguretat. La iniciativa representa un pas significatiu en l'intent de la indústria de gestionar els riscos associats amb el contingut generat per la IA i la proliferació de material digital d'abús infantil.

Aquest article s'ha redactat amb l'ajuda de la IA a partir de diverses informacions periodístiques i el revisa la nostra redacció segons els principis editorials. Normes editorials · Pistes i contacte

Què us ha semblat aquesta publicació?

Comentaris 0

Sigueu els primers a comentar

Contacta'ns

← Turkey News Inici
Turkey News Rebeu les noves publicacions per correuSubscriviu-vos per rebre el contingut nou per correu electrònic. Podeu cancel·lar la subscripció en qualsevol moment.
Us ha estat útil?Compartiu-ho amb amics i xarxes socials