Open AI spouští nástroj pro detekci sexuálního zneužívání dětí a obsahu generovaného AI
Open AI vyvinula nový klasifikační nástroj s umělou inteligencí určený k detekci materiálů o sexuálním zneužívání dětí (CSAM), včetně obrázků generovaných umělou inteligencí. Nástroj analyzuje vizuální podněty k identifikaci dříve nezjištěných obrázků zneužívání dětí a poskytuje skóre pro upřednostnění obsahu pro lidské týmy. Tato technologie má za cíl zefektivnit identifikaci nelegálních materiálů a pomoci bezpečnostním organizacím v jejich úsilí v boji proti digitálnímu zneužívání.
Výsledky vývoje a testování nástrojů
Tento nástroj byl vyvinut s pomocí Národního centra pro pohřešované a zneužívané děti (NCMEC) se sídlem ve Spojených státech. Interní testování provedené společností Open AI naznačuje, že tento nástroj může snížit počet obrázků označených pro ruční kontrolu o 48 %, aniž by to mělo významný dopad na detekční schopnosti. Snižování manuální zátěže umožňuje lidským týmům zaměřit se na nejkritičtější případy, které systém identifikuje.
Externí testování dále potvrdilo účinnost klasifikačního systému. Testování fal.ai potvrdilo, že 72 % obrázků označených jako vysoce podezřelé obsahovalo dříve neidentifikovaný zneužívající materiál. Testy SafetyKitu navíc ukázaly, že tento nástroj identifikoval 90 % testovaných případů, které zahrnovaly sexualizované popisy dětí v kreslených filmech a animacích. Tyto výsledky naznačují, že nástroj je schopen detekovat složité formy zneužívání, které mohou obejít tradiční detekční metody.
Bezpečnostní opatření Open AI a jejich prosazování
Open AI zavádí nová bezpečnostní opatření v rámci ChatGPT, aby se zabránilo vytváření a přístupu k nelegálnímu obsahu. Společnost zavádí varování pro uživatele, kteří se pokoušejí o přístup k hanlivému obsahu, a provede odstranění označených chatů. Tato opatření jsou součástí širšího úsilí o zajištění toho, aby generativní modely umělé inteligence neusnadňovaly vytváření nebo distribuci škodlivého materiálu.
Společnost zavedla přísnou politiku vymáhání práva pro uživatele, kteří porušují tyto bezpečnostní pokyny. Porušení ChatGPT bude mít za následek 24-hodinové pozastavení přístupu. Pro uživatele, kteří se dopustí opakovaného porušení, mohou důsledky zahrnovat delší omezení, uzavření účtu nebo hlášení úřadům. Cílem těchto disciplinárních opatření je odradit od používání umělé inteligence k nezákonným činnostem.
Podpora a distribuce pro vývojáře
Pro podporu širšího technologického ekosystému Open AI vydává tento nástroj zdarma ověřeným organizacím prostřednictvím svého aplikačního programovacího rozhraní (API). To umožňuje ostatním platformám a vývojářům integrovat pokročilé detekční schopnosti do svých vlastních systémů. Poskytováním technologie prostřednictvím API, Open AI si klade za cíl vytvořit standardizovanou metodu pro identifikaci a hlášení zneužívající materiál v různých digitálních prostředích.
Open AI navíc zveřejnila pokyny, které mají vývojářům pomoci při odhalování a nahlašování zneužívajícího materiálu. Tyto pokyny poskytují technické a procedurální rámce, které pomáhají softwarovým inženýrům a provozovatelům platforem udržovat bezpečnostní standardy. Iniciativa představuje významný krok ve snaze odvětví řídit rizika spojená s obsahem generovaným umělou inteligencí a s šířením digitálních materiálů o zneužívání dětí.
Tento článek vznikl s pomocí AI na základě několika zpravodajských zdrojů a naše redakce ho kontroluje podle redakčních zásad. Redakční zásady · Tipy a kontakt
Komentáře 0