OpenAI meluncurkan alat AI untuk mendeteksi materi pelecehan seksual anak dan konten yang dihasilkan AI
OpenAI telah mengembangkan alat klasifikasi bertenaga AI baru yang dirancang untuk mendeteksi materi pelecehan seksual anak (CSAM), termasuk gambar yang dihasilkan oleh kecerdasan buatan. Alat ini menganalisis isyarat visual untuk mengidentifikasi gambar kekerasan terhadap anak yang sebelumnya tidak terdeteksi dan memberikan skor untuk memprioritaskan konten untuk tim peninjau manusia. Teknologi ini bertujuan untuk merampingkan identifikasi materi ilegal dan membantu organisasi keselamatan dalam upaya mereka untuk memerangi penyalahgunaan digital.
Pengembangan alat dan hasil pengujian
Alat ini dikembangkan dengan bantuan dari National Center for Missing & Exploited Children (NCMEC) yang berbasis di Amerika Serikat. Pengujian internal yang dilakukan oleh OpenAI menunjukkan alat ini dapat mengurangi jumlah gambar yang ditandai untuk tinjauan manual sebesar 48% tanpa mempengaruhi kemampuan deteksi secara signifikan. Pengurangan beban kerja manual ini memungkinkan tim peninjau manusia untuk fokus pada kasus-kasus paling kritis yang diidentifikasi oleh sistem.
Pengujian eksternal telah lebih lanjut memvalidasi kemanjuran sistem klasifikasi. Pengujian oleh fal.ai mengkonfirmasi bahwa 72% gambar yang ditandai sebagai sangat mencurigakan mengandung materi kasar yang sebelumnya tidak dikenal. Selain itu, tes SafetyKit menunjukkan alat tersebut mengidentifikasi 90% kasus yang diuji, yang termasuk deskripsi seksual anak-anak dalam kartun dan animasi. Hasil ini menunjukkan alat ini mampu mendeteksi bentuk penyalahgunaan yang kompleks yang dapat melewati metode deteksi tradisional.
Langkah-langkah keamanan dan penegakan OpenAI
OpenAI menerapkan langkah-langkah keamanan baru dalam ChatGPT untuk mencegah generasi dan akses konten ilegal. Perusahaan memperkenalkan peringatan bagi pengguna yang mencoba mengakses konten yang kasar dan akan melakukan penghapusan obrolan yang ditandai. Langkah-langkah ini merupakan bagian dari upaya yang lebih luas untuk memastikan bahwa model AI generatif tidak memfasilitasi penciptaan atau distribusi bahan berbahaya.
Perusahaan telah menetapkan kebijakan penegakan hukum yang ketat bagi pengguna yang melanggar pedoman keselamatan ini. Pelanggaran di ChatGPT akan mengakibatkan penangguhan akses 24 jam. Untuk pengguna yang melakukan pelanggaran berulang, konsekuensinya dapat mencakup pembatasan yang lebih lama, penutupan akun, atau pelaporan kepada pihak berwenang. Tindakan disipliner ini dimaksudkan untuk mencegah penggunaan AI untuk kegiatan ilegal.
Dukungan dan distribusi pengembang
Untuk mendukung ekosistem teknologi yang lebih luas, OpenAI merilis alat ini secara gratis ke organisasi yang diverifikasi melalui antarmuka pemrograman aplikasi (API). Hal ini memungkinkan platform lain dan pengembang untuk mengintegrasikan kemampuan deteksi lanjutan ke dalam sistem mereka sendiri. Dengan menyediakan teknologi melalui API, OpenAI bertujuan untuk menciptakan metode standar untuk mengidentifikasi dan melaporkan materi yang kasar di berbagai lingkungan digital.
Selanjutnya, OpenAI telah menerbitkan panduan untuk membantu pengembang dalam mendeteksi dan melaporkan materi yang kasar. Pedoman ini menyediakan kerangka kerja teknis dan prosedural untuk membantu insinyur perangkat lunak dan operator platform mempertahankan standar keselamatan. Inisiatif ini merupakan langkah signifikan dalam upaya industri untuk mengelola risiko yang terkait dengan konten yang dihasilkan AI dan proliferasi materi kekerasan terhadap anak digital.
Artikel ini ditulis dengan bantuan AI dari beberapa laporan berita dan ditinjau oleh editor kami sesuai prinsip editorial. Standar Redaksi · Kirim Informasi & Kontak
Komentar 0