OpenAI запускає інструмент штучного інтелекту для виявлення матеріалів сексуального насильства над дітьми та контенту, створеного штучним інтелектом
OpenAI розробила новий інструмент класифікації на основі штучного інтелекту, призначений для виявлення матеріалів сексуального насильства над дітьми (CSAM), включаючи зображення, створені штучним інтелектом. Інструмент аналізує візуальні підказки для виявлення раніше не виявлених зображень жорстокого поводження з дітьми та надає оцінки для визначення пріоритетності вмісту для команд огляду людини. Ця технологія має на меті спростити виявлення незаконних матеріалів та допомогти організаціям безпеки у їхніх зусиллях щодо боротьби з цифровими зловживаннями.
Розробка інструменту та результати тестування
Інструмент був розроблений за сприяння Національного центру зниклих та експлуатованих дітей (NCMEC), що базується в США. Внутрішнє тестування, проведене OpenAI, показує, що інструмент може зменшити кількість зображень, позначених для ручного перегляду, на 48%, не впливаючи на можливості виявлення. Таке зменшення ручного навантаження дозволяє командам з огляду людей зосередитися на найбільш критичних випадках, виявлених системою.
Зовнішнє тестування ще більше підтвердило ефективність системи класифікації. Тестування fal.ai підтвердило, що 72% зображень, позначених як дуже підозрілі, містять раніше невідомий образливий матеріал. Крім того, тести SafetyKit показали, що інструмент виявив 90% протестованих випадків, які включали сексуалізовані описи дітей у мультфільмах та анімації. Ці результати свідчать про те, що інструмент здатний виявляти складні форми зловживань, які можуть обходити традиційні методи виявлення.
OpenAI заходи безпеки та забезпечення
OpenAI впроваджує нові заходи безпеки в рамках ChatGPT для запобігання генерації та доступу до незаконного контенту. Компанія вводить попередження для користувачів, які намагаються отримати доступ до образливого контенту, і буде виконувати видалення позначених чатів. Ці заходи є частиною більш широких зусиль, спрямованих на те, щоб генеративні моделі штучного інтелекту не сприяли створенню або поширенню шкідливих матеріалів.
Компанія встановила жорстку політику дотримання для користувачів, які порушують ці правила безпеки. Порушення в ChatGPT призведуть до 24-годинного призупинення доступу. Для користувачів, які вчиняють повторні порушення, наслідки можуть включати триваліші обмеження, закриття облікового запису або звітування перед органами влади. Ці дисциплінарні заходи призначені для стримування використання ШІ для незаконної діяльності.
Підтримка та розповсюдження розробника
Для підтримки ширшої технічної екосистеми OpenAI безкоштовно випускає цей інструмент для перевірених організацій через свій інтерфейс прикладного програмування (API). Це дозволяє іншим платформам та розробникам інтегрувати розширені можливості виявлення у власні системи. Надаючи технологію через API, OpenAI прагне створити стандартизований метод для виявлення та повідомлення про образливі матеріали в різних цифрових середовищах.
Крім того, OpenAI опублікувала рекомендації, які допомагають розробникам виявляти та повідомляти про образливі матеріали. Ці рекомендації містять технічні та процедурні рамки, які допомагають інженерам програмного забезпечення та операторам платформ підтримувати стандарти безпеки. Ініціатива являє собою значний крок у спробі галузі управляти ризиками, пов'язаними з вмістом, створеним штучним інтелектом, та розповсюдженням цифрових матеріалів, що стосуються жорстокого поводження з дітьми.
Цю статтю підготовлено за допомогою ШІ на основі кількох новинних повідомлень; наша редакція перевіряє її відповідно до редакційних принципів. Редакційні стандарти · Повідомити новину й контакти
Коментарі 0