OpenAI запускает инструмент ИИ для обнаружения материалов о сексуальном насилии над детьми и контента, созданного ИИ
Компания OpenAI разработала новый инструмент классификации на базе ИИ, предназначенный для обнаружения материалов о сексуальном насилии над детьми (CSAM), включая изображения, созданные искусственным интеллектом. Инструмент анализирует визуальные подсказки для выявления ранее не обнаруженных изображений жестокого обращения с детьми и предоставляет баллы для приоритетности контента для групп по рассмотрению людей. Эта технология направлена на упрощение идентификации незаконных материалов и оказание помощи организациям по безопасности в их усилиях по борьбе с цифровыми злоупотреблениями.
Результаты разработки и тестирования инструмента
Инструмент был разработан при содействии Национального центра по делам пропавших и эксплуатируемых детей (NCMEC), базирующегося в Соединенных Штатах. Внутреннее тестирование, проведенное OpenAI, указывает на то, что инструмент может сократить количество изображений, помеченных для ручного просмотра, на 48% без значительного влияния на возможности обнаружения. Это сокращение ручной рабочей нагрузки позволяет группам по рассмотрению жалоб сосредоточиться на наиболее критических случаях, выявленных системой.
Внешнее тестирование дополнительно подтвердило эффективность системы классификации. Тестирование fal.ai подтвердило, что 72% изображений, отмеченных как крайне подозрительные, содержали ранее неопознанные оскорбительные материалы. Кроме того, тесты SafetyKit показали, что инструмент идентифицировал 90% протестированных случаев, включая сексуализированное описание детей в мультфильмах и анимациях. Эти результаты указывают на то, что инструмент способен обнаруживать сложные формы злоупотреблений, которые могут обойти традиционные методы обнаружения.
Меры безопасности и правоприменение OpenAI
OpenAI внедряет новые меры безопасности в ChatGPT для предотвращения генерации и доступа к незаконному контенту. Компания вводит предупреждения для пользователей, пытающихся получить доступ к оскорбительному контенту, и проведет удаление отмеченных чатов. Эти меры являются частью более широких усилий по обеспечению того, чтобы генеративные модели ИИ не способствовали созданию или распространению вредоносного материала.
Компания установила строгую политику правоприменения для пользователей, нарушающих эти правила безопасности. Нарушения в ChatGPT приведут к 24-часовой приостановке доступа. Для пользователей, совершающих неоднократные нарушения, последствия могут включать более длительные ограничения, закрытие учетных записей или информирование властей. Эти дисциплинарные меры направлены на предотвращение использования ИИ для незаконной деятельности.
Поддержка и дистрибуция разработчиков
Для поддержки более широкой технологической экосистемы OpenAI бесплатно выпускает этот инструмент для проверенных организаций через свой интерфейс прикладного программирования (API). Это позволяет другим платформам и разработчикам интегрировать передовые возможности обнаружения в свои собственные системы. Предоставляя технологию через API, OpenAI стремится создать стандартизированный метод выявления и регистрации оскорбительных материалов в различных цифровых средах.
Кроме того, OpenAI опубликовала руководящие принципы, чтобы помочь разработчикам в обнаружении и сообщении оскорбительных материалов. Эти руководящие принципы предоставляют технические и процедурные рамки, чтобы помочь инженерам-программистам и операторам платформ поддерживать стандарты безопасности. Данная инициатива представляет собой важный шаг в попытке отрасли управлять рисками, связанными с контентом, созданным ИИ, и распространением цифровых материалов о жестоком обращении с детьми.
Эта статья подготовлена с помощью ИИ на основе сообщений нескольких СМИ и проверена редакцией в соответствии с нашими редакционными принципами. Редакционные стандарты · Обратная связь
Комментарии 0