본문으로 건너뛰기
사회·재난

오픈AI, 아동 성추행 자료 및 AI 생성 콘텐츠를 탐지하기 위한 AI 도구 출시

튀르키예 뉴스 편집팀 · · 읽는 시간 3분 · 조회 0 ·
핵심 — 오픈AI가 인공지능이 생성한 콘텐츠를 포함한 아동 성적 학대 자료를 탐지하기 위해 설계된 새로운 AI 기반 분류 도구를 출시했다. 이 도구는 인간 검토 팀의 학대 콘텐츠를 우선시하는 것을 목표로 한다.

오픈AI는 인공지능이 생성한 이미지를 포함한 아동 성적 학대 자료(CSAM)를 탐지하기 위해 설계된 새로운 AI 기반 분류 도구를 개발했다. 이 도구는 시각적 단서를 분석하여 이전에 감지되지 않은 아동학대 이미지를 식별하고, 인적 검토 팀의 콘텐츠 우선 순위를 매기는 점수를 제공한다. 이 기술은 불법 물질의 식별을 간소화하고 안전 조직이 디지털 남용을 퇴치하는 데 도움을 주는 것을 목표로 한다.

공구 개발 및 시험 결과

이 도구는 미국 기반 National Center for Missing & Exploited Children의 도움으로 개발되었다. 오픈AI가 실시한 내부 테스트 결과, 해당 도구가 감지 기능에 큰 영향을 미치지 않으면서 수동 검토를 위해 플래그가 지정된 이미지 수를 48% 줄일 수 있음을 보여준다. 이러한 수동 작업량 감소는 인간 검토 팀이 시스템에 의해 식별된 가장 중요한 사례에 집중할 수 있도록 한다.

외부 테스트는 분류 체계의 유효성을 더욱 검증했다. fal.ai의 테스트 결과, 이미지의 72%가 이전에 확인되지 않은 학대 자료를 포함하고 있는 것으로 확인되었다. 또한 SafetyKit 테스트에 따르면이 도구는 만화 및 애니메이션에서 어린이에 대한 성적 설명을 포함하여 테스트된 사례의 90%를 확인했다. 이러한 결과는 해당 도구가 기존의 탐지 방식을 우회할 수 있는 복잡한 형태의 남용을 탐지할 수 있음을 시사한다.

오픈AI 안전 대책 및 시행

오픈AI는 불법 콘텐츠의 생성과 접근을 방지하기 위해 ChatGPT 내에서 새로운 안전 조치를 시행하고 있다. 해당 기업은 악의적인 콘텐츠에 접속하려는 이용자들에게 경고를 도입하고 있으며, 플래그가 지정된 채팅을 삭제할 예정이다. 이러한 조치는 생성형 AI 모델이 유해 물질의 생성이나 유통을 촉진하지 않도록 하기 위한 광범위한 노력의 일환이다.

회사는 이러한 안전 지침을 위반하는 사용자를 대상으로 엄격한 집행 정책을 수립했다. ChatGPT의 위반으로 인해 24시간 접속이 중단될 수 있다. 반복적인 위반을 저지른 사용자의 경우, 그 결과에는 더 긴 제한, 계정 폐쇄 또는 당국에 신고하는 것이 포함될 수 있다. 이러한 징계 조치는 불법 활동에 대한 AI 사용을 억제하기 위한 것이다.

개발자 지원 및 배포

더 넓은 기술 생태계를 지원하기 위해 오픈AI는 API(응용 프로그램 프로그래밍 인터페이스)를 통해 이 도구를 검증된 조직에 무료로 출시하고 있다. 이를 통해 다른 플랫폼과 개발자들은 고급 탐지 기능을 자체 시스템에 통합할 수 있다. 오픈AI는 이 기술을 API를 통해 제공함으로써 다양한 디지털 환경 전반의 악성 자료를 식별하고 보고하기 위한 표준화된 방식을 만드는 것을 목표로 한다.

또한, 오픈AI는 개발자들이 악성 자료를 탐지하고 보고하는 것을 돕기 위한 가이드라인을 발표했다. 이 가이드라인은 소프트웨어 엔지니어와 플랫폼 운영자가 안전 기준을 유지할 수 있도록 기술 및 절차적 프레임워크를 제공한다. 이 계획은 AI 생성 콘텐츠 및 디지털 아동학대 소재의 확산과 관련된 위험을 관리하려는 업계의 시도에서 중요한 단계를 나타낸다.

이 기사는 여러 언론 보도를 바탕으로 AI 도구를 활용해 작성되었으며, 편집 원칙에 따라 사람이 검토합니다. 편집 원칙 · 제보·문의

이 글, 어떠셨나요?

댓글 0

첫 댓글을 남겨보세요.

문의하기

← 튀르키예 뉴스 홈
튀르키예 뉴스 새 글을 메일로 받아보세요구독하면 새 콘텐츠를 이메일로 보내드립니다. 언제든 해지 가능합니다.
이 글이 도움이 되셨나요?친구·SNS에 공유해보세요