オープンAI、児童の性的虐待素材とAI生成コンテンツを検出するAIツールを発売
オープンAIは、人工知能によって生成された画像を含む、児童の性的虐待資料(CSAM)を検出するために設計された新しいAI搭載の分類ツールを開発した。このツールは、以前に検出されなかった児童虐待画像を特定するための視覚的な手がかりを分析し、人間のレビューチームのコンテンツに優先順位を付けるためのスコアを提供する。この技術は、違法な素材の識別を合理化し、デジタル虐待と闘う安全組織を支援することを目的としている。
ツールの開発とテスト結果
このツールは、アメリカ合衆国に拠点を置くNational Center for Missing & Exploited Children(NCMEC)の支援を受けて開発された。オープンAIが実施した内部テストでは、検出機能に大きな影響を与えることなく、手動レビューのためにフラグが付けられた画像の数を48%削減できることが示されている。手作業の負荷が軽減されるため、人間のレビューチームは、システムによって特定された最も重要なケースに集中できる。
外部試験は、分類システムの有効性をさらに検証した。fal.aiによるテストでは、非常に疑わしいと判定された画像の72%に、以前には確認できなかった不正な素材が含まれていたことが確認された。さらに、SafetyKitテストでは、漫画やアニメーションでの子供の性的な説明を含む、テストされたケースの90%が特定された。これらの結果は、このツールが従来の検出方法を迂回する可能性のある複雑な形式の乱用を検出できることを示唆している。
オープンAIのセキュリティ対策と実施
オープンAIは、違法なコンテンツの生成とアクセスを防ぐために、ChatGPT内で新しい安全対策を実施している。同社では、不正なコンテンツにアクセスしようとするユーザーに対して警告を発しており、フラグ付きチャットの削除も実施する。これらの措置は、生成AIモデルが有害な素材の作成や配布を助長しないようにするための広範な取り組みの一環だ。
同社は、この安全ガイドラインに違反したユーザーに対して、厳格な施行方針を定めている。ChatGPTの違反により、24時間のアクセス停止になる。違反を繰り返したユーザーの場合、その結果には、より長い制限、アカウントの閉鎖、または当局への報告が含まれる場合がある。これらの懲戒処分は、違法行為へのAIの利用を抑止することを目的としている。
開発者のサポートと配布
より広範な技術エコシステムをサポートするために、オープンAIはこのツールをAPI(Application Programming Interface)経由で検証済みの組織に無償でリリースする。これにより、他のプラットフォームや開発者が高度な検出機能を独自のシステムに統合することができる。オープンAIは、この技術をAPIを通じて提供することで、さまざまなデジタル環境において、不正なコンテンツを特定して報告するための標準化された方法を作り出すことを目指している。
さらに、オープンAIは、開発者が不正な素材を検出して報告するのを支援するためのガイドラインを公開している。これらのガイドラインは、ソフトウェアエンジニアとプラットフォームオペレーターが安全基準を維持するのに役立つ技術的および手続き的フレームワークを提供する。このイニシアチブは、AIが生成したコンテンツとデジタル児童虐待の拡散に関連するリスクを管理する業界の試みにおける重要な一歩だ。
この記事は複数の報道をもとにAIツールを活用して作成され、編集方針に沿って人が確認しています。 編集方針 · 情報提供・お問い合わせ
コメント 0