OpenAI startet ein KI-Tool zur Erkennung von sexuellem Missbrauch von Kindern und KI-generierten Inhalten
OpenAI hat ein neues KI-gestütztes Klassifizierungstool entwickelt, das darauf ausgelegt ist, Material zum sexuellen Missbrauch von Kindern (CSAM) zu erkennen, einschließlich Bildern, die durch künstliche Intelligenz erzeugt werden. Das Tool analysiert visuelle Hinweise, um bisher unentdeckte Bilder von Kindesmissbrauch zu identifizieren, und bietet Bewertungen, um Inhalte für menschliche Überprüfungsteams zu priorisieren. Diese Technologie zielt darauf ab, die Identifizierung von illegalem Material zu rationalisieren und Sicherheitsorganisationen bei ihren Bemühungen zur Bekämpfung des digitalen Missbrauchs zu unterstützen.
Werkzeugentwicklung und Testergebnisse
Das Tool wurde mit Unterstützung des National Center for Missing & Exploited Children (NCMEC) in den Vereinigten Staaten entwickelt. Interne Tests von OpenAI deuten darauf hin, dass das Tool die Anzahl der für die manuelle Überprüfung markierten Bilder um 48 % reduzieren kann, ohne die Erkennungsfähigkeiten erheblich zu beeinträchtigen. Diese Reduzierung der manuellen Arbeitsbelastung ermöglicht es menschlichen Überprüfungsteams, sich auf die kritischsten Fälle zu konzentrieren, die durch das System identifiziert wurden.
Externe Tests haben die Wirksamkeit des Klassifizierungssystems weiter bestätigt. Tests von fal.ai bestätigten, dass 72% der als hochgradig verdächtig gekennzeichneten Bilder bisher unbekanntes missbräuchliches Material enthielten. Darüber hinaus zeigten SafetyKit-Tests, dass das Tool 90% der getesteten Fälle identifizierte, darunter sexualisierte Beschreibungen von Kindern in Cartoons und Animationen. Diese Ergebnisse deuten darauf hin, dass das Tool in der Lage ist, komplexe Formen von Missbrauch zu erkennen, die traditionelle Erkennungsmethoden umgehen können.
OpenAI Sicherheitsmaßnahmen und Durchsetzung
OpenAI implementiert neue Sicherheitsmaßnahmen innerhalb von ChatGPT, um die Erzeugung und den Zugriff auf illegale Inhalte zu verhindern. Das Unternehmen führt Warnungen für Benutzer ein, die versuchen, auf missbräuchliche Inhalte zuzugreifen, und wird die Entfernung von markierten Chats durchführen. Diese Maßnahmen sind Teil einer breiteren Anstrengung, um sicherzustellen, dass generative KI-Modelle die Erstellung oder Verteilung von schädlichem Material nicht erleichtern.
Das Unternehmen hat eine strenge Durchsetzungsrichtlinie für Benutzer festgelegt, die gegen diese Sicherheitsrichtlinien verstoßen. Verstöße in ChatGPT werden zu einer 24-Stunden-Sperrung des Zugriffs führen. Für Benutzer, die wiederholte Verstöße begehen, können die Folgen längere Einschränkungen, die Schließung des Kontos oder die Berichterstattung an die Behörden umfassen. Diese Disziplinarmaßnahmen sollen den Einsatz von KI für illegale Aktivitäten verhindern.
Entwickler-Support und -Vertrieb
Um das breitere technologische Ökosystem zu unterstützen, stellt OpenAI dieses Tool über seine API (Application Programming Interface) kostenlos für verifizierte Organisationen zur Verfügung. Dies ermöglicht es anderen Plattformen und Entwicklern, erweiterte Erkennungsfunktionen in ihre eigenen Systeme zu integrieren. Durch die Bereitstellung der Technologie über eine API zielt OpenAI darauf ab, eine standardisierte Methode zur Identifizierung und Berichterstattung von missbräuchlichem Material in verschiedenen digitalen Umgebungen zu schaffen.
Darüber hinaus hat OpenAI Richtlinien veröffentlicht, um Entwickler bei der Erkennung und Berichterstattung über missbräuchliches Material zu unterstützen. Diese Richtlinien bieten technische und verfahrenstechnische Rahmenbedingungen, um Software-Ingenieure und Plattformbetreiber dabei zu unterstützen, Sicherheitsstandards einzuhalten. Die Initiative stellt einen bedeutenden Schritt in dem Bestreben der Branche dar, die mit KI-generierten Inhalten und der Verbreitung von digitalem Kindesmissbrauch verbundenen Risiken zu bewältigen.
Dieser Artikel wurde mit KI-Unterstützung auf Grundlage mehrerer Nachrichtenberichte verfasst und wird von unserer Redaktion nach unseren redaktionellen Grundsätzen geprüft. Redaktionelle Grundsätze · Hinweise & Kontakt
Kommentare 0