ओपन एआई ने बाल यौन शोषण सामग्री और AI-जनरेट की गई सामग्री का पता लगाने के लिए AI उपकरण लॉन्च किया
ओपन एआई ने कृत्रिम बुद्धिमत्ता द्वारा उत्पन्न छवियों सहित बाल यौन शोषण सामग्री (CSAM) का पता लगाने के लिए डिज़ाइन किया गया एक नया AI-संचालित वर्गीकरण उपकरण विकसित किया है। यह उपकरण पहले से अज्ञात बाल दुर्व्यवहार छवियों की पहचान करने के लिए दृश्य संकेतों का विश्लेषण करता है और मानव समीक्षा टीमों के लिए सामग्री को प्राथमिकता देने के लिए स्कोर प्रदान करता है। इस तकनीक का उद्देश्य अवैध सामग्री की पहचान को सुव्यवस्थित करना और डिजिटल दुरुपयोग से निपटने के उनके प्रयासों में सुरक्षा संगठनों की सहायता करना है।
उपकरण विकास और परीक्षण परिणाम
यह उपकरण संयुक्त राज्य अमेरिका में स्थित नेशनल सेंटर फॉर मिसिंग एंड एक्सप्लॉयटेड चिल्ड्रेन (NCMEC) की सहायता से विकसित किया गया था। ओपन एआई द्वारा आयोजित आंतरिक परीक्षण से संकेत मिलता है कि उपकरण पहचान क्षमताओं को महत्वपूर्ण रूप से प्रभावित किए बिना मैनुअल समीक्षा के लिए ध्वजांकित छवियों की संख्या को 48% तक कम कर सकता है। मैनुअल वर्कलोड में यह कमी मानव समीक्षा टीमों को सिस्टम द्वारा पहचाने गए सबसे महत्वपूर्ण मामलों पर ध्यान केंद्रित करने की अनुमति देती है।
बाहरी परीक्षण ने वर्गीकरण प्रणाली की प्रभावशीलता को और अधिक प्रमाणित किया है। fal.ai द्वारा परीक्षण ने पुष्टि की कि 72% छवियों को अत्यधिक संदिग्ध के रूप में ध्वजांकित किया गया है, जिसमें पहले से अज्ञात अपमानजनक सामग्री शामिल थी। इसके अतिरिक्त, SafetyKit परीक्षणों से पता चला कि उपकरण ने 90% परीक्षण किए गए मामलों की पहचान की, जिसमें कार्टून और एनिमेशन में बच्चों के यौन विवरण शामिल थे। ये परिणाम बताते हैं कि उपकरण दुर्व्यवहार के जटिल रूपों का पता लगाने में सक्षम है जो पारंपरिक पहचान विधियों को बाईपास कर सकते हैं।
ओपन एआई सुरक्षा उपायों और प्रवर्तन
ओपन एआई अवैध सामग्री के उत्पादन और उपयोग को रोकने के लिए ChatGPT के भीतर नए सुरक्षा उपाय लागू कर रहा है। कंपनी अपमानजनक सामग्री तक पहुंचने का प्रयास करने वाले उपयोगकर्ताओं के लिए चेतावनियां पेश कर रही है और ध्वजांकित चैट को हटाने का कार्य करेगी। ये उपाय यह सुनिश्चित करने के व्यापक प्रयास का हिस्सा हैं कि जनरेटिव एआई मॉडल हानिकारक सामग्री के निर्माण या वितरण की सुविधा प्रदान न करें।
कंपनी ने उन उपयोगकर्ताओं के लिए एक सख्त प्रवर्तन नीति स्थापित की है जो इन सुरक्षा दिशानिर्देशों का उल्लंघन करते हैं। ChatGPT में उल्लंघन के परिणामस्वरूप 24 घंटे का प्रवेश निलंबन होगा। बार-बार उल्लंघन करने वाले उपयोगकर्ताओं के लिए, परिणामों में अब प्रतिबंध, खाता बंद करना या अधिकारियों को रिपोर्ट करना शामिल हो सकता है। इन अनुशासनात्मक कार्यों का उद्देश्य अवैध गतिविधियों के लिए AI के उपयोग को रोकना है।
डेवलपर समर्थन और वितरण
व्यापक तकनीकी पारिस्थितिकी तंत्र का समर्थन करने के लिए, ओपन एआई अपने एप्लिकेशन प्रोग्रामिंग इंटरफेस (API) के माध्यम से सत्यापित संगठनों के लिए इस उपकरण को मुफ्त में जारी कर रहा है। यह अन्य प्लेटफार्मों और डेवलपर्स को अपने सिस्टम में उन्नत पहचान क्षमताओं को एकीकृत करने की अनुमति देता है। एक एपीआई के माध्यम से प्रौद्योगिकी प्रदान करके, ओपन एआई का उद्देश्य विभिन्न डिजिटल वातावरणों में अपमानजनक सामग्री की पहचान करने और रिपोर्ट करने के लिए एक मानकीकृत विधि बनाना है।
इसके अलावा, ओपन एआई ने अपमानजनक सामग्री का पता लगाने और रिपोर्ट करने में डेवलपर्स की सहायता करने के लिए दिशानिर्देश प्रकाशित किए हैं। ये दिशानिर्देश सॉफ्टवेयर इंजीनियरों और प्लेटफॉर्म ऑपरेटरों को सुरक्षा मानकों को बनाए रखने में मदद करने के लिए तकनीकी और प्रक्रियात्मक ढांचे प्रदान करते हैं। यह पहल एआई-जनित सामग्री से जुड़े जोखिमों और डिजिटल बाल शोषण सामग्री के प्रसार के प्रबंधन के उद्योग के प्रयास में एक महत्वपूर्ण कदम का प्रतिनिधित्व करती है।
यह लेख कई समाचार रिपोर्टों के आधार पर AI की सहायता से लिखा गया है और हमारे संपादकीय सिद्धांतों के अनुसार संपादकों द्वारा समीक्षित है। संपादकीय मानक · सूचना और संपर्क
टिप्पणियाँ 0