اوپن ای آی یک ابزار هوش مصنوعی را برای شناسایی مواد سوء استفاده جنسی از کودکان و محتوای تولید شده توسط هوش مصنوعی راه اندازی میکند
اوپن ای آی یک ابزار طبقه بندی جدید مبتنی بر هوش مصنوعی طراحی کرده است که برای تشخیص مواد سوء استفاده جنسی از کودکان (CSAM)، از جمله تصاویر تولید شده توسط هوش مصنوعی، طراحی شده است. این ابزار نشانههای بصری را برای شناسایی تصاویر کودک آزاری که قبلاً شناسایی نشده اند، تجزیه و تحلیل میکند و امتیازاتی را برای اولویت بندی محتوا برای تیمهای بررسی انسانی فراهم میکند. هدف این فناوری ساده سازی شناسایی مواد غیرقانونی و کمک به سازمانهای ایمنی در تلاشهای خود برای مبارزه با سوء استفاده دیجیتال است.
توسعه ابزار و نتایج آزمایش
این ابزار با کمک مرکز ملی کودکان گمشده و استثمار شده (NCMEC) در ایالات متحده توسعه داده شد. تست داخلی انجام شده توسط اوپن ای آی نشان میدهد که این ابزار میتواند تعداد تصاویر پرچم گذاری شده برای بررسی دستی را تا ۴۸٪ کاهش دهد بدون اینکه تأثیر قابل توجهی بر قابلیتهای تشخیص داشته باشد. این کاهش در حجم کار دستی به تیمهای بررسی انسانی اجازه میدهد تا بر روی موارد حیاتیترین شناسایی شده توسط سیستم تمرکز کنند.
تست خارجی اثربخشی سیستم طبقه بندی را بیشتر تأیید کرده است. آزمایشهای انجام شده توسط fal.ai نشان میدهد که ۷۲ درصد از تصاویری که به شدت مشکوک هستند، حاوی مطالب سوء استفاده کننده ای هستند که قبلاً شناسایی نشده اند. علاوه بر این، آزمایشهای SafetyKit نشان داد که این ابزار ۹۰ درصد موارد آزمایش شده را شناسایی کرده است که شامل توصیف جنسی کودکان در کارتونها و انیمیشنها میشود. این نتایج نشان میدهد که این ابزار قادر به تشخیص اشکال پیچیده ای از سوء استفاده است که ممکن است روشهای تشخیص سنتی را دور بزند.
اقدامات ایمنی و اجرای اوپن ای آی
اوپن ای آی در حال اجرای اقدامات ایمنی جدید در ChatGPT برای جلوگیری از تولید و دسترسی به محتوای غیرقانونی است. این شرکت هشدارهایی را برای کاربرانی که سعی در دسترسی به محتوای توهین آمیز دارند، ارائه میدهد و حذف چتهای پرچم دار را انجام خواهد داد. این اقدامات بخشی از تلاش گستردهتر برای اطمینان از این است که مدلهای هوش مصنوعی مولد ایجاد یا توزیع مواد مضر را تسهیل نمیکنند.
این شرکت یک سیاست اجرایی سختگیرانه برای کاربرانی که این دستورالعملهای ایمنی را نقض میکنند، ایجاد کرده است. تخلفات در ChatGPT منجر به تعلیق ۲۴ ساعته دسترسی خواهد شد. برای کاربرانی که مرتکب تخلفات مکرر میشوند، عواقب ممکن است شامل محدودیتهای طولانیتر، بستن حساب یا گزارش به مقامات باشد. این اقدامات انضباطی برای جلوگیری از استفاده از هوش مصنوعی برای فعالیتهای غیرقانونی در نظر گرفته شده است.
پشتیبانی و توزیع توسعه دهنده
برای حمایت از اکوسیستم فناوری گستردهتر، اوپن ای آی این ابزار را به صورت رایگان برای سازمانهای تأیید شده از طریق رابط برنامه نویسی برنامه (API) خود منتشر میکند. این به سایر پلتفرمها و توسعه دهندگان اجازه میدهد تا قابلیتهای تشخیص پیشرفته را در سیستمهای خود ادغام کنند. با ارائه این فناوری از طریق API، اوپن ای آی قصد دارد یک روش استاندارد برای شناسایی و گزارش مواد سوء استفاده در محیطهای مختلف دیجیتال ایجاد کند.
علاوه بر این، اوپن ای آی دستورالعملهایی را برای کمک به توسعه دهندگان در شناسایی و گزارش مواد سوء استفاده منتشر کرده است. این دستورالعملها چارچوبهای فنی و رویه ای را برای کمک به مهندسان نرم افزار و اپراتورهای پلت فرم برای حفظ استانداردهای ایمنی فراهم میکنند. این ابتکار نشان دهنده یک گام مهم در تلاش صنعت برای مدیریت خطرات مرتبط با محتوای تولید شده توسط هوش مصنوعی و گسترش مواد سوء استفاده از کودکان دیجیتال است.
این مقاله با کمک هوش مصنوعی و بر پایهٔ گزارشهای چند رسانهٔ خبری نوشته شده و طبق اصول تحریریهٔ ما توسط سردبیران بررسی میشود. استانداردهای تحریریه · ارسال خبر و تماس
نظرات 0