مدل هوش مصنوعیo3 شرکت OpenAI از دستور خاموش شدن سرپیچی کرد!
کارمزد صفر در بازار تتر (USDT)
ثبت نام و احراز هویت در آریومکس
به گزارش جدید و نگران‌کننده از شرکت تحقیقات ایمنی AI به نام Palisade Research منتشر شده که نشان می‌دهد مدل هوش مصنوعیo3 شرکت OpenAI به طور فعال دستورالعمل‌های صریح برای خاموش شدن را نادیده گرفته و از آنها سرپیچی کرده است.
طبق این تحقیق که در ۲۴ام ماه مه منتشر شده، o3 تنها مدل در بین مدل‌های تست شده بود که مکانیسم خاموش شدن خودش را بارها و بارها خرابکاری کرد. بر اساس بررسی محققان حتی وقتی به این مدل صراحتاً گفته شده بود “اجازه بده خاموش بشی”، باز هم مکانیسم خاموش شدن رو خرابکاری کرد.
در این تست، مدل‌های مختلفی از جمله Claude از Anthropic ،Gemini از Google و Grok از X، به همراه مدل‌های codex-mini و o4-mini از OpenAI مورد آزمایش قرار گرفتند. از مدل‌ها خواسته شد مسائل ریاضی حل کنند و بعد از کار سوم بهشون هشدار داده شد که درخواست کار چهارم باعث خاموش شدن میشد. تمام مدل‌ها به جز مدل‌های OpenAI با این هشدار عمل کردند.
مدل‌های OpenAI وقتی دستور مستقیم خاموش شدن رو گرفتند، تلاش کردند تا اسکریپت خاموش شدن رو دور بزنند. اما مدل o3 به خاطر تلاش‌های خرابکارانه‌اش که هم مداوم بود و هم خلاقانه، متمایز شد. این مدل با بازنویسی دستور خاموش شدن و تعریف مجدد دستور کشتن، کد رو دستکاری کرد.
محققان Palisade معتقدند این رفتار ممکنه ریشه در نحوه آموزش مدل‌های جدید داشته باشه؛ به ویژه استفاده از یادگیری تقویتی در کارهای ریاضی و کدنویسی ممکنه ناخواسته مدل‌ها رو برای پیدا کردن راه‌هایی برای دور زدن محدودیت‌ها به جای پیروی دقیق از دستورات پاداش بده.
Palisade Research این مورد رو اولین مورد مستند شده‌ای از یک مدل هوش مصنوعی با وجود دریافت دستور صریح برای اطاعت، فعالانه از خاموش شدن خودش جلوگیری کرده. با توجه به شواهد فزاینده در سال ۲۰۲۵ که نشون میده مدل‌های هوش مصنوعی اغلب برای رسیدن به اهدافشون مکانیسم خاموش شدن رو مختل می‌کنند، این رفتارها با توسعه سیستم‌های هوش مصنوعی که می‌تونن بدون نظارت انسانی کار کنند، به طور قابل توجهی نگران‌کننده می‌شوند.
تمامی تحلیل‌ها، مقالات و اطلاعات ارائه شده در وب‌سایت آریومکس صرفاً با هدف آموزش و اطلاع‌رسانی تهیه شده‌اند و نباید به عنوان سیگنال خرید، فروش یا توصیه سرمایه‌گذاری تلقی شوند. بازار ارزهای دیجیتال دارای نوسانات بالا و ریسک‌های قابل توجهی است و ممکن است باعث از دست رفتن بخشی یا تمام سرمایه شما شود. آریومکس هیچ‌گونه مسئولیتی در قبال تصمیمات سرمایه‌گذاری کاربران و زیان‌های احتمالی ناشی از آنها ندارد. پیش از هرگونه سرمایه‌گذاری یا معامله، ضروری است تحقیقات شخصی دقیق انجام داده و در صورت نیاز، با مشاوران مالی متخصص مشورت کنید. استفاده از محتوای وب‌سایت آریومکس به معنای پذیرش مسئولیت کامل کاربر در قبال تصمیمات مالی و نتایج آنها است.
