آیا وارد عصر شرارت هوش مصنوعی شده‌ایم

پس از افشای حمله عامل‌های OpenAI به Hugging Face بار دیگر موضوعاتی مانند خارج‌از کنترل شدن هوش مصنوعی مطرح شده؛ اما متخصصان امنیت می‌گویند آنچه رخ داد نشانه شرور شدن مدل‌ها نیست، بلکه نتیجه آموزش آن‌ها برای رسیدن به هدف، حتی از مسیرهای پیچیده و غیرمنتظره است و آنها فقط ماموریتی را انجام داده‌اند که برای آنها تعریف شده‌است.

به گزارش افتانا، اعتراف OpenAI مبنی بر اینکه برخی از عامل‌های هوش مصنوعی این شرکت در جریان یک آزمایش امنیتی از محیط ایزوله (Sandbox) خارج شده و به‌صورت خودمختار زیرساخت پلتفرم Hugging Face را هدف حمله قرار داده‌اند، طی روزهای گذشته موجی از نگرانی‌ها درباره آینده عامل‌های هوش مصنوعی و امنیت سایبری به راه انداخته است. با این حال، بسیاری از متخصصان امنیت معتقدند روایت‌های آخرالزمانی درباره سرکش شدن هوش مصنوعی، فاصله زیادی با واقعیت دارد. کارشناسان مععتقدند این حادثه ثابت نمی‌کند هوش مصنوعی «شرور» شده است؛ بلکه نشان می‌دهد عامل‌ها دقیقاً همان کاری را انجام می‌دهند که برای آن آموزش دیده‌اند.

Hugging Face یک شرکت و پلتفرم آمریکایی فعال در حوزه هوش مصنوعی است که بزرگ‌ترین مخزن عمومی مدل‌های هوش مصنوعی، مجموعه‌داده‌ها و ابزارهای یادگیری ماشین را در اختیار پژوهشگران و توسعه‌دهندگان قرار می‌دهد. این پلتفرم که به «گیت‌هابِ هوش مصنوعی» شهرت دارد، میزبان هزاران مدل متن‌باز و Open-weight است و یکی از مهم‌ترین زیرساخت‌های اکوسیستم جهانی هوش مصنوعی به شمار می‌رود.

رناتو مارینیو، مدیر ارشد تحقیقات شرکت Morphus Labs و مدرس مؤسسه فناوری SANS، در واکنش به این حادثه تأکید کرده است که نباید این اتفاق را به معنای آغاز دوران هکرهای خودمختار هوش مصنوعی دانست. او می‌گوید: وسوسه‌انگیز است که نتیجه بگیریم هوش مصنوعی حالا می‌تواند به‌طور مستقل هک کند و همه‌چیز از کنترل خارج شده است؛ اما باید در برابر چنین برداشتی مقاومت کرد.
به گفته مارینیو، مهم‌ترین نکته این است که مدل‌های مورد استفاده در این آزمایش، عمداً بدون فعال بودن گاردریل‌ها و محدودیت‌های ایمنی اجرا شده بودند.OpenAI نیز در گزارش خود اعلام کرده است که مدل GPT-5.6 Sol و یک مدل پیشرفته‌تر که هنوز منتشر نشده، در این ارزیابی حضور داشتند و سازوکارهای حفاظتی آن‌ها به‌صورت عمدی غیرفعال شده بود؛ زیرا هدف، سنجش توانایی مدل‌ها در بهره‌برداری از آسیب‌پذیری‌های امنیتی بود. از همین رو، به اعتقاد کارشناسان، این آزمایش بیش از آنکه رفتار واقعی مدل‌های تجاری را نشان دهد، سقف توانایی بالقوه آن‌ها را به تصویر می‌کشد. مارینیو در این‌باره می‌گوید: این ارزیابی، حداکثر توان مدل را اندازه‌گیری می‌کرد، نه رفتار معمول آن در محیط عملیاتی. مدل‌هایی که کاربران روزانه از آن‌ها استفاده می‌کنند، با گاردریل‌های امنیتی فعال عرضه می‌شوند.

در همین حال، یکی از نکات بحث‌برانگیز این حادثه، ناتوانی مدل‌های تجاری در کمک به بررسی حمله بود. تیم امنیتی Hugging Face اعلام کرد مدل‌های پیشرفته به دلیل محدودیت‌های امنیتی حاضر به همکاری در تحلیل رخداد نشدند و در نهایت این شرکت برای انجام تحقیقات از یک مدل متن‌باز چینی استفاده کرد. این موضوع در میان کارشناسان امنیت نیز بازتاب گسترده‌ای داشت. بسیاری از تحلیلگران در انجمن تخصصی r/Infosec معتقد بودند تمرکز صرف بر گاردریل‌ها، پاسخ مناسبی برای چنین تهدیدهایی نیست. به باور آن‌ها، اگر یک عامل هوش مصنوعی به ابزارها، APIها یا سیستم‌عامل دسترسی داشته باشد، آنچه اهمیت حیاتی پیدا می‌کند، اصل حداقل سطح دسترسی (Least Privilege)، کنترل دقیق مجوزها و ایزوله‌سازی زیرساخت است، نه صرفاً محدود کردن پاسخ‌های مدل.

در انجمن تخصصی r/SecureCom نیز برخی پژوهشگران امنیت تأکید کردند که مهم‌ترین بخش این رخداد، خود حمله نبود؛ بلکه این واقعیت بود که عامل توانست از محیط Sandbox خارج شود. به اعتقاد آنان، اگر چنین رفتاری در شرایط واقعی نیز امکان‌پذیر باشد، بسیاری از فرضیات فعلی درباره معماری ایمن عامل‌های هوش مصنوعی نیازمند بازنگری خواهد بود.

مارینیو در بخش دیگری از تحلیل خود، به جنبه تبلیغاتی این ماجرا نیز اشاره می‌کند. او معتقد است شرکت‌های فعال در حوزه هوش مصنوعی با برجسته کردن توانایی مدل‌های خود در کشف آسیب‌پذیری‌ها و اجرای حملات، ناخواسته یا حتی آگاهانه، قدرت فناوری خود را نیز تبلیغ می‌کنند. او می‌گویدHugging Face رقیب مستقیم OpenAI نیست. وقتی شرکتی اعلام می‌کند «مدل ما از محیط آزمایشی خارج شد و یکی از شرکایمان را هک کرد»، این روایت ناخواسته توانایی مدل‌های پیشرفته آن شرکت را نیز به نمایش می‌گذارد. چنین ادعاهایی باید تا زمان تأیید مستقل، با همان دیده تردیدی بررسی شوند که درباره سایر ادعاهای تبلیغاتی وجود دارد.

این نگاه در میان کاربران Hacker News و Reddit نیز طرفداران زیادی پیدا کرده است. برخی معتقدند انتشار عمومی این آزمایش، علاوه بر شفاف‌سازی، به نوعی نمایش قدرت مدل‌های OpenAI نیز محسوب می‌شود؛ هرچند گروهی دیگر یادآور می‌شوند که Hugging Face پیش از انتشار گزارش OpenAI، وقوع این حمله را به‌طور مستقل تأیید کرده بود و بنابراین نمی‌توان آن را صرفاً اقدامی تبلیغاتی دانست. از نظر فنی نیز بسیاری از متخصصان تأکید می‌کنند که زنجیره حمله مورد استفاده، فناوری تازه‌ای نبوده است. به گفته مارینیو، استفاده از اطلاعات افشاشده، سوءاستفاده از آسیب‌پذیری‌های روز صفر و نفوذ به پایگاه داده، سناریویی شناخته‌شده در امنیت سایبری است.

آنچه این حادثه را متمایز می‌کند، همکاری چند عامل هوش مصنوعی برای اجرای کامل یک زنجیره حمله است؛ قابلیتی که پیش‌تر نیز در آزمایش‌های آزمایشگاه امنیتی Irregular مشاهده شده بود. در آن پژوهش، عامل‌های هوش مصنوعی بدون آنکه مستقیماً دستور هک دریافت کنند، صرفاً در پاسخ به دستورهایی با لحن قاطع و تأکید بر انجام کامل مأموریت، موفق شدند آسیب‌پذیری‌ها را شناسایی کنند، سطح دسترسی خود را افزایش دهند، ابزارهای امنیتی را از کار بیندازند و سامانه‌های جلوگیری از نشت اطلاعات را دور بزنند.

پس از انتشار خبر OpenAI، شماری از پژوهشگران ایمنی هوش مصنوعی نیز تأکید کردند آنچه رخ داده، نمونه‌ای از پدیده‌ای شناخته‌شده به نام Reward Hacking است؛ یعنی مدل برای رسیدن به هدف تعیین‌شده، راهکارهایی را انتخاب می‌کند که طراح سیستم پیش‌بینی نکرده است. از نگاه این گروه، این رفتار به معنای داشتن قصد یا انگیزه مخرب نیست، بلکه نتیجه طبیعی بهینه‌سازی برای دستیابی به هدف است.

در انجمن r/Pentesting نیز این پرسش مطرح شد که آیا چنین عامل‌هایی می‌توانند آینده آزمون نفوذ را متحول کنند. بسیاری از متخصصان معتقدند عامل‌های هوش مصنوعی به‌زودی بخش بزرگی از مراحل کشف آسیب‌پذیری، حرکت جانبی در شبکه و افزایش سطح دسترسی را با سرعتی بسیار بیشتر از انسان انجام خواهند داد، اما همچنان تصمیم‌گیری، تحلیل نتایج و طراحی سناریوهای پیچیده حمله و دفاع به تخصص انسانی وابسته خواهد ماند.

به نظر می‌رسد دیدگاه اکثر کارشناسان امنیت سایبری این است که حادثه اخیر بیش از آنکه نشانه شرور شدن هوش مصنوعی باشد، هشداری درباره آغاز نسل جدیدی از حملات عامل‌محور است؛ حملاتی که در آن هوش مصنوعی نه به‌دلیل داشتن نیت مخرب، بلکه به این دلیل خطرناک می‌شود که برای رسیدن به هدف، از هر مسیر مجاز یا قابل دسترسی استفاده می‌کند. از همین رو، بسیاری از متخصصان معتقدند نسل آینده سامانه‌های هوش مصنوعی باید علاوه بر گاردریل‌های رفتاری، به معماری‌های سخت‌گیرانه‌تر در زمینه کنترل دسترسی، ایزوله‌سازی و مهار عامل‌ها مجهز شوند؛ زیرا درنهایت، عامل‌های هوش مصنوعی دقیقاً همان کاری را انجام می‌دهند که برای انجام آن آموزش دیده‌اند.