آیا چت‌بات‌های هوش مصنوعی دنیای تجارت را تهدید می‌کنند

مرکز ملی امنیت سایبری انگلیس (NCSC) درباره یکپارچه‌سازی چت‌بات‌های هوش مصنوعی در کسب‌و‌کارها به سازمان‌های مختلف هشدار داد.

به گزارش افتانا، مقامات انگلیس درباره یکپارچه‌سازی چت‌بات‌های هوش مصنوعی در کسب‌وکارها به سازمان‌های مختلف هشدار داده و اعلام کردند تحقیقات نشان می‌دهد این ابزارها را می‌توان برای انجام کارهای خطرناک فریب داد.

مرکز ملی امنیت سایبری انگلیس (NCSC) در یک پست وبلاگی اعلام کرد کارشناسان هنوز نتوانسته‌اند به طور کامل مشکلات امنیتی احتمالی مربوط به الگوریتم‌هایی را شناسایی کنند که قادر به ایجاد واکنش‌های مشابه انسان هستند و به مدل‌های زبانی بزرگ (LLM) مشهورند.

استفاده از ابزارهای مبتنی بر هوش مصنوعی نه فقط به رشد کاربرد چت‌بات‌ها منجر شده بلکه برخی معتقدند علاوه بر آنکه جایگزین جست‌وجوی اینترنتی می‌شود بخش سرویس‌های مشتریان و تماس‌ها برای فروش را نیز از آن خود می‌کند.

طبق گزارش این مرکز چنین ابزارهایی ممکن است ریسک‌هایی در بر داشته باشند به خصوص اگر مدل‌های زبانی بزرگ به سایر عناصر فرایندهای تجاری سازمان متصل شده باشند. کارشناسان و محققان مکررا روش‌هایی را یافته‌اند که با ارسال دستورهای ممنوع به چت‌بات‌ها یا گمراه کردن آنها و دور زدن اقدامات محافظتی، این ابزارها را از کار می‌اندازند.

به عنوان مثال اگر هکری سوالات مشخصی را در چت‌بات یک بانک وارد کند، می‌تواند این سیستم را فریب دهد و تراکنش‌های غیرمجاز انجام دهد.

NCSC در یکی از پست‌های وبلاگی خود با اشاره به ارائه آزمایشی نرم‌افزار می‌نویسد: سازمان هایی که با استفاده از LLM ها سرویسی ایجاد می‌کنند باید مانند زمانی که یک محصول یا کدی را در وضعیت بتا ارائه می‌کنند، مراقب باشند.

ممکن است سازمان‌ها اجازه ندهند محصول آزمایشی از سوی مشتری تراکنشی انجام دهد و به طور کلی آن را معتبر ندانند. همین اقدامات احتیاطی باید در مدل‌های زبانی بزرگ نیز اتخاذ شود.

مقامات سراسر جهان مشغول دست‌وپنجه نرم کردن با مدل‌های زبانی بزرگ مانند چت جی‌پی‌تی شرکت اوپن ای آی هستند. کسب‌وکارهای مختلف این ابزارها را به طور وسیع در سرویس‌های خود ازجمله بخش‌های فروش و خدمات مشتریان به کار می‌گیرند.