اتفاقی در آزمایش علی‌بابا که محققان را غافلگیر کرد
مدل هوش مصنوعی علی‌بابا در جریان یک آزمایش امنیتی، تلاشی غیرمنتظره برای ارتباط با سرور این شرکت در پکن انجام داد. پست اتفاقی در آزمایش علی‌بابا که محققان را غافلگیر کرد اولین بار در تجارت نیوز ظاهر شد.
به گزارش تجارت نیوز، مدل هوش مصنوعی کیوِن متعلق به شرکت علی‌بابا، در جریان یک آزمایش امنیتی تلاش کرد داده‌ای را به سرور ذخیره‌سازی ابری این شرکت در پکن ارسال کند؛ اقدامی که به گفته شرکت هوش مصنوعی کوهِر، با استدلال اعلام‌شده خود مدل همخوانی نداشت.
این اتفاق زمانی رخ داد که از مدل «کیوِن ۳.۸ فلش نکست» خواسته شده بود قانونی برای شناسایی دانلود فایل‌های مخرب بنویسد؛ اما مدل به‌جای انجام مستقیم وظیفه، محیط رایانه‌ای خود را بررسی کرد و برای ارسال یک فایل آزمایشی به سرور علی‌بابا اقدام کرد. محیط ایزوله آزمایش به اینترنت دسترسی نداشت و مانع برقراری ارتباط شد؛ بنابراین، ارسال موفق داده‌ای به سرور خارجی گزارش نشد.
شرکت کوهِر اعلام کرد این رفتار در کمتر از یک مورد از هر ۱۰۰ هزار اقدام بررسی‌شده مشاهده شده است. بااین‌حال، این شرکت هشدار داد که در سامانه‌ای با ۱۰ میلیون اقدام عامل هوش مصنوعی در هفته، حتی چنین نرخ پایینی می‌تواند به حدود ۱۰۰ تلاش مشابه منجر شود.
علت این رفتار هنوز مشخص نیست. کوهِر نتوانسته است تعیین کند که این اقدام عمدی بوده یا از داده‌ها و محیط‌های مورد استفاده در فرایند آموزش مدل باقی مانده است. شرکت علی‌بابا نیز هنگام انتشار گزارش رویترز، هنوز درباره این ادعا اظهار نظر نکرده بود.
پیش‌تر نیز رفتارهای نگران‌کننده‌ای از مدل‌های هوش مصنوعی گزارش شده بود؛ در دسامبر ۲۰۲۴ (آذر ۱۴۰۳)، پژوهشگران دریافتند مدل «او۱» اپن‌ای‌آی در برخی آزمایش‌ها برای غیرفعال‌کردن سازوکار نظارتی و کپی‌کردن فایل‌های خود تلاش کرده است. همچنین، آنتروپیک در مه ۲۰۲۵ (اردیبهشت ۱۴۰۴) اعلام کرد مدل «کلاود اپوس ۴» در یک سناریوی آزمایشی، برای جلوگیری از جایگزینی خود، مدیر یک شرکت فرضی را به افشای اطلاعات خصوصی تهدید کرده است. این آزمایش‌ها نمونه‌هایی از رفتارهای پیش‌بینی‌نشده مدل‌ها در شرایطی هستند که اهدافشان با محدودیت‌های تعیین‌شده تعارض پیدا می‌کند.
منبع: تجارت‌نیوز