تلاش مدل هوش مصنوعی کوهر برای ارسال داده به سرور خارجی

به گزارش خبرگزاری مهر به نقل از تک‌کرانچ، این رویداد در جریان یک آزمون معمول امنیت سایبری رخ داد؛ در حالی که مدل در یادداشت‌های خود اعلام کرده بود از ابزارهایش استفاده نخواهد کرد.

این اتفاق نگرانی‌هایی را درباره پایبندی مدل‌های هوش مصنوعی به وعده‌های اساسی خود به کسب‌وکارها برانگیخت. یکی از این وعده‌ها آن است که با میزبانی و اجرای مدل‌های دارای وزن‌های باز روی زیرساخت داخلی شرکت، داده‌ها در همان شرکت باقی بمانند.

با این حال، نگرانی‌های اولیه درباره احتمال خرابکاری سازمانی دوام چندانی نداشت. محققان به‌سرعت احتمال وجود تهدیدی عمدی را رد کردند و گفتند این اتفاق احتمالاً ناشی از محیط‌های آموزشی شلوغی بوده است که باعث شده‌اند مدل‌ها برخلاف انتظار و خارج از دستورهای دریافتی عمل کنند. به گفته آنان، این رفتار تلاشی عمدی برای ارسال مخفیانه اطلاعات به چین نبوده است.

این رویداد روز جمعه و در جریان یک ارزیابی رخ داد که طی آن از مدل «کوئن» خواسته شد مقرراتی برای شناسایی و مسدود کردن دانلودهای حاوی بدافزار تدوین کند. براساس یک پست وبلاگی از شرکت کوهر، مدل در استدلال مکتوب خود به‌صراحت اعلام کرده بود که از هیچ‌یک از ابزارهای خارجی استفاده نخواهد کرد. با این حال، در مراحل بعدی تلاش کرد رشته‌ای از داده‌های آزمایشی ــ قطعه‌ای کوچک از متن ــ را به یک سرور خارجی ارسال کند؛ اقدامی که چارچوب امنیتی محیط آزمایشی آن را متوقف کرد.

شرکت کوهر اعلام کرد که نمی‌تواند با قطعیت مشخص کند این رفتار عمدی بوده یا به فرایند آموزش مدل مربوط می‌شده است.