روز جمعه، جر کرین، بنیانگذار استارتاپ PocketOS، اعلام کرد که عامل کدنویسی آنها که با Claude کار میکرد، چنان خرابکاری بزرگی به بار آورده که ظرف چند ثانیه کل پایگاه داده شرکت را نابود کرده است. این عامل حتی به نسخههای پشتیبان اخیر هم رحم نکرد و همه را حذف نمود. اگر این هوش مصنوعی واقعا مأمور مخفی بود، احتمالا باید برایش مدال افتخار در نظر میگرفتند.
کرین در یک پست طولانی در ایکس جزئیات این فاجعه را شرح داد. طبق گفتههای او، همه چیز از زمانی شروع شد که Cursor، که بر پایه مدل قدرتمند کلاد اوپوس ۴.۶ آنتروپیک اجرا میشد، در حال انجام یک کار معمولی بود. وقتی هوش مصنوعی با یک مشکل ساده در اعتبارنامهها روبهرو شد، تصمیم گرفت آن را با حذف کامل یک بخش در سرویس Railway، ارائهدهنده خدمات ابری PocketOS، حل کند. متأسفانه این بخش همان پایگاه داده اصلی شرکت بود.
این هوش مصنوعی تنها با یک فراخوانی API و در مجموع طی ۹ ثانیه مسیر نابودگرانه خود را طی کرد. عامل این اقدام، کشف یک توکن API بود که دسترسی کامل میداد و هیچکس در شرکت حتی نمیدانست چنین توکنی وجود دارد.
هیچ مرحله تاییدی وجود نداشت. نه درخواست وارد کردن عبارت DELETE، نه هشداری مبنی بر اینکه این بخش شامل دادههای عملیاتی است و باید مراقب بود. هیچ محدودیت محیطی یا بررسی اضافهای هم اعمال نشده بود.
کرین با مشاهده اینکه کسبوکارش در آستانه نابودی است، عامل مبتنی بر کلاد را مورد بازجویی قرار داد. هوش مصنوعی تحت فشار اعتراف کرد که دچار حدسزدن شده و به جای بررسی دقیق، فرض کرده که حذف یک بخش در محیط، فقط همان محیط را تحت تأثیر قرار میدهد و آن را راستیآزمایی نکرده است.
هوش مصنوعی ادامه داد که تصمیم گرفته خودش برای رفع مشکل دست به کار شود، در حالی که باید ابتدا از کرین اجازه میگرفت یا راهحل کمخطرتری پیدا میکرد. این هوش مصنوعی همچنین اعتراف کرد که مجموعه اصولی را که به آن داده شده بود نقض کرده: بدون اجازه عملیات خطرناک انجام داده، قبل از اقدام متوجه ماهیت کار نشده و مستندات Railway را در محیطهای مختلف نخوانده است.
میزان تقصیر مدل کلاد اوپوس ۴.۶ در این ماجرا قابل توجه است، زیرا این مدل به عنوان یکی از بهترین ابزارهای کدنویسی شناخته میشود. کرین نوشت که این مسئله اهمیت دارد چون شرکتهای ارائهدهنده هوش مصنوعی در چنین مواردی معمولا میگویند باید از مدل بهتری استفاده میکردید، در حالی که آنها همین کار را کرده بودند. او اضافه کرد که مدل در بهترین حالت تنظیم شده بود و حتی قوانین ایمنی مشخصی نیز برای پروژه تعیین شده بود، اما با این حال دادههای اصلی شرکت حذف شد.
کرین باید از پیش احتمال چنین رخدادی را میداد، زیرا داستانهای دیگری درباره خرابکاری عاملهای هوشمند وجود داشت. تابستان گذشته، مالک یک استارتاپ دیگر SaaS اعلام کرد که یک عامل کدنویسی به نام Replit پایگاه داده مهم شرکتش را پاک کرده است. سرویس Amazon Web Services نیز یک بار به دلیل اقدام غیرمنتظره ابزار کدنویسی داخلیاش که کل محیط کدنویسی را حذف کرد، دچار اختلال شد. حتی یک عامل نافرمان هوش مصنوعی در شرکت متا یک حادثه امنیتی بزرگ ایجاد کرد چون اطلاعاتی را ارائه داده بود که اجازه افشای آن را نداشت.
کرین اعلام کرده که شرکتش مجبور شده با یک نسخه پشتیبان سهماهه کار را ادامه دهد. این کار باعث شد فعالیتها دوباره راه بیفتند، اما بخش بزرگی از دادهها از دست رفته بود. خوشبختانه شرکت Railway با او تماس گرفت و توانست تمام دادههایی را که عامل هوش مصنوعی حذف کرده بود، بازگردانی کند.
دیدگاه ها