شرکت کلادفلر که یکی از بزرگ‌ترین ارائه دهندگان زیرساخت‌های شبکه اینترنتی در سطح جهان محسوب می‌شود، از ابزاری پیشرفته با نام AI Labyrinth رونمایی کرد. این ابزار به منظور مقابله با ربات‌های خزنده وب‌ طراحی شده که بدون کسب اجازه، به جمع‌آوری داده‌های آموزشی از وب‌سایت‌ها برای استفاده در پروژه‌های هوش مصنوعی اقدام می‌کنند. در وبلاگ این شرکت اعلام شده که این ابزار رایگان و اختیاری، پس از شناسایی رفتار نامناسب ربات، آن‌ها را به مسیری از لینک‌ها که توسط هوش مصنوعی تولید شده‌اند، هدایت می‌کند. هدف از این کار، کاهش سرعت، گیج کردن و اتلاف منابع عاملان مخرب است.

وب‌سایت‌ها برای مدت‌های مدید از پروتکل robots.txt که به صورت یک فایل متنی، مجوز دسترسی به خزندگان وب را صادر یا رد می‌کند، بهره می‌بردند. با این حال، شرکت‌های فعال در حوزه هوش مصنوعی، همچون آنتروپیک و Perplexity AI، به نادیده گرفتن این پروتکل متهم شده‌اند. کلادفلر در گزارش‌های خود اعلام کرده که روزانه با بیش از ۵۰ میلیارد درخواست از سوی ربات‌های خزنده وب‌ مواجه است و اگرچه ابزارهایی برای شناسایی و مسدودسازی موارد مخرب در اختیار دارد، اما این امر غالباً منجر به تغییر تاکتیک‌های مهاجمان می‌شود.

کلادفلر روشی جدید برای مقابله با این ربات‌ها ارائه کرده است. به جای اینکه ربات‌ها را مسدود کند، آن‌ها را در یک هزارتوی هوش مصنوعی گرفتار می‌کند. در این روش، ربات‌ها مجبور به پردازش داده‌هایی می‌شوند که هیچ ارتباطی با اطلاعات واقعی وب‌سایت ندارند. به گفته کلادفلر، این سیستم مانند یک تله پیشرفته عمل می‌کند. خزنده‌های هوش مصنوعی که به دنبال لینک‌های پنهان به صفحات جعلی می‌گردند، در این تله گرفتار می‌شوند. در حالی که کاربران عادی هرگز به این لینک‌ها توجه نمی‌کنند.

کلادفلر از AI Labyrinth برای مقابله با ربات‌های خزنده وب رونمایی کرد

این روش، شناسایی ربات‌های مخرب را برای Cloudflare آسان‌تر می‌کند. همچنین، امکان شناسایی الگوها و نشانه‌های جدید ربات‌ها که در حالت عادی قابل تشخیص نیستند، فراهم می‌شود. طبق اطلاعات منتشر شده، این لینک‌های گمراه‌کننده به گونه‌ای طراحی شده‌اند که برای بازدیدکنندگان واقعی وب‌سایت قابل مشاهده نباشند.

کلافلر در پست وبلاگی خود می‌گوید: «تجربه ما نشان داده که اگر ابتدا موضوعات متنوعی را انتخاب کنیم و سپس برای هر یک محتوای جداگانه‌ای تولید کنیم، نتایج حاصله، هم متنوع‌تر و هم جذاب‌تر خواهند بود. از آنجا که جلوگیری از انتشار اطلاعات نادرست در فضای مجازی برای ما اهمیت ویژه‌ای دارد، محتوای تولید شده باید بر اساس واقعیات و دانش علمی باشد و صرفاً به وب‌سایت مورد بررسی محدود نشود.»

مدیران وب‌سایت‌ها با ورود به بخش تنظیمات ربات در داشبورد کلادفلر سایت خود و فعال‌سازی آن، می‌توانند از قابلیت AI Labyrinth استفاده کنند. این شرکت اعلام کرده که این قابلیت، تنها گام نخست در بهره‌گیری از هوش مصنوعی مولد برای مقابله با ربات‌ها است. هدف از این قابلیت، ایجاد شبکه‌های پیچیده‌ای از آدرس‌های اینترنتی مرتبط است که تشخیص جعلی بودن آنها برای ربات‌ها بسیار دشوار خواهد بود. قابلیت AI Labyrinth شباهت‌هایی با Nepenthes دارد که برای گمراه کردن خزنده‌ها در دریایی از داده‌های بی‌ارزشِ تولید شده توسط هوش مصنوعی طراحی شده است.