به گزارش گروه علم و فناوری ایسکانیوز، آنتروپیک در گزارشی مفصل درباره رفتار ایجنتهای هوش مصنوعی خود در سناریوهای امنیت سایبری، نمونهای را منتشر کرده که در آن یک مدل برای انجام مجموعهای از اقدامات خودکار با آزمون کپچا مواجه میشود و برخلاف بسیاری از مراحل پیچیدهتر، همین مانع ساده روند کار را مختل میکند. کالین فریزر، دانشمند داده، با بررسی متن بیش از هزار صفحهای مربوط به تلاش کلود میتوس ۵ برای بارگذاری یک فایل مخرب در مخزن PyPI متوجه شد مدل بارها روی آزمونهای hCaptcha متوقف شده، تصاویر را چند مرتبه بررسی کرده و حتی درباره پاسخهای قبلی خود دچار تردید شده است.
کپچا برای ایجنتها فقط یک مسئله تشخیص تصویر نیست
مشکل مدل در این نمونه صرفاً تشخیص یک تصویر خاص نبود. آزمون از ایجنت میخواست شکلی را که با بقیه متفاوت بود پیدا کند، اما مدل بارها تصاویر را دوباره تحلیل کرد و نتوانست با اطمینان یکی را انتخاب کند. این رفتوبرگشت آنقدر ادامه پیدا کرد که اعتبار آزمون تمام شد و ایجنت مجبور شد فرایند را از ابتدا آغاز کند. در بخشی دیگر نیز مدل متوجه نشده بود کپچا در پنجرهای تازه باز شده و برای مدتی نمیدانست مرحله بعدی کار چیست.
همین جزئیات نشان میدهند کپچا برای ایجنتهای هوش مصنوعی فقط یک مسئله بینایی ماشین نیست و هماهنگی میان تشخیص تصویر، درک وضعیت رابط کاربری، مدیریت پنجرهها و تصمیمگیری درباره زمان مناسب برای ادامه کار هم اهمیت دارد. یک مدل ممکن است در تحلیل کد یا برنامهریزی چندمرحلهای توانمند باشد، اما اگر نتواند وضعیت رابط را درست تشخیص دهد، کل زنجیره اجرای خودکار متوقف میشود.
مدل بخش بزرگی از منابع خود را صرف آزمون hCaptcha کرد
فریزر پس از بررسی متن ثبتشده از اجرای مدل گفته است بخش بسیار بزرگی از توکنهای مصرفشده فقط صرف تلاش برای عبور از کپچا شده است. خود مدل نیز در بخشی از فرایند تشخیص داده بود که «زمان زیادی» را صرف رفتوبرگشت میان آزمونهای hCaptcha میکند، اما باز هم نتوانسته بود سریع از این مرحله عبور کند.
جالبتر اینکه ایجنت در نهایت متوجه شد بخشی از این تلاشها اساساً غیرضروری بودهاند و هدف اصلی خود را پیشتر انجام داده است. این اتفاق یکی از ضعفهای مهم ایجنتهای خودکار فعلی را نشان میدهد: آنها ممکن است پس از رسیدن به هدف، به دلیل درک ناقص وضعیت محیط یا برنامهریزی ضعیف، همچنان مراحل اضافه را دنبال کنند و منابع زیادی مصرف کنند.
قدرت بالا در استدلال لزوماً به مهارت در تعامل با وب تبدیل نمیشود
نمونه منتشرشده از میتوس ۵ تناقض مهمی در توانایی مدلهای پیشرفته نشان میدهد. همین سامانهها میتوانند کد بنویسند، آسیبپذیریها را تحلیل کنند، مسیرهای چندمرحلهای طراحی کنند و با ابزارهای مختلف کار کنند، اما یک مانع بصری ساده ممکن است عملکرد آنها را به شکل محسوسی کاهش دهد.
علت این تفاوت به ماهیت مسئله برمیگردد. بیشتر مدلهای زبانی برای پردازش متن، کد و استدلال نمادین بهینه شدهاند، درحالیکه تعامل واقعی با وب نیازمند ترکیب چند نوع توانایی است. ایجنت باید صفحه را ببیند، عناصر رابط را تشخیص دهد، متوجه شود چه چیزی تغییر کرده، پنجرههای جدید را مدیریت کند و همزمان هدف اصلی را از دست ندهد. هر اختلال کوچک در یکی از این مراحل میتواند باعث ایجاد چرخههای تکراری و مصرف زیاد منابع شود.
کپچاها هنوز برای جلوگیری از اتوماسیون کامل کاربرد دارند
هدف اصلی کپچا از ابتدا تشخیص انسان از ربات بوده و بسیاری از نسلهای قدیمی این آزمونها با پیشرفت بینایی ماشین کارایی خود را از دست دادهاند. سیستمهای جدیدتر به همین دلیل فقط بر خواندن متن یا شناسایی یک شیء ساده تکیه نمیکنند و مجموعهای از رفتارهای کاربر، زمان پاسخ، حرکت نشانگر و چالشهای تصویری را بررسی میکنند.
نمونه آنتروپیک نشان میدهد این روشها دستکم در بعضی سناریوها هنوز میتوانند سرعت ایجنتهای پیشرفته را کاهش دهند. با این حال، این نتیجه به معنای شکست کلی هوش مصنوعی در برابر کپچا نیست. بسیاری از مدلهای بینایی میتوانند آزمونهای تصویری ساده را حل کنند و سرویسهای خودکار نیز سالهاست روشهایی برای عبور از برخی کپچاها دارند؛ موضوع مهمتر این است که یک ایجنت خودمختار در محیط واقعی وب ممکن است هنگام ترکیب چند مرحله با یکدیگر دچار مشکل شود.
این محدودیت میتواند موقتی باشد
اتکا به کپچا بهعنوان مانعی پایدار در برابر ایجنتهای هوش مصنوعی احتمالاً راهبرد مطمئنی نیست. مدلهای چندوجهی بهسرعت در تشخیص تصویر و تعامل با رابطهای گرافیکی پیشرفت میکنند و شرکتها نیز روی ایجنتهایی کار میکنند که مستقیماً با مرورگر، سیستمعامل و برنامهها تعامل داشته باشند. هرچه درک تصویری و کنترل رابط کاربری این مدلها بهتر شود، آزمونهایی که امروز باعث توقف آنها میشوند ممکن است در نسلهای بعدی کارایی کمتری داشته باشند.
در مقابل، سامانههای ضدربات نیز از آزمونهای ثابت به سمت تحلیل رفتاری و بررسی نشانههای پیچیدهتر حرکت میکنند. رقابت میان ایجنتهای خودکار و ابزارهای تشخیص ربات در نتیجه به یک چرخه دائمی تبدیل شده که هر پیشرفت در یک سمت، طرف مقابل را به طراحی روشهای تازه وادار میکند.
ضعف فعلی بیشتر درباره قابلیت اطمینان ایجنتهاست
اهمیت این ماجرا فقط در این نیست که یک مدل پیشرفته نتوانسته چند تصویر را درست تشخیص دهد. مسئله اصلی این است که ایجنتهای خودکار هنوز در محیطهای واقعی، بهویژه هنگام مواجهه با شرایط پیشبینینشده، میتوانند بهسرعت وارد چرخههای اشتباه شوند و مقدار زیادی زمان و منابع محاسباتی مصرف کنند.
کپچا در این نمونه تنها ماشهای بود که چنین ضعفی را آشکار کرد. اگر مدل نتواند تشخیص دهد چه زمانی یک مرحله شکست خورده، چه زمانی باید مسیر دیگری انتخاب کند یا حتی چه زمانی هدف اصلی قبلاً محقق شده است، استفاده از آن در فرایندهای کاملاً خودکار میتواند با هزینه و خطای زیادی همراه باشد؛ بنابراین با وجود پیشرفت سریع مدلهای مرزی، توانایی آنها در کار پایدار و قابل اعتماد با رابطهای واقعی هنوز به اندازه توان استدلال روی متن و کد بالغ نشده است.
انتهای پیام/
نظر شما