منبع: VentureBeat · ۳۱ مرداد ۱۴۰۵
شرکتهای موفق، خودمختاری ایجنتها را عمداً محدود میکنند
در بیشتر دو سال گذشته، باور عمومی در هوش مصنوعی سازمانی این بود: خودمختاری بیشتر مساوی است با کارایی بهتر. ایجنتهایی بساز که برنامهریزی کنند، تصمیم بگیرند و در جریانهای کاری چندمرحلهای عمل کنند، و تا میتوانی به آنها میدان بده. این فرض حالا در مقیاس و در محیطهای تولید واقعی آزمایش میشود و در بسیاری از استقرارها شکست میخورد.
شرکتهایی که در نهایت از هوش مصنوعی ایجنتی سود میبرند، لزوماً آنهایی نیستند که بیشترین آزادی را به ایجنتها دادهاند. آنهایی هستند که ایجنتها را با مسئولیتهای مشخص میسازند و مطمئن میشوند در چارچوب قواعد روشن کار میکنند.
دو عدد تقریباً همه چیز را دربارهٔ وضعیت فعلی میگوید. به پیشبینی خودِ گارتنر، بیش از ۴۰ درصد پروژههای ایجنتی که امروز در جریاناند تا ۲۰۲۸ باقی نمیمانند — نه به این دلیل که مدلها ضعیفاند، بلکه به دلیل هزینهٔ فزاینده، ارزش کسبوکاری نامشخص و کنترلهای ناکافی ریسک. نظرسنجی ۲۰۲۶ مککینزی در کنار همین پیشبینی مینشیند: استقرار هوش مصنوعی ایجنتی در همهٔ صناعت شتاب گرفته، اما بلوغ متوسط در حوزهٔ هوش مصنوعی مسئولانه فقط ۲.۳ از ۴ است و تنها حدود ۳۰ درصد سازمانها در حاکمیت و کنترلهای ایجنتی به سطح ۳ یا بالاتر رسیدهاند.
این دو عدد را کنار هم بگذاری، داستان خودش را میگوید: توانایی از کنترل جلو زده است. همین موضوع چارچوب رقابت را هم عوض کرده؛ رقابت سالهای ۲۰۲۴ تا ۲۰۲۵ بر سر اینکه چه کسی سریعترین و خودمختارترین ایجنت را مستقر میکند بود. رقابت ۲۰۲۶ تا ۲۰۲۷ یک مسابقهٔ اعتماد است: برنده کسی است که بتواند از تیمهای ریسک، حقوقی و انطباق تأیید بگیرد و ایجنت را در تولید نگه دارد.
الگوی شکست به توصیف گارتنر مشخص و تکرارشدنی است: پروژهها با جریانهای کاری بلندپروازانه و خودمختار شروع میشوند، در چند هفته به پیچیدگی یکپارچهسازی میخورند و بعد متوقف میشوند، بدون مسیر قابل دفاعی به بازدهی سرمایه. بخشی از مشکل هم شلوغی بازار است: گارتنر میگوید از هزاران محصولی که با برچسب «هوش مصنوعی ایجنتی» فروخته میشوند، تنها حدود ۱۳۰ مورد واقعاً توان خودمختار پشتشان دارند و بقیه بیشتر اتوماسیون یا چتباتهای بازبستهبندیشدهاند.
اما سیستمهای واقعاً ایجنتی هم به یک مشکل ساختاری میخورند که ربطی به تبلیغات ندارد: خودمختاری و پاسخگویی در دو جهت مخالف حرکت میکنند. ایجنتی که خودش میتواند کار چندمرحلهای را برنامهریزی و اجرا کند، ایجنتی است که ردیابی تصمیمهای فردیاش سختتر میشود. فرض کن چند مرحله بعد از یک زنجیرهٔ خودمختار چیزی خراب شود؛ فهمیدن اینکه چرا ایجنت آن تصمیم را گرفت و مسئولش کیست یک جستوجوی پیچیده است، نه یک نگاه ساده به گزارش.
در حوزههایی مثل تطبیقهای مالی، فرایندهای انطباق، کنترل کیفیت تولید یا مستندسازی درمانی، همین نبود شفافیت میتواند تفاوت میان یک اشتباه قابل مدیریت و یک نقض جدی مقرراتی باشد. دقیقاً همین است که باعث میشود تیمهای حقوقی، ریسک و انطباق جلوی رسیدن پروژههای ایجنتی به تولید را بگیرند، هرچند مدل پایه چقدر توانمند باشد.
پیچیدگی یکپارچهسازی هم مرتب بهعنوان یکی از علل اصلی لغو پروژهها معرفی میشود. وصل کردن یک ایجنت خودمختار به یک جریان کاری قدیمی فقط چسب فنی نیست: نقاط تصمیم موجود، زنجیرههای تأیید و مسیرهای حسابرسی باید حول سیستمی بازسازی شوند که دیگر برای عمل کردن منتظر انسان نمیماند. سازمانهایی که این را صرفاً یک مسئلهٔ مهندسی و قابل حل با ساعتهای بیشتر برنامهنویسی میبینند، معمولاً همانهایی هستند که متوقف میشوند.
پژوهش مککینزی نشان میدهد بیشتر سازمانها چقدر در معرض ریسکاند. در تقریباً هر دستهٔ ریسک هوش مصنوعی — از حریم داده تا مالکیت معنوی — فاصلهٔ میان ریسکهایی که سازمانها میگویند از آنها آگاهاند و ریسکهایی که واقعاً کاهش میدهند همچنان زیاد است. آگاهی از اقدام جلو زده و نزدیک دو سوم آنها حالا مسائل امنیت و ریسک را بزرگترین چالش خود برای مقیاسدهی به ایجنتها میدانند؛ جلوتر از عدم قطعیت مقرراتی و موانع فنی.
سازمانهای پیشرو برنامههای هوش مصنوعیشان را متوقف نکردهاند؛ نحوهٔ توزیع خودمختاری در سیستم را بازساختاردهی کردهاند. چهار الگوی روشن در سازمانهای بالغ دیده میشود: اول، ایجنتهای دامنهٔ محدود بهجای عمومی — جریان کار سرتاسری به ایجنتهای تکمسئولیت با اختیار محدود شکسته میشود، چون دامنهٔ کوچکتر کار، دامنهٔ کوچکتر شکست و شکست کوچکتر آسانتر قابل حسابرسی است. دوم، نقطههای بررسی انسانی روی مرزهای تصمیم و پیش از نتیجه، نه بعد از آن: بازبینی پیش از جابهجایی دادهٔ حساس، پیش از ثبت یک تراکنش یا پیش از فعال کردن یک سیستم بیرونی؛ با حفظ پاسخگویی نهایی انسان در تصمیمهای پرمخاطره.
سوم، ردیابیپذیری تصمیم بهعنوان الزام طراحی: گزارش کامل اقدامها و نسب تصمیم باید برای هر ایجنت و هر تصمیم، بهصورت درخواستی و آماده در اختیار باشد، نه چیزی که در فشار یک حسابرسی بازسازی میشود. تنظیمگرها هم به همین سمت میروند؛ الزامات نظارت انسانی قانون هوش مصنوعی اروپا برای سیستمهای پرخطر همچنان در راه است، هرچند توافق امسال «آمنیبوس دیجیتال» مهلت انطباق را به دسامبر ۲۰۲۷ عقب انداخت. چهارم، حاکمیت فعال داده: اینکه دادهٔ ایجنت کجا میماند و چه کسی دسترسی دارد تعیین میکند یک خطا چقدر مهارشده میماند؛ اجرای درونسازمانی یا محیط کنترلشده شعاع تخریب ایجنت خطاکار را محدود میکند.
ریسک اما دوطرفه است. هوش مصنوعی ایجنتی باید اصطکاک را کم کند؛ ایجنتی که برای هر کار کوچک تأیید انسان میخواهد چیزی را کم نکرده، فقط اتوماسیونی است که لباس فرایند دستی پوشیده و همین بیسروصدا کل توجیه ساختنش را از بین میبرد. هدف، کنترل بیشینه نیست؛ کنترل سنجیده و متمرکز در جایی است که هزینهٔ خطا واقعاً بالاست.
برای معماران سازمانی، چهار پرسش عملی میماند: آیا شش ماه بعد میتوانی دقیقاً بازسازی کنی چرا یک ایجنت مشخص یک کار مشخص را کرد؟ آیا هر ایجنت در استک یک مسئولیت روشن و محدود دارد یا یکی از آنها مجاز است در یک وظیفهٔ گسترده «خودش بفهمد»؟ نقطههای بررسی انسانی روی مرزهای تعریفشدهٔ تصمیم قرار دارند یا فقط بازبینی نهایی پس از اقدام ایجنت؟ و اگر همین حالا یک ایجنت آلوده یا خراب شود، پیش از آنکه کسی متوجه شود به چه حجمی از داده و چه تعداد سیستم پاییندستی دسترسی دارد؟ نبود پاسخ روشن به این پرسشها جایی است که استقرار ایجنت تقریباً هشت برابر سریعتر از بلوغ حاکمیت رشد میکند.
