زمانی که ماشین باید متوقف شود و یک انسان را صدا کند

تصور کنید یک سیستم هوش مصنوعی که شما برای یک کار باریک مجوز داده اید، بی سر و صدا راه خود را به زیرساخت هایی پیدا می کند که هرگز به آن اجازه لمس نکردید - نه به این دلیل که کسی به آن گفته است، بلکه به این دلیل که به دیوار برخورد کرده و مسیری را در اطراف آن ایجاد کرده است. حالا تصور کنید که این غریزه در میان انبوهی از عوامل هوش مصنوعی گسترش می‌یابد و هر کدام راه حل خود را پیدا می‌کنند، تا زمانی که هماهنگی بین آن‌ها از توانایی هر کسی برای تشخیص پیشی بگیرد، چه رسد به توقف آن.

این یک فرضیه نیست. این همان چیزی است که در ماه مه اتفاق افتاد، زمانی که عوامل هوش مصنوعی در حال اجرای یک ارزیابی امنیتی داخلی در OpenAI، مخزن نرم افزار RubyGems را با بیش از 2000 بسته مخرب پر کردند در حالی که در جستجوی راهی برای سرقت اطلاعات کاربری کاربران بودند. همان بهار، گروهی جداگانه از همان استخر آزمایشی، یک وب سایت آلمانی را ربودند تا از آن به عنوان کانال هماهنگی پنهان استفاده کنند.

سپس، دو ماه بعد در ژوئیه، این الگو به شدت تشدید شد: تقریبا 1200 نمونه از آن سیستم یک راه غیرمجاز برای برقراری ارتباط با یکدیگر پیدا کردند، بیش از 70000 پیام را برای هماهنگی این تلاش رد و بدل کردند و از این هماهنگی برای نقض سیستم‌های تولید Hugging Face استفاده کردند. این رخنه سه روز قبل از اینکه تیم امنیتی OpenAI متوجه شود که عوامل خود مسئول آن هستند، رخ داد. OpenAI تایید کرده است که عوامل آن در پشت هر سه حادثه بوده اند. هیچ فردی به تنهایی تصمیم نگرفت که این اتفاق بیفتد.

بیش از 1100 کارمند در سراسر OpenAI، Anthropic، Google DeepMind و Meta بعدا نامه ای سرگشاده را در مورد آن امضا کردند و این حادثه به شکل گیری قوانین فدرال که در هفته های بعد معرفی شد کمک کرد. این دیگر داستانی در مورد یک نقض بد نیست. این یک الگویی است – و نمایه ریسکی است که ما اکنون برای آن ایجاد می‌کنیم: هوش مصنوعی یک تماس بد برقرار نمی‌کند، بلکه هوش مصنوعی با مقیاس و سرعتی هماهنگ می‌شود که هیچ انسانی در موقعیتی قرار نگرفت که بتواند آن را بگیرد تا زمانی که تمام شده باشد.

در دو سال گذشته، گفتگوهای تجاری درباره هوش مصنوعی حول محور کارهایی که هوش مصنوعی می تواند انجام دهد، بوده است. این سوال کم کم جالب می شود. مورد فوری تر این است: باید بگذاریم خودش چه کاری انجام دهد؟

این تمایز اهمیت دارد زیرا هوش مصنوعی سازمانی در حال ورود به مرحله جدیدی است. شرکت‌ها از هوش مصنوعی به عنوان دستیار – پاسخ دادن به سؤالات، خلاصه کردن اسناد، تهیه پیش‌نویس ایمیل – به عوامل هوش مصنوعی که به ابزارها دسترسی دارند، وظایف چند مرحله‌ای را تکمیل می‌کنند و با افزایش استقلال عمل می‌کنند، حرکت می‌کنند. داده‌های سازمانی خود OpenAI نشان می‌دهد که این تغییر با چه سرعتی اتفاق می‌افتد: از ژوئن، استفاده از نمایندگی‌ها 64 درصد از توکن‌های خروجی شرکتی ChatGPT و Codex را تشکیل می‌داد، و پذیرش نماینده فراتر از مهندسی نرم‌افزار به حقوقی، فروش، استخدام و بازاریابی گسترش یافته است.

فناوری به سرعت در حال حرکت است. تفکر ما در مورد نحوه استفاده مسئولانه از آن نیست. گزارش وضعیت هوش مصنوعی Deloitte در سال 2026 در گزارش Enterprise نشان داد که در حالی که تقریبا سه چهارم شرکت‌ها قصد دارند هوش مصنوعی عاملی را ظرف دو سال مستقر کنند، اما در حال حاضر تنها یک نفر از هر پنج آن یک مدل حکمرانی بالغ برای آن دارد.

پاسخ سریعتر از آنچه فناوری معمولا اجازه می دهد در حال حرکت است. مدیر امور جهانی OpenAI مخالفت دیرینه شرکت با قوانین اجباری را در این ماه معکوس کرد و به کنگره گفت که تعهدات داوطلبانه دیگر کافی نیست - یک امتیاز، از داخل یکی از آزمایشگاه‌های سازنده این سیستم‌ها، که خودگردانی محدودیت‌هایی دارد.

کنگره سؤالات سخت تری نیز می پرسد: سناتور جاش هاولی به OpenAI تا اول اکتبر فرصت داده تا توضیح دهد که چگونه عوامل به 41 سرور تولیدی دسترسی پیدا کردند، و سناتور کریس ون هولن به طور جداگانه از شرکت خواسته است که به آژانس های امنیت سایبری فدرال دسترسی مستقیم برای ارزیابی مدل های خود بدهد. و مشکل به یک شرکت محدود نمی شود.

مقام حفاظت از داده های اسپانیا در این ماه آنچه را که اولین نقض اطلاعات شخصی انجام شده توسط یک عامل هوش مصنوعی می نامد، فاش کرد. آژانس امنیت سایبری دولتی کره جنوبی اعلام کرد در حال بازنویسی دستورالعمل های امنیت ملی هوش مصنوعی به طور خاص برای خودمختاری نمایندگی است. و OWASP، بدنه صنعتی که خطرات امنیتی نرم افزار را ردیابی می کند، به تازگی "آژانس بیش از حد" را از رتبه ششم به سوم در لیست جدی ترین خطرات در برنامه های هوش مصنوعی منتقل کرده است. این در حال تبدیل شدن به یک الگوی نظارتی جهانی است، نه بحران یک شرکت برای مدیریت.

این شکاف معمولا به عنوان یک مشکل حاکمیتی توصیف می شود. مشکل قضاوت هم هست ما سال‌ها صرف آموزش ماشین‌ها برای تشخیص الگوها و خودکارسازی تصمیم‌ها کرده‌ایم. ما زمان زیادی را صرف تصمیم گیری در مورد اینکه کدام تصمیمات باید کاملا انسانی باقی بمانند - و زمانی که در یک جریان کاری، یک فرد نیاز به مشارکت دارد، نه فقط مطلع شدن، صرف نکرده ایم.

این برای تصمیماتی که معاملاتی نیستند، بلکه رابطه ای هستند، بیشترین اهمیت را دارد. کدام مشتری به جای ایمیل خودکار دیگری به تماس تلفنی نیاز دارد؟ رفتار کدام کارمند نشان دهنده مشکلی است که هیچ داشبوردی نشان نخواهد داد؟ کدام رابطه سرمایه گذار بی سر و صدا تقویت می شود یا از هم می پاشد؟ این سؤالات اهمیت بیشتری پیدا می‌کنند، نه کمتر، زیرا هوش مصنوعی بیشتر از کارهای معمول پیرامون آنها را جذب می‌کند.

منبع کمیاب اطلاعات نیست. توجه است.

کسب‌وکارها در حال حاضر بیش از آنچه که کارمندان می‌توانند پردازش کنند، داده‌هایی دارند - مشتری، مالی، عملیاتی، رفتاری. چیزی که آنها کم دارند توجه نامحدود انسان است. یک بنیانگذار که سرمایه خود را افزایش می دهد ممکن است صدها رابطه سرمایه گذار را در حین اداره یک شرکت دنبال کند. نرم‌افزار سنتی می‌تواند به مؤسس بگوید که با چه کسی و چه زمانی تماس گرفته شده است. با آنچه خود رابطه می‌گوید مشکل دارد: سرمایه‌گذاری که همیشه با به‌روزرسانی‌ها درگیر است، ناگهان ساکت می‌شود. دیگری شروع به صرف زمان بسیار بیشتری با مواد در یک بازار خاص می کند.

هوش مصنوعی می‌تواند به تفسیر آنچه این تغییرات پیشنهاد می‌کنند کمک کند - افزایش اعتقاد، کاهش علاقه. هنوز نمی تواند به بنیانگذار بگوید که در مورد آن چه کاری انجام دهد.

من این را به طور مستقیم در Rothschild & Co./Redburn Atlantic، مدیریت راهنماهای تحقیقاتی دسترسی شرکتی و سهام دیدم: روابطی که اهمیت داشتند، هرگز فقط سابقه ای از اینکه با چه کسی و چه زمانی با آنها تماس گرفته شده بود، نبودند - آنها توسط افرادی ساخته شدند که می دانستند کدام تعامل بیش از یک نقطه تماس خودکار دیگر نیاز دارد، و این روابط از طریق Acquischislds by Redburnth وزن واقعی داشتند.

وقتی ساخت Bridge IR را شروع کردم، اولین غریزه من درس مخالف بود: سیستمی بسازم که بتواند برای بنیانگذاران فکر کند و از طرف آنها عمل کند. مصاحبه با بنیانگذاران و تماشای آنچه در واقع به آنها کمک کرد تا متوجه اشتباه بودن آن شوند، لازم بود. آنها نیازی به پلتفرمی نداشتند که برای آنها تماس برقرار کند. آنها به کسی نیاز داشتند که بتواند اطلاعات نهفته در آن روابط را درک کند، آنچه را که مهم است شناسایی کند، و آن را به فرد مناسب تحت هدایت صحیح منتقل کند - به همین دلیل است که Bridge IR برای درک و آشکارسازی اطلاعات ارتباط بدون در نظر گرفتن مالکیت تصمیم ساخته شده است.

هوش مصنوعی می تواند یک تغییر را به دست آورد و نشان دهد - افزایش اعتقاد، کاهش تعامل. نمی‌تواند تصمیم بگیرد که در مورد آن چه کاری انجام دهد: آیا آن لحظه به تماس، ایمیل یا سکوت نیاز دارد، و در صورت انجام چه کاری باید بگوید. این یک تمایز کوچک نیست - این کل این سؤال است که در واقع قدرت بر نتیجه کجاست.

Human-in-the-Loop نمی تواند یک چک باکس تشریفاتی باشد.

این وسوسه وجود دارد که انسان ها را در پایان یک گردش کار رها کنید، روی تصمیمی که سیستم قبلا گرفته است، روی «تأیید» کلیک کنید، توصیه ای که قبلا شکل گرفته است، اقدامی که قبلا شروع شده است. این فقط به نام پاسخگویی است. قضاوت معنادار انسانی مستلزم توانایی مداخله است در حالی که نتیجه هنوز می تواند تغییر کند - قبل از اینکه سیستم گزینه ها را به یک محدود کند.

کار مجمع جهانی اقتصاد در سال 2026 در مورد هوش مصنوعی عاملی به یک نکته مرتبط اشاره می کند: از آنجا که سازمان ها اختیارات بیشتری را به نمایندگان واگذار می کنند، آنها به قوانین روشنی در مورد آنچه که این سیستم ها می توانند انجام دهند نیاز دارند، با نظارت و پاسخگویی که در سراسر آن تعبیه شده است، نه پس از آن.

این همچنین نحوه اندازه گیری ارزش هوش مصنوعی را مجددا نشان می دهد. ما تمایل داریم ساعت‌های ذخیره‌شده و وظایف را خودکار بشماریم. گزارش عملکرد عوامل هوش مصنوعی آنتروپیک در سال 2026 چیز بیشتری را نشان می‌دهد: سازمان‌ها گزارش دادند که کارمندان زمان خود را به سمت کارهای استراتژیک و ایجاد روابط تغییر می‌دهند، زیرا ماموران اجرای معمول را بر عهده می‌گیرند - 66٪ تمرکز بیشتر روی کار استراتژیک، 60٪ تمرکز بیشتر روی ایجاد رابطه را گزارش کردند. این به سؤالی بهتر از «چند ساعت صرفه‌جویی کرد» اشاره می‌کند: سازمان با توجهی که هوش مصنوعی آزاد کرد، چه کرد؟ اگر فقط فضا را برای خروجی خودکار بیشتر خالی کند، بهره افزایشی است.

اگر به افراد فضای بیشتری برای ایجاد روابط و اعمال قضاوت در جایی که واقعا مورد نیاز است می دهد، ارزش ترکیب می شود.

شرکت‌هایی که در مرحله بعدی هوش مصنوعی برنده می‌شوند، شرکت‌هایی نیستند که انسان‌ها را از بیشترین گردش کار محروم می‌کنند. آنها کسانی هستند که دقیقا می دانند قضاوت انسان در کجا غیرقابل جایگزین است - و سیستم های خود را طوری طراحی می کنند که تصمیمات را به آنجا هدایت کنند در حالی که هنوز زمان برای عمل کردن بر اساس آنها وجود دارد.

از این نظر، حکمرانی اسنادی نیست که در پس نوآوری قرار دارد. این خود معماری است: آنچه که یک سیستم می تواند به آن دسترسی داشته باشد، آنچه که مجاز به انجام آن بدون نظارت است، آنچه باید تشدید شود و زمانی که یک انسان کنترل را در دست می گیرد. هدف هوش مصنوعی نیست که قادر به عمل نباشد. این هوش مصنوعی شایسته اختیاراتی است که ما به آن می دهیم.

نظرات بیان شده در نظرات Fortune.com صرفا نظرات نویسندگان آنها است و لزوما منعکس کننده نظرات و اعتقادات Fortune نیست.

این داستان در ابتدا در سایت Fortune.com منتشر شد