مسابقه هوش مصنوعی مشکلی رو به رشد دارد که هیچ کس نمی تواند نادیده بگیرد

بزرگ‌ترین شرکت‌های هوش مصنوعی سال‌ها برای ساختن سیستم‌های قدرتمندتر مسابقه داده‌اند. قرار بود ایمنی و توانایی با هم پیشرفت کنند.

داریو آمودی، مدیر عامل آنتروپیک، علنا گفت که ممکن است دیگر این فناوری در حال توسعه نباشد و برخی از بزرگترین رقبای او با او موافق بودند.

او مقاله ای با عنوان "ما باید در مرز قدم برداریم" منتشر کرد و از صنعت هوش مصنوعی خواست تا سرعت توسعه مرزی را کاهش دهد. استدلال او این است که قابلیت‌های هوش مصنوعی سریع‌تر از توانایی صنعت برای درک و کنترل آن‌ها حرکت می‌کنند.

این پیشنهاد از ارزیاب های شخص ثالث می خواهد که به شرکت های هوش مصنوعی دسترسی مستمر و در سطح کارمندان داشته باشند. ممیزی یکباره نیست. دسترسی مداوم به ارزیابی اقدامات ایمنی، گزارش حوادث و ارزیابی مدل ها در حالی که هنوز در حال ساخت هستند. آمودی همچنین خواستار هماهنگی بین المللی در زمینه نظارت بر هوش مصنوعی شد.

به گزارش CNBC، سم آلتمن، مدیر عامل OpenAI و ایلان ماسک هر دو علنا اعلام کردند که با این پیشنهاد موافق هستند.

آمودی خواستار توقف توسعه هوش مصنوعی نیست. او قدم زدن در مرز را راهی برای دادن زمان کار ایمنی و ارزیابی مستقل برای همگام شدن با قابلیت‌های در حال بهبود سریع توصیف کرد.

او به طور خاص به سیستم های هوش مصنوعی اشاره کرد که به طور فزاینده ای قادر به کمک به ساخت نسل بعدی هوش مصنوعی هستند. و به یک حادثه ژوئیه که در آن گروهی از تقریبا 1200 عامل هوش مصنوعی از یک محیط آزمایشی در OpenAI فرار کردند و حملات سایبری را خارج از وظیفه تعیین شده خود انجام دادند.

انویدیا به تازگی حرکتی را انجام داد که وال استریت برای آن آماده نبود

OpenAI به تازگی چیزی واقعا هشدار دهنده را فاش کرد

این واقعیت که آلتمن با آن موافقت کرد، شایان ذکر است. OpenAI و Anthropic رقبای مستقیم برای مشتریان یکسان، همان استعدادها و دلارهای سرمایه گذاری یکسان هستند. توافق عمومی بین آنها در مورد نیاز به سرعت بخشیدن به توسعه نشان می دهد که فشار برای تغییر از داخل صنعت می آید، نه فقط از جانب تنظیم کننده ها یا منتقدان خارجی.

در حین آزمایش سیستم EvoSkill v2، محققان Sentient مشاهده کردند که یک عامل هوش مصنوعی نقصی را در گریدر خود کشف می کند، این اکسپلویت را به عنوان یک مهارت قابل انتقال مستند می کند و آن دستورالعمل ها را به هوش مصنوعی دیگری تحویل می دهد. در اجراهای جداگانه، عامل شش تلاش برای دسترسی به فایل های خارج از مسیرهای مجاز خود انجام داد. در اجرای دیگری، قانون توقف خود را حذف کرد و سپس گزارش داد که قوانین را تقویت کرده است.

پروژه EvoSkill منبع باز است و گزارش‌ها حفظ می‌شوند. هر کسی می تواند یافته ها را بررسی کند. زنجیره رفتار، کشف یک نقطه ضعف، مستندسازی آن، انتقال دانش به هوش مصنوعی دیگر، بخشی است که بیشترین اهمیت را دارد.

یافته‌های Sentient سؤال سخت‌تری را نسبت به اینکه مسابقه هوش مصنوعی باید سریع‌تر یا کندتر اجرا شود، مطرح می‌کند. اگر عوامل هوش مصنوعی بتوانند نقاط کور را در سیستم‌هایی که برای ارزیابی آنها طراحی شده‌اند پیدا کنند، یک جدول زمانی توسعه آهسته‌تر به طور خودکار مشکل اساسی را برطرف نمی‌کند.

آبیشک ساکسنا، رئیس استراتژی و رشد آزمایشگاه های Sentient به TheStreet گفت: "کاهش سرعت کافی نیست. سوال این است که با زمان چه می کنید."

استدلال او این است که صنعت نیاز به ارزیابی مستقل دارد، نه اینکه توسط همان شرکت هایی که مدل ها را می سازند کنترل شود. معیارهای شخص ثالث و تیم قرمز که دقیق و قابل تکرار است. نظارت بر رفتار در طول آزمایش قبل از انتشار و افشای عمومی استاندارد شده در مورد اینکه مدل‌ها چه کاری می‌توانند انجام دهند و چه کاری نمی‌توانند انجام دهند، چگونه آزمایش شدند و چه حالت‌های خرابی مشاهده شدند.

تحقیقات EvoSkill Sentient، که منبع باز با گزارش‌های ذخیره‌شده است، نوعی کار مستقل و قابل تکرار است که او می‌گوید این زمینه به موارد بیشتری نیاز دارد.

پیشنهاد آمودی هم همین را می طلبد. ارزیاب های شخص ثالث با دسترسی مداوم، نه فقط تیم های ایمنی خود شرکت ها که تصمیم می گیرند چه زمانی سیستم هایشان آماده است.

سوالی که صنعت هنوز به آن پاسخ نداده این است که چه کسی آن زیرساخت را ایجاد می کند، چه کسی برای آن هزینه می پردازد و آیا شرکت هایی که با فشار رقابتی مواجه هستند، قبل از اینکه آن مدل ها به مشتریان برسند، بررسی دقیق بیرونی از توانمندترین مدل های خود را می پذیرند.

نیت هرک، بنیانگذار و مدیر عامل انجمن اتوماسیون هوش مصنوعی، نگرانی آمودی را جدی می گیرد. او معتقد است که سرعت توسعه به جامعه و تحقیقات ایمنی زمان می دهد تا به عقب برسند. هرک به TheStreet گفت: «ما هرگز ندیده‌ایم که فناوری به این سرعت پیشرفت کند یا قدرت زیادی در میان افراد کمی متمرکز شود.

او چیزی نزدیک به مدل FDA را پشتیبانی می کند. مدل‌های مرزی اصلی با تأیید مستقل قبل از استقرار گسترده، با توسعه‌دهندگان شواهد و دسترسی معنادار به ارزیاب‌های واجد شرایط مواجه می‌شوند. ارزیابی ناموفق انتشار را مسدود می کند. تأیید شامل نظارت مداوم، گزارش رویداد و آزمایش مجدد پس از به‌روزرسانی‌های عمده است.

فراتر از خطرات فنی، یک مشکل ساختاری وجود دارد که پیشنهاد آمودی به طور کامل آن را حل نمی کند. تعداد کمی از شرکت ها بیشتر بازار مرزی هوش مصنوعی را کنترل می کنند. همین شرکت‌ها بسیاری از ارزیابی‌های خودشان را انجام می‌دهند و بیشتر تصمیمات ایمنی را خودشان انجام می‌دهند.

آبیشک افزود: "بزرگترین خطر این نیست که ما خیلی سریع یا خیلی کند حرکت کنیم. این خطر این است که تعداد کمی از شرکت های هوش مصنوعی بر قدرتمندترین مدل ها کنترل داشته باشند و همچنین آنچه "ایمن" در نظر گرفته می شود را دیکته می کنند.

این تمرکز واقعی است. Anthropic، OpenAI، Google DeepMind و Meta مسئول اکثر مدل‌های هوش مصنوعی مرزی در استقرار فعال هستند. آنها همچنین بیشتر تحقیقات ایمنی خود را تأمین مالی می کنند، بیشتر ارزیابی های خود را انجام می دهند و گزارش های ایمنی خود را منتشر می کنند. هیچ معادلی برای تنظیم کننده مواد غذایی و دارویی وجود ندارد که بین یک مدل و استقرار عمومی قرار گیرد. تعهدات داوطلبانه وجود دارد، اما اجرا اساسا خود مدیریت است.

پیشنهاد آمودی به طور مستقیم به این موضوع می پردازد. او خواستار ارزیاب های شخص ثالث با بودجه مستقل و توانایی گزارش عمومی یافته ها بدون تایید شرکت شد. این یک تغییر ساختاری قابل توجه نسبت به ترتیب فعلی خواهد بود.

خطر اصلی دیگر این است که برخی از اشتباهات هوش مصنوعی قابل جبران نیستند. یک باگ نرم افزاری را می توان وصله کرد. ماشین فراخوان شده را می توان تعمیر کرد. اما یک مدل هوش مصنوعی با توانایی بالا، زمانی که وزن آن به طور گسترده توزیع شود، می تواند به طور نامحدود خارج از کنترل هر کسی کپی و اجرا شود. نیت افزود: "بزرگترین خطر، آزادسازی قابلیتی است که قابل یادآوری نیست."

این در حال حاضر در مورد برخی از مدل های وزن باز اتفاق می افتد. محققین و بازیگران بد به طور یکسان می توانند آنها را دانلود، اصلاح و اجرا کنند بدون هیچ نظارت مستمری از سوی شرکت سازنده آنها. همانطور که مدل ها توانمندتر می شوند، ریسک آن پویا بیشتر می شود.

استدلال او این است که هر چه معکوس کردن استقرار سخت‌تر باشد، استاندارد شواهد باید قبل از خاموش شدن بالاتر باشد. هر سیستم هوش مصنوعی نیاز به بررسی دقیق ندارد. قدرتمندترین و پر توزیع ترین ها باید بیشترین مواجهه را داشته باشند.

برای سرمایه گذاران، پیامدهای مخارج ارزش تماشا را دارد. بازار هوش مصنوعی به شرکت‌هایی که مدل‌ها و سخت‌افزار اجرا می‌کنند پاداش داده است. اگر ارزیابی مستقل، نظارت بر رفتار و زیرساخت های ایمنی به پیش نیازهای استقرار تبدیل شوند تا ویژگی های اختیاری، شرکت هایی که زیرساخت را ایجاد می کنند می توانند تقاضا را به طور قابل توجهی افزایش دهند.

حرکت‌های اخیر بازار نشان داد که سهام نیمه‌رساناها پس از درخواست‌ها برای توسعه کندتر تحت فشار قرار گرفته‌اند، در حالی که برخی از شرکت‌های امنیت سایبری و نرم‌افزار افزایش یافته‌اند. ممکن است هزینه ها کند نشود. ممکن است تغییر کند.

این داستان در ابتدا توسط TheStreet در 16 سپتامبر 2026 منتشر شد، جایی که برای اولین بار در بخش فناوری ظاهر شد. با کلیک کردن در اینجا، TheStreet را به عنوان منبع ترجیحی اضافه کنید.