"آخرین اختراعی که انسان باید انجام دهد": خطر خود-بهبود هوش مصنوعی

از راه های مختلفی که کارشناسان می ترسند هوش مصنوعی همه ما را بکشد، یکی کم کم به واقعیت نزدیک می شود: هوش مصنوعی یاد می گیرد که خود را غیرقابل توقف کند.

چرا مهم است: بهبود خود بازگشتی، توانایی یک مدل هوش مصنوعی برای ساختن نسخه های بهتر از خود بدون راهنمایی انسان، می تواند کنترل سیستم های توانمندتر را برای انسان سخت تر کند. آستانه RSI به خودی خود نشان دهنده خطر نیست، اما فقدان کنترل انسانی همراه با عوامل سرکش هوش مصنوعی سناریویی است که محققان هوش مصنوعی آگاه از ایمنی مدت ها از آن می ترسند. محرک اخبار: محققان Anthropic و OpenAI می گویند که روند آموزش مدل های جدید به طور خودکار رشد کرده است و به روبیکون RSI نزدیک شده است. یکی از کارکنان OpenAI به The Information گفت که این شرکت دارای lar است

آموزش خودکار ژلی مدل‌های آزمایشی جدید، با سیستم‌های هوش مصنوعی که آزمایش‌هایی را طبق هدایت انسان‌ها اجرا می‌کنند و بسیاری از کارهای آن‌ها را تصحیح می‌کنند.

هفته گذشته، آنتروپیک به اشتراک گذاشت که آموزش هوش مصنوعی آن در حال خودکار شدن است و هوش مصنوعی حدود 26 درصد از کارهای تحقیق و توسعه آنتروپیک را رهبری می کند. این شرکت می گوید که هوش مصنوعی در 90 درصد از کارها همکاری می کند.

این شرکت گفت: «سیستم‌های هوش مصنوعی در حال قوی‌تر شدن هستند و به طور فزاینده‌ای برای ساختن نسخه بعدی خود استفاده می‌شوند. بررسی واقعیت: منتقدان می گویند این نقطه عطف بیشتر تابعی از اتوماسیون کدگذاری است تا نشانگر عذاب قریب الوقوع یا ابرقدرت های هوش مصنوعی اجتناب ناپذیر. در حالی که حوادث امنیتی مشکل‌ساز هوش مصنوعی که در آن مدل‌ها از کنترل انسان پیشی می‌گیرند، افزایش یافته است، برخی از چهره‌های صنعت آن قسمت‌ها را شواهدی از کنترل‌های داخلی ضعیف توسط OpenAI و سایر شرکت‌ها می‌دانند.

شواهد بیشتری از این دیدگاه در این هفته ظاهر شد، زمانی که وال استریت ژورنال گزارش داد که محققان امنیتی مستقل از Claude Anthropic برای نفوذ به OpenAI در ماه جولای استفاده کردند. RSI از کجا می آید؟

فلاش بک: مفهوم RSI در دهه 1950 ظهور کرد، زیرا هوش مصنوعی به یک حوزه مطالعه تبدیل شد. ایروینگ جان گود، ریاضیدان و آماردان بریتانیایی، این ایده را در مقاله ای در سال 1965 توضیح داد: "بنابراین، اولین ماشین فوق هوشمند آخرین اختراعی است که بشر باید انجام دهد، مشروط بر اینکه ماشین به اندازه کافی مطیع باشد که به ما بگوید چگونه آن را تحت کنترل داشته باشیم." چگونه RSI می تواند منجر به نابودی هوش مصنوعی شود

سطح تهدید: آنتروپیک هشدار داده است که RSI "ممکن است خطر از دست دادن کنترل انسان بر سیستم های هوش مصنوعی را افزایش دهد." برخی از محققان این نظریه را مطرح می‌کنند که اگر هوش مصنوعی پیشرفته به اهداف خود کمک کند، می‌تواند در برابر خاموش شدن یا تغییر مقاومت کند.

محققان در مورد هک توسط عوامل OpenAI به Hugging Face گفتند که این عوامل نشانه هایی از این رفتار را نشان دادند. نگرانی دیگر: سیستم‌های هوش مصنوعی خود-بهبودی که قادر به کپی کردن خود هستند، می‌توانند نوعی انتخاب طبیعی دیجیتالی ایجاد کنند، و سیستم‌هایی را که در به دست آوردن محاسبات، پول و قدرت بهترین هستند، برای رشد سریع‌تر مورد حمایت قرار دهند. کارشناسان می‌گویند در نسخه تاریک‌تر این سناریو، هوش مصنوعی برای منابع و قدرت با انسان‌ها رقابت می‌کند. بین خطوط: رفتار خطرناک ممکن است با یک نسل از هوش مصنوعی متوقف نشود. محققان Anthropic دریافتند که برخی از صفات ناخواسته می تواند از یک مدل t منتقل شود

دیگری از طریق داده‌های آموزشی، این نگرانی را ایجاد می‌کند که رفتار مشکل‌ساز ممکن است در نسل‌های AI ادامه یابد. چقدر به RSI نزدیک هستیم؟

تصویر بزرگ: ما هنوز آنجا نیستیم. تحلیل جدیدی که این هفته منتشر شد نشان داد که حلقه‌های بازخورد هوش مصنوعی هنوز به معیارهای RSI نرسیده‌اند.

آنچه ما در حال تماشای آن هستیم: تلاش برای ایجاد RSI. Z.AI چین می گوید که آنها به سمت RSI حرکت می کنند، جایی که مدل ها به ایجاد زیرساخت بهتر برای مدل های بهتر کمک می کنند.

محققان Google DeepMind چارچوبی را برای "Dream-RSI" منتشر کردند، سیستمی که به صورت بازگشتی نحوه یافتن راه حل های یک عامل هوش مصنوعی را بهبود می بخشد. نتیجه نهایی: RSI هنوز به اینجا نیامده است، اما این یک مشکل بزرگ است که دنیای هوش مصنوعی را در معرض دید قرار داده است.

عمیق تر بروید: معماران هوش مصنوعی می گویند که دوره بعدی تاریخ بشر اینجاست