محقق هوش مصنوعی می گوید یک "انفجار اطلاعاتی" می تواند هر ماه به لحظات "در سطح Mythos" منجر شود.
آلن چان، محقق در GovAI، مقالهای نوشت که خواستار نظارت بر پیشرفتهترین تحقیقات شرکتهای هوش مصنوعی شد. با حسن نیت از آلن چان، محققان برجسته هوش مصنوعی از سیاستگذاران می خواهند تا برای یک جهش عظیم بالقوه در قابلیت های هوش مصنوعی آماده شوند. صنعت هوش مصنوعی در مورد اینکه چه اتفاقی میافتد اگر مدلهای هوش مصنوعی در نهایت بتوانند جانشینهای خود را بسازند، سر و صدا دارد. در مورد خود-بهبودی بازگشتی یا RSI چه شنیده اید؟…
آلن چان، محقق در GovAI، مقالهای نوشت که خواستار نظارت بر پیشرفتهترین تحقیقات شرکتهای هوش مصنوعی شد. با حسن نیت از آلن چان محققان برجسته هوش مصنوعی از سیاستگذاران می خواهند تا برای یک جهش عظیم بالقوه در قابلیت های هوش مصنوعی آماده شوند.
صنعت هوش مصنوعی در مورد اینکه چه اتفاقی میافتد اگر مدلهای هوش مصنوعی در نهایت بتوانند جانشینهای خود را بسازند، سر و صدا دارد.
در مورد خود-بهبودی بازگشتی یا RSI چه شنیده اید؟ برخی از محققان برجسته هوش مصنوعی در جهان نگران یک "انفجار اطلاعاتی" هستند.
تصور این است که اگر سازندگان مدلهای هوش مصنوعی مرزی بتوانند توسعه مدلهای آینده خود را خودکار کنند، میتواند یک حلقه بازخورد ایجاد کند که میتواند منجر به سرعت تندبادی تغییر در پیشرفتهای هوش مصنوعی شود.
آلن چان، محقق در GovAI، یک اندیشکده هوش مصنوعی، در جریان بحث با خبرنگاران به خبرنگاران گفت: «مثلا تصور کنید که ما لحظاتی در سطح Mythos داشته باشیم، نه هر سال، بلکه هر ماه در حوزههای جدید.
این همان احتمالی است که ما آن را "انفجار اطلاعاتی" می نامیم."
چان با جک کلارک، بنیانگذار Anthropic، جاکوب پاچوکی، دانشمند ارشد OpenAI، اریک هورویتز، مدیر ارشد علمی مایکروسافت، و جفری هینتون برنده جایزه نوبل (از جمله دیگران) مقاله ای نوشت که از سیاست گذاران می خواهد تا بینشی در مورد اینکه چگونه آزمایشگاه های هوش مصنوعی برتر، تحقیقات خود را در برخی از شرکت های پیشرفته انجام می دهند، خودکار می کنند.
این فرآیند اغلب به عنوان خود-بهبودی بازگشتی (RSI) نامیده میشود، اما چان گفت که «انفجار اطلاعاتی» را ترجیح میدهد، زیرا امکان بحثهای جداگانه درباره دو موضوع را فراهم میکند: تلاشها برای خودکارسازی تحقیقات هوش مصنوعی و این سؤال که آیا تحقیقات خودکار منجر به بهبود سرسامآور قابلیتهای هوش مصنوعی میشود.
نویسندگان از سیاستگذاران میخواهند که بینش بهتری در مورد چگونگی تلاش شرکتها برای خودکارسازی توسعه از طریق استفاده لازم از حسابرسان تعبیهشده و سایر مراحل به دست آورند.
چان گفت در حالی که سیاستگذاران همیشه فرصتی برای عمل خواهند داشت، تأثیر اقدامات آنها ممکن است به مرور زمان کاهش یابد.
چان به Business Insider گفت: «در حال حاضر، ما در یک لحظه بسیار مناسب هستیم.
چان اشاره کرد که چگونه دیگران خواستار حسابرسان مستقل هستند، ایده ای که داریو آمودی، مدیر عامل آنتروپیک از آن حمایت کرده است، و برای شفافیت بیشتر برای پیشبرد مرزها.
او گفت: «فکر میکنم فرصت بسیار خوبی است تا از این پنجره برای جا انداختن چیزها استفاده کنم.
در توافقنامهای که روز سهشنبه توسط رهبران Anthropic، Google، OpenAI، SpaceXAI و Nvidia در کاخ سفید امضا شد، این شرکتها موافقت کردند "با یک حسابرس یا ارزیاب خارجی مستقل شریک شوند"، اگرچه این توافق به سطح خاصی که نویسندگان مقاله خواستار آن بودند نزدیک نیست.
ترامپ به خبرنگاران گفت که این توافق "اخلاقی" الزام آور است.
هنوز مشخص نیست که تحقیقات هوش مصنوعی چه زمانی ممکن است اتفاق بیفتد.
آمودی از خود-بهبودی بازگشتی به عنوان پایهای برای اصرار خود به صنعت برای "سرعت" پیشرفتهای خود برای اطمینان از عملکرد مدلهای AI همانطور که انتظار میرود، نام برد.
چان و نویسندگان همکارش در مقاله خود نوشتند که انتظار دارند "اتوماسیون اساسی تری در تحقیق و توسعه هوش مصنوعی در چند سال آینده انجام شود و حتی اتوماسیون کامل در این بازه زمانی باید جدی گرفته شود." Anthropic، OpenAI و Google همگی در مورد اینکه چگونه هوش مصنوعی به طور فزاینده ای به محققان کمک می کند تا مدل های جدید توسعه دهند و به کارمندان در زمینه های دیگر کمک کند، بحث کرده اند.
در ماه ژوئن، Anthropic گزارش داد که سیستم های هوش مصنوعی بیش از 80 درصد از کدهای تایید شده شرکت را تا ماه می تولید کرده اند. در ژانویه 2025، درصد کلود از آن کد "تک رقمی پایین بود."
چان گفت: خودکارسازی تحقیقات هوش مصنوعی ذاتا خوب یا بد نیست. او گفت که یک انفجار همچنین می تواند به اکتشافات سریعتر منجر شود، از جمله در زمینه هایی مانند پزشکی. در عین حال، همچنین به این معنی است که حوادث از دست دادن کنترل، مانند نقض OpenAI از Hugging Face، ممکن است رایجتر شوند.
او گفت: «البته ما سیستمهای هوش مصنوعی بسیار بهتری را با سرعت بیشتری دریافت میکنیم. "این می تواند بسیار، بسیار خوب باشد. ما فناوری های بسیار جدیدتر مانند پیشرفت های پزشکی را بسیار سریعتر دریافت می کنیم، و این بسیار خوب است. در عین حال، با دریافت این فناوری های جدید، ممکن است خطراتی را متحمل شویم که مجبور خواهیم بود با آنها بسیار، بسیار سریعتر مقابله کنیم."
مقاله اصلی را در Business Insider بخوانید
متن اصلی (انگلیسی)
AI researcher says an ‘intelligence explosion’ could lead to ‘Mythos-level’ moments every month
Alan Chan, a research fellow at GovAI, cowrote a paper that called for oversight of AI companies' most cutting-edge research. Courtesy of Alan Chan Leading AI researchers are urging policymakers to prepare for a potential massive jump in AI capabilities. The AI industry is abuzz about what could happen if AI models could eventually build their successors. What have you heard about recursive self-improvement or RSI?…