با نزدیک‌تر شدن شرکت‌های هوش مصنوعی به «خودبهبودی بازگشتی»، این استاد فیزیک، خودمختاری کامل را «بدترین ایده در تاریخ بشریت» می‌نامد.

زمانی که یک جاه طلبی دور برای محققان فناوری بود، چشم انداز مدل های هوش مصنوعی که به طور مستقل به خود آموزش می دادند تا کارآمدتر و توانمندتر باشند، به واقعیت نزدیک تر به نظر می رسد.

با پیشرفت فناوری، توسعه‌دهندگان می‌گویند که به «خود-بهبودی بازگشتی» یا RSI نزدیک می‌شود که در آن مدل‌های هوش مصنوعی راه‌هایی برای بهبود خود و ساختن جانشین خود پیدا می‌کنند. مدیران شرکت های فناوری می گویند که این می تواند نوید پیشرفت در علم و پزشکی را به همراه داشته باشد، اما خطراتی نیز به همراه دارد.

عدم قطعیت در مورد اینکه همه اینها به کجا می‌تواند منجر شود، در مرکز نگرانی‌های فزاینده در مورد فرار از کنترل انسان توسط هوش مصنوعی و تهدیدات احتمالی برای بشریت است، که باعث شد چندین غول هوش مصنوعی در آخر هفته گذشته در فراخوانی برای کاهش سرعت رشد فناوری به آن بپیوندند.

Anthropic این هفته توضیح داد که چگونه مدل آن کلود به شرکت کمک می کند تا نسخه بعدی و هوشمندتر خود را توسعه دهد. کلود اکنون 26 درصد از تحقیق و توسعه مدل آنتروپیک را رهبری می کند، که به گفته این شرکت به این معنی است که می تواند بیشتر یک کار معین را «از یک اعلان سطح بالا» در حالی که هنوز تحت نظارت انسان است، انجام دهد. مدل ها به طور کامل مستقل کار نمی کنند - حداقل هنوز.

در اینجا چند نکته کلیدی در مورد خود-بهبودی بازگشتی وجود دارد.

خودسازی بازگشتی چیست؟

شرکت های پیشرو هوش مصنوعی تعاریف متفاوتی برای خود-بهبودی بازگشتی دارند. برخی آن را زمانی تعریف می‌کنند که هر گونه بازخوردی از هوش مصنوعی در مورد بهبود مدل وجود دارد، در حالی که برخی دیگر آن را به‌عنوان هوش مصنوعی تعریف می‌کنند که کاملا مستقل برای رسیدن به آن هدف کار می‌کند.

آنتونی آگویر، رئیس و مدیر عامل موسسه غیرانتفاعی Future of Life و استاد فیزیک در دانشگاه کالیفرنیا، سانتا کروز، گفت: خود-بهبودی بازگشتی خودمختار اساسا به معنای هوش مصنوعی است که می تواند خود را با طراحی نسخه بعدی سیستم، سپس نسخه بعدی و غیره بهبود بخشد.

او گفت: «نکته بسیار مهم در اینجا این است که وقتی هوش مصنوعی بیشتر از آن استفاده می‌کند، سریع‌تر می‌شود، زیرا هوش مصنوعی بسیار سریع‌تر از انسان‌ها عمل می‌کند.

جان تیکستون، استادیار علوم کامپیوتر در دانشگاه کرنل که روش‌هایی را مطالعه می‌کند که رفتار مدل‌های هوش مصنوعی را کنترل می‌کنند، گفت: ترس در مورد RSI عمدتا مبتنی بر یک ابر هوش فراری است که از این فرآیند بیرون می‌آید. اما او گفت که یک دیدگاه مستدل تر نشان می دهد که نوعی خود-بهبودی بازگشتی مدتی است که در توسعه هوش مصنوعی در حال انجام است.

او گفت: "ما سال هاست که از این مدل ها در نقش های حمایتی برای ایجاد نسخه بعدی این مدل ها استفاده می کنیم. بنابراین مردم از نسل گذشته مدل ها برای نوشتن کد برای سیستم های هوش مصنوعی استفاده می کنند و سپس نسل بعدی را ایجاد می کنند."

برای سال‌ها، محققان برجسته هوش مصنوعی مانند آندری کارپاتی، بنیان‌گذار OpenAI، تلاش کرده‌اند تا مدل‌های هوش مصنوعی را برای آموزش و بهبود سیستم‌های جدید هوش مصنوعی به دست آورند. Thickstun گفت که این تلاش ها پیشرفت های جزئی را به همراه داشته است، اما نه جهش های خلاقانه بزرگ.

اما آگویر گفت، امروزه شرکت‌های هوش مصنوعی به انجام این جهش‌های بزرگ‌تر در بهبود نزدیک‌تر هستند.

او گفت: «شما می‌توانید در این توطئه‌های آنتروپیک در طول زمان ببینید، تحقیقات بیشتر و بیشتری توسط هوش مصنوعی انجام می‌شود و نزدیک‌تر و نزدیک‌تر به کاملا خودمختار می‌شود». "و نتیجه این موفقیت، در نهایت چیزی است که، به نظر من، بسیار ترسناک است. من فکر می کنم این احتمالا بدترین ایده در تاریخ بشریت برای انجام این کار است. و بله، آنها این کار را انجام می دهند."

برخی از آزمایشگاه های هوش مصنوعی می گویند RSI دور از دسترس نیست

اعلامیه اخیر Anthropic به عموم - و سایر آزمایشگاه‌ها - بینشی در مورد پیشرفت RSI داد و رقبای خود را تشویق کرد تا معیارهای مشابهی را به اشتراک بگذارند. با این حال، این شرکت به صراحت نگفته است که تا چه حد به بهبود مدل کاملا مستقل نزدیک است.

OpenAI سازنده ChatGPT در این ماه اعلام کرد که یک «کارآموز پژوهشی» خودکار ایجاد کرده است که سیستمی را تعریف می کند که می تواند وظایف تحقیقاتی به خوبی تعریف شده را تحت هدایت انسان انجام دهد، از جمله «کارهایی که یک محقق ماهر چند روز طول می کشد». این شرکت گفته است که با هدف ایجاد یک "محقق" خودکار هوش مصنوعی تا مارس 2028 پیش می رود.

این شرکت در آن اعلامیه گفت که اگرچه RSI می‌تواند به همسو کردن اقدامات مدل‌ها با ارزش‌ها و مقاصد انسانی کمک کند، اما این بدان معنا نیست که «RSI سریع لزوما نتیجه‌ای است که باید دنبال کنیم».

این شرکت در یک پست وبلاگی گفت: "این که آیا و چگونه ادامه دهیم باید به توانایی ما برای حفظ کنترل انسانی و انتخاب های دموکراتیک آگاهانه در مورد مزایا و خطرات بستگی داشته باشد."

به نظر می رسد ایلان ماسک بیشتر مشتاق پیشروی است. او در ماه مارس گفت که برای مدل‌های Grok xAI، «انسان‌ها به تدریج کمتر و کمتر در جریان بهبود مدل قرار می‌گیرند» و «هر مدل متوالی توسط مدل قبلی ساخته می‌شود»، اما تصریح کرد که این فرآیند هنوز کاملا خودکار نشده است. او افزود که این هدف ممکن است تا پایان سال جاری محقق شود، اما نه دیرتر از سال 2027.

به نظر می رسد مایکروسافت و برخی دیگر از شرکت های برجسته هوش مصنوعی رویکرد متفاوتی را در پیش گرفته اند.

مصطفی سلیمان، مدیر عامل هوش مصنوعی مایکروسافت، گفته است که این شرکت به سمت «فوق هوش انسانی» یا قابلیت‌های پیشرفته هوش مصنوعی که در خدمت مردم و بشریت است، حرکت می‌کند. سلیمان در مقاله‌ای در سال 2025 گفت که این به معنای «یک موجودیت نامحدود و نامحدود با درجات بالای خودمختاری» نیست، بلکه به معنای هوش مصنوعی است که «به‌دقت کالیبره‌شده، زمینه‌سازی شده، در محدوده‌ها» انجام می‌شود.

چگونه مذاکرات کاهش سرعت توسعه می تواند بر RSI تأثیر بگذارد

چالش کلیدی که آزمایشگاه‌ها با آن روبرو هستند - و اساسا از زمان شروع فناوری با آن روبرو بوده‌اند - اطمینان از پیشرفت اقدامات ایمنی آنها در کنار قابلیت‌های مدل‌ها است.

بخش‌هایی در صنعت فناوری بر سر درخواست‌ها برای کاهش هماهنگ‌شده هوش مصنوعی برای ایمنی پدید آمده است، و همه بازیگران اصلی در فضای هوش مصنوعی به طور خاص در مورد مسیر خود با RSI اظهار نظر نکرده‌اند.

آنتروپیک، که صدای پیشرو در فراخوان ها برای افزایش سرعت بوده است، گفته است که کار توسعه خود را کند یا موقتا متوقف خواهد کرد - با فرض اینکه رقبای جهانی آن نیز این کار را انجام دهند، و به روشی قابل تأیید.

OpenAI صراحتا در این ماه گفت که هنوز نمی‌داند چگونه «به‌طور ایمن به RSI همتراز و کامل برسد» و اضافه کرد که شرکت «نمی‌تواند فرض کند که پیشرفت در همسویی و ایمنی به سرعت ادامه خواهد داشت». نظارت بر سیستم‌های توانمندتر ممکن است سخت‌تر شود، اما پیگیری RSI همچنان هدفی است که می‌گوید برای آن ارزش قائل است، زیرا «محقق هوش مصنوعی خودکار می‌تواند یک محقق ایمنی یا تراز خودکار نیز باشد».

این داستان در ابتدا در سایت Fortune.com منتشر شد