آنتروپیک ادعا می کند که به خود-بهبودی بازگشتی نزدیک است

طبق آخرین ویرایش پرونده S-1/A که دوشنبه منتشر شد، Anthropic ادعا می کند که نزدیک به چیزی در امتداد خطوط خود-بهبودی بازگشتی یا RSI است. هشدار جدید در بخش "عوامل خطر" سند یک به‌روزرسانی ظریف اما قابل توجه است که توسط TechCrunch مشاهده شده است.

RSI، اگر واقعی باشد، نقطه‌ای خواهد بود که در آن یک سیستم کامپیوتری می‌تواند به‌طور مستقل خود را بهبود بخشد، و سپس نسخه بهبودیافته می‌تواند خود را بهبود بخشد، و در ادامه، و بعد. نسخه ای از این مفهوم در کار فروتنانه من در مورد «تکینگی» در سال 2016 مرکزی بود، اما اصطلاحات تخصصی با زمان تغییر کرده است. RSI در ارتباط با هوش مصنوعی معاصر یک مفهوم تا حدی مبهم است، اگرچه برخی از جزئیات در چند سال گذشته در فضاهای خردگرا و موثر وابسته به نوع دوستی آنلاین مانند Lesswrong حذف شده است.

به نظر می‌رسد که از یک اصطلاح قبلی، "هوش مصنوعی اولیه" که توسط پدرخوانده مصیبت‌سازی هوش مصنوعی، الیزر یودکوفسکی ابداع شده، تکامل یافته است.

بنابراین آنتروپیک به سرمایه گذاران ریسک گریز فاش می کند - یا شاید به جهانی که مشتاق استقبال از خدای مکانیکی خود هستند - اعلام می کند که RSI ممکن است "بزودی" برسد. نسخه 26 اکتبر پرونده Anthropic حاوی بخشی در مورد نرخ "شتاب مبتنی بر هوش مصنوعی" است، اما این شرکت بخشی را اضافه کرد که به شرح زیر است:

«[…] برآوردهای داخلی ما و انتظارات ما در مورد مدل‌های آینده، به جای مدل‌های فعلی‌مان، نشان می‌دهد که ممکن است به‌زودی به تعریف «پیشرفت شتاب‌زده قابل انتساب به هوش مصنوعی» در خط‌مشی مقیاس‌پذیری مسئول خود دست پیدا کنیم.»

و با توجه به مطالعه من از خط مشی مقیاس پذیری مسئولیت پذیر، آنتروپیک ادعا می کند که اگر پیشرفت چشمگیر قابل انتساب به هوش مصنوعی به وجود آید، این شرکت خود را به یک استاندارد بسیار شگفت انگیز برای جلوگیری از فجایع مرتبط با هوش مصنوعی نگاه می کند.

آنتروپیک می‌گوید، برای مثال، «راه‌های جاه‌طلبانه و احتمالا غیرمتعارف برای دستیابی به سطوح بی‌سابقه‌ای از امنیت را بررسی می‌کند» و همچنین نوعی دانایی کامل بر فعالیت‌های داخلی‌اش ایجاد می‌کند، وضعیتی که آن را «چشم بر همه چیز» می‌نامد. این سیاست همچنین ادعا می‌کند که آنتروپیک در تیم قرمز آنقدر خوب عمل می‌کند که دیگر نیازی به اتکا به پاداش‌های باگ ندارد.

اگر همه اینها "فورا" اتفاق می‌افتد، حدس می‌زنم آنتروپیک بهتر است این کاهش‌های جاه‌طلبانه جدید را بررسی کند.