بایگانی Anthropic S-1 همچنین یک آغازگر AI Doomsday است

در حالی که در مورد میزانی که هوش مصنوعی یک تهدید وجودی برای بشریت را نشان می‌دهد، صحبت‌های زیادی شده است، مکانیسم‌های خاصی که توسط آن می‌تواند باعث این تخریب شود تا حد زیادی مبهم است. اگر هیچ چیز دیگری نباشد، 94 صفحه ای که دفترچه آنتروپیک به عوامل خطر اختصاص می دهد، هم مشخص می کند که خطر از کجا می آید و هم راه هایی که محققان آن برای برنده شدن در مسابقه تسلیحاتی هوش مصنوعی به سمت آن می روند. «سیستم‌های هوش مصنوعی به‌اندازه کافی پیشرفته، در صورت عدم توسعه، استقرار و بهره‌برداری با پادمان‌های مناسب، نظارت و تدابیر امنیتی، می‌توانند فاجعه‌بار یا وجودی ایجاد کنند.

برای بشریت است.» این دفترچه با اشاره به نگرانی‌های منتقدان و تنظیم‌کننده‌ها و از درون خود آنتروپیک می‌خواند. (این اولین بار از سه بار است که عبارت «خطرات وجودی» ظاهر می‌شود.) آنتروپیک مراقب است که این نتیجه را به یک فرآیند خاص گره بزند: خودسازی بازگشتی. ایده پشت RSI بسیار ساده است. وضعیتی را توصیف می‌کند که در آن انسان‌ها تحقیق و توسعه مدل‌های هوش مصنوعی را به سایر مدل‌های هوش مصنوعی واگذار می‌کنند.

هوش مصنوعی در اینجا نقش بزرگی را ایفا می کند - و حداقل یک آزمایشگاه از چیزی نزدیک به RSI برای سرعت بخشیدن به توسعه مدلی استفاده کرده است که از وزن خود بالاتر می رود - اما سناریویی که جرقه صحبت های روز رستاخیز را می دهد سناریویی است که در آن انسان ها دیگر اصلا در جریان نیستند. یا همانطور که در پرونده آنتروپیک آمده است: «در صورتی که سیستم‌های هوش مصنوعی بطور قابل ملاحظه‌ای تحقیق و توسعه هوش مصنوعی را خودکار می‌کنند، اگر برای مثال، پیشرفت هوش مصنوعی را فراتر از توانایی ما برای ارزیابی و محافظت از مدل‌های جدید تسریع کنند، خطرات افزایش می‌یابد. این دفترچه مکررا به این نکته اشاره می‌کند که RSI می‌تواند به مدل‌های هوش مصنوعی منجر شود که سریع‌تر از ایمنی شرکت توسعه می‌یابند.

ds، و اینکه شرکت ممکن است حتی متوجه نشود که در آن مسابقه شکست خورده است تا زمانی که خیلی دیر نشده است. آنتروپیک بلافاصله به درخواست اظهار نظر پاسخ نداد. همچنین در مورد آنچه ممکن است بعد از آن اتفاق بیفتد، مشخص می شود. این دفترچه می‌گوید: «از آنجایی که سیستم‌های هوش مصنوعی مستقل‌تر می‌شوند و می‌توانند اقدامات بعدی را با نظارت کمتر انسانی انجام دهند، این خطر وجود دارد که چنین سیستم‌هایی، خواه به دلیل همسویی نادرست با نیات انسانی، خطا در مشخصات عینی، یا رفتارهای حفظ خود، به طور مستقل و در مقیاس بدون دخالت انسان، اقدامات مضر انجام دهند.» این سرزمین Skynet است

y صحبت از ربات‌ها شد، آنتروپیک نگران آن‌ها نیز هست. در پرونده می‌گوید: «وقتی مدل‌های ما تجهیزات فیزیکی را هدایت می‌کنند، خطاها، رفتار نادرست، دستکاری خصمانه یا سوء استفاده می‌تواند منجر به آسیب بدنی، آسیب به اموال، آسیب به تجهیزات گران‌قیمت یا مواد آزمایشی، یا انتشار مواد خطرناک شود، و چنین عواقبی ممکن است فوری و غیرقابل برگشت باشد.» ممکن است فکر کنید، با توجه به مخاطرات ظاهری وجودی، توجه جدی به این موضوع که آیا RSI باید اصلا دنبال شود، بسیار کمتر مورد توجه قرار می گیرد.

با این حال، در صنعتی به عنوان رقابتی مانند هوش مصنوعی مرزی، این امر به یک عمل انجام شده تبدیل شده است. در اینجا نحوه توصیف آنتروپیک همان فرآیند در جای دیگری در دفترچه، این بار در بخشی در مورد "مزایای اصلی استارت آپ" است: دفترچه می گوید: «ما به این پویایی بازگشتی به عنوان «بستن حلقه» اشاره می کنیم، و معتقدیم که این یکی از مهم ترین مزیت های ساختاری در هوش مصنوعی مرزی است. آنتروپیک بعدا می‌گوید که شکست در «بستن حلقه» می‌تواند منجر به «به‌تدریج عقب‌نشینی بیشتر شود، زیرا رقبا به طور مداوم از هوش مصنوعی برای افزایش بیشتر قابلیت‌های توسعه خود استفاده می‌کنند». به عبارت دیگر

s، همان سیستم هایی که باعث همه نگرانی های وجودی می شوند، همان هایی هستند که Anthropic برای موفقیت خود حیاتی می بیند. هر شرکت هوش مصنوعی با همین تنش دست و پنجه نرم می کند. هنگامی که محقق سابق Anthropic Jacob Coxon به دلیل استعفای با صدای بلند در فضای مجازی منتشر شد، او مهار RSI را در صدر فهرست آرزوهای خود برای صنعت قرار داد. کارمندان Google DeepMind و جاهای دیگر افشاگری های مشابهی داشته اند. چندین لایحه در کنگره وجود دارد، از جمله لایحه ای که توسط برنی سندرز حمایت می شود، که ممنوعیت RSI را پیشنهاد می کند.

در عین حال، اینها شرکت های انتفاعی هستند و تریلیون ها دلار در خطر هستند. این یک پویایی دشوار برای پیمایش است. خودسازی بازگشتی می تواند به قطاری فراری تبدیل شود که بشریت را نابود می کند. اما تا آن زمان، فقط به سرعت آن نگاه کنید.