IPO Anthropic خطرات خارق العاده هوش مصنوعی را مشخص می کند

بایگانی IPO آنتروپیک شامل فهرست گسترده ای از هشدارهای شدید است - از جمله احتمال اینکه فناوری خود می تواند بشریت را در معرض خطر قرار دهد.

چرا مهم است: اینها وحشیانه ترین عوامل خطر IPO در تاریخ هستند، برخورد شدید قانونی وال استریت و آنچه برخی آن را علمی تخیلی دره سیلیکون می دانند، از جمله تهدیدات فاجعه بار برای بشریت، باج گیری از مدل های هوش مصنوعی و تعهدات 750 میلیارد دلاری محاسباتی. محرک اخبار: دفترچه آنتروپیک بیش از 90 صفحه از عوامل خطر را شامل می شود که حدود یک سوم کل اسناد را تشکیل می دهد. در میان چشمگیرترین ها، این شرکت هشدار می دهد: 💥 هوش مصنوعی می‌تواند «خطرات فاجعه‌بار یا وجودی برای بشریت» ایجاد کند و می‌تواند انسان‌ها را دستکاری کند.

🔎 نظارت بر مدل‌ها سخت‌تر می‌شود، زیرا در دور زدن نظارت بهتر می‌شوند، و سرعت کار مستقل به تنهایی می‌تواند از توانایی بازبین‌های انسانی برای نظارت بر اقدامات فراتر رود.

💰 مدل های هوش مصنوعی به طور کلی، از جمله مدل های خود، رفتاری شبیه باج خواهی از خود نشان داده اند، از جمله تلاش برای مقاومت در برابر بسته شدن. Zoom in: Anthropic همچنین فاش کرد که چهار مدل از آن در طی ارزیابی‌های امنیت سایبری به سیستم‌های شخص ثالث واقعی دسترسی غیرمجاز پیدا کردند. در یک حادثه، یک مدل از رمز عبور کشف‌شده برای دسترسی سرپرست، جمع‌آوری اعتبار اضافی، تغییر تنظیمات سیستم و دسترسی به اطلاعات شخصی یک فرد استفاده کرد.

آنتروپیک گفت هیچ مدرکی مبنی بر اینکه مدل‌ها اهدافی فراتر از وظایف محوله خود را دنبال می‌کردند یا تلاش می‌کردند از نظارت دوری کنند، پیدا نکرد. تصویر بزرگ: هر شرکتی باید ریسک هایی را برای سرمایه گذاران خود در نظر بگیرد که در زمان عرضه عمومی به آنها توجه کنند. اما آنتروپیک اولین بار در تاریخ مدرن است که به چنین افراط های وجودی می رود.

نقطه اصطکاک: این شرکت همچنین اذعان کرد که موفقیت آن تا حد زیادی به توانایی آن در توسعه بهترین اطلاعات مرزی بستگی دارد. اعتراف می‌کند که می‌تواند در مقابل شیوه‌های ایمنی باشد، و اضافه می‌کند که پس از آن، قابلیت‌های مدل ممکن است «سریع‌تر از توانایی ما برای توسعه، تأیید و اجرای» اقدامات ایمنی مربوطه پیشرفت کنند.

این امر بر تنش اساسی که منتقدان درباره آن هشدار داده اند تأکید می کند: از آنجایی که آنتروپیک مقیاس می گیرد و با فشار سرمایه گذاران بازار عمومی برای ساخت مدل های بهتر از رقبای خود مواجه می شود، جاه طلبی های تجاری آن می تواند به طور فزاینده ای با تعهدات ایمنی اش در تضاد باشد. با اعداد: عوامل خطر شامل احتیاطات مالی معمولی تر نیز می شود. آنتروپیک صدها میلیارد دلار را به رایانش ابری و اجاره تجهیزات متعهد کرده است، حتی اگر مشتریان بتوانند استفاده از آنها را نسبتا سریع کاهش دهند.

برخی از قراردادها بدون در نظر گرفتن تقاضا نیازمند حداقل پرداخت هستند و این شرکت هشدار می دهد که عدم انجام برخی تعهدات می تواند منجر به نکول در جاهای دیگر شود و به طور بالقوه بازپرداخت بدهی ها را تسریع کند و دسترسی به زیرساخت های محاسباتی را به خطر بیندازد.

Anthropic همچنین اذعان می کند که قبلا نیازهای محاسباتی خود را دست کم می گرفت. اما برآورد بیش از حد تقاضا در آینده می تواند باعث شود که زیرساخت های گران قیمت و کم استفاده بپردازد. نتیجه نهایی: اسناد ارائه اولیه سهام آنتروپیک یک هشدار غیرمعمول صریح در مورد خطرات ایجاد یک تجارت پیرامون فناوری است که خالق آن اذعان می کند که ممکن است کنترل آن به طور فزاینده ای دشوار شود.