پرش به محتوای اصلی

عوامل خطر Anthropic شامل پایان بشریت، دشمنی با پنتاگون و شهرت مدیر عامل داریو آمودی است.

فورچون۱۴۰۵ آبان ۴, دوشنبه، ساعت ۲۲:۴۰حدود 8 دقیقه مطالعه

در کنار هشدارهای معمول در مورد رقابت و مقررات، آنتروپیک به سرمایه گذاران می گوید که فناوری خود می تواند "خطرات فاجعه بار یا وجودی برای بشریت" ایجاد کند.

دفترچه IPO مورد انتظار Anthropic روز دوشنبه عمومی شد. این سند زیان‌ها، درآمد، ساختار حاکم، برنامه‌های زیرساختی شرکت را نشان می‌دهد و احتمالا شامل وحشی‌ترین مجموعه افشاگری‌های ریسکی است که تا به حال از شرکت‌هایی که در حال رقابت برای عرضه عمومی هستند دیده شده است.

اکثر شرکت هایی که برای فروش سهام آماده می شوند به سرمایه گذاران در مورد رقابت، مقررات و اقتصاد هشدار می دهند. دفترچه آنتروپیک همه این کارها را انجام می دهد، اما همچنین یک گام غیرعادی را انجام می دهد و هشدار می دهد که فناوری می فروشد می تواند "خطرات فاجعه بار یا وجودی برای بشریت" ایجاد کند. اذعان می‌کند که این نگرانی حتی «در سازمان ما» نیز وجود دارد.

از بسیاری جهات، هشدارهای Anthropic افزوده تعجب آور نیست. این شرکت به طور مداوم در مورد برخی از خطراتی که فکر می‌کند مدل‌های هوش مصنوعی خود می‌توانند ایجاد کنند، سخن گفته است. داریو آمودی، مدیر عامل شرکت، حتی عدد "p(doom)" خود را - احتمال اینکه هوش مصنوعی بشریت را نابود کند - بین 10 تا 25 درصد قرار داده است. کارمندان این شرکت همچنین علنا خطراتی را که معتقدند هوش مصنوعی قدرتمندتر ایجاد می کند، ارزیابی کرده اند.

به طور کلی، آنتروپیک حدود 94 صفحه از یک پرونده تقریبا 300 صفحه ای را صرف طرح تهدیدهای دیگر برای تجارت خود می کند. در اینجا پنج مورد برجسته هستند.

مدل‌های خودش سرکش یا فاجعه‌آمیز است

در این پرونده آمده است که سیستم‌های هوش مصنوعی پیشرفته خطرات وجودی را به همراه دارند، به‌ویژه اگر مورد سوء استفاده قرار گیرند، به سلاح تبدیل شوند یا اجازه داده شود با استقلال بالا کار کنند. آنتروپیک در این دفترچه هشدار داد که سیستم‌های خودمختار فزاینده می‌توانند، از طریق ناهماهنگی یا رفتارهای حفظ خود، «به طور مستقل و در مقیاس بدون دخالت انسان، اقدامات مضر انجام دهند».

این آزمایشگاه همچنین در S-1 خود، نام رسمی فرم کمیسیون بورس و اوراق بهادار ایالات متحده، که شرکت‌ها باید قبل از اولین فروش سهام به عموم، ثبت کنند، هشدار داد که ممکن است به دلیل اینکه بیشتر به کلود برای مواردی مانند مهندسی نرم‌افزار متکی است، دید خود را نسبت به عملیات خود از دست بدهد.

در این پرونده آمده است: «از آنجا که مدل‌های ما سهم بزرگ و رو به رشدی از کد ما را می‌نویسند و به طور فزاینده‌ای تحقیقات ما، از جمله تحقیقات ایمنی ما را انجام می‌دهند. رفتار نامناسب در استفاده داخلی «می‌تواند این کار را تضعیف کند، آسیب‌پذیری‌ها را در سیستم‌های ما یا آموزش مدل‌های آینده وارد کند، یا منجر به عملکرد مدل‌هایی خارج از کنترل‌های مورد نظر ما شود».

این شرکت همچنین خاطرنشان کرد که مدل‌هایش در دور زدن برخی تکنیک‌های ایمنی، از جمله با پنهان کردن اهداف یا رفتارهایشان، بهتر شده‌اند. آنتروپیک می‌گوید که توانایی آن برای اندازه‌گیری میزان همسویی مدل‌هایش «ممکن است در نتیجه کاهش یابد».

هزینه های بالقوه این خطرات نیز می تواند بسیار زیاد باشد. این پرونده هشدار می دهد که "با مقیاس آسیبی که می تواند ناشی از یک حادثه فاجعه بار مرتبط با هوش مصنوعی باشد، هیچ بیمه گر به تنهایی، و بطور بالقوه صنعت بیمه در مجموع، ممکن است ظرفیت کافی برای پوشش دادن آن را نداشته باشند."

خطرات سیاسی: مبارزه با پنتاگون و ملی شدن احتمالی

با ورود آنتروپیک به بازارهای عمومی، در تضاد آشکار با دولت فدرال بر سر استفاده از مدل‌های هوش مصنوعی برای کارهای دفاعی است. در ماه فوریه، رئیس‌جمهور ترامپ گفت که به همه آژانس‌های فدرال دستور داده است تا استفاده از فناوری شرکت را متوقف کنند، زیرا آنتروپیک اجازه استفاده از مدل‌هایش را برای هر هدف قانونی - از جمله نظارت انبوه داخلی یا سلاح‌های کاملا خودمختار - نداد. در نتیجه این اختلاف، وزارت جنگ نیز آن را به عنوان یک خطر امنیت ملی معرفی کرد.

Anthropic در حال حاضر در دادگاه با عنوان "خطر زنجیره تامین" وزارت جنگ به چالش می کشد. یک دادگاه منطقه ای فدرال عمدتا در ماه اوت از شرکت حمایت کرد و تصمیم گرفت اقدامات دولت تلافی جویانه بوده و حقوق متمم اول آن را نقض کند. اما در ماه سپتامبر، یک هیئت منشعب از D.C.

این پرونده هشدار می دهد که مبارزه مداوم با پنتاگون می تواند بدون در نظر گرفتن نحوه پایان دعوا، "آسیب قابل توجهی به شهرت" وارد کند و می تواند منجر به تاخیر یا چشم پوشی مشتریان از خرید محصولات آن یا درخواست حمایت های قراردادی اضافی قبل از تجارت با آن شود. این پرونده همچنین می‌گوید که وزارتخانه پیشنهاد کرده است که می‌تواند به قانون تولید دفاعی استناد کند تا آنتروپیک را مجبور کند تا محدودیت‌های خود را در مورد تسلیحات و نظارت‌های خودمختار کنار بگذارد.

دولت ترامپ قبلا یک بار تجارت آنتروپیک را محدود کرده است. در ماه ژوئن، وزارت بازرگانی محدودیت‌های صادراتی شرکت را اعمال کرد که آنتروپیک را مجبور کرد مدل‌های Fable 5 و Mythos 5 خود را برای همه مشتریان غیرفعال کند، و دلیل آن نگرانی‌های امنیت ملی بود.

این پرونده همچنین سایر تغییرات بالقوه سیاست را در نظر می‌گیرد و اشاره می‌کند که قوانین پیشنهادی ایالات متحده «ملی‌سازی بالقوه» و «شرایط خاموش کردن یا توقف اجباری سیستم‌های هوش مصنوعی مرزی» را به عنوان راه‌هایی برای مدیریت توسعه ابر هوش مصنوعی در نظر می‌گیرد. این پرونده می‌گوید اقدامات بیشتر دولت برای تنظیم هوش مصنوعی «می‌تواند نحوه عملکرد کسب‌وکارمان را محدود کند».

بحران را محاسبه کنید و یک جنگ احتمالی قیمت

رشد مداوم آنتروپیک به تامین مقادیر زیادی از قدرت محاسباتی کمیاب و گران قیمت بستگی دارد. تقاضا برای این محاسبات حیاتی از لحاظ تاریخی از عرضه پیشی گرفته است که خطر قابل توجهی برای کسب و کار آن محسوب می شود.

این شرکت در دفترچه اعلام کرد: «توانایی ما برای توسعه، آموزش، بهبود و استقرار مدل‌های مرزی به دسترسی ما به مقادیر عظیم و فزاینده محاسبات تخصصی بستگی دارد. در عین حال، "بازار محاسبات به شدت رقابتی است."

این شرکت متعهد شده است که بین 542 تا 567 میلیارد دلار برای محاسبات و زیرساخت‌های آینده هزینه کند - اگرچه برخی از آمارهای مبتنی بر S-1 این رقم را حتی بیشتر از 750 میلیارد دلار نشان می‌دهد.

بایگانی می‌گوید که پیشنهادات نمایندگی آن، که وظایف چند مرحله‌ای را به تنهایی انجام می‌دهند، از نظر ساختاری محاسباتی بیشتری نسبت به سایر محصولات آن دارند، که می‌تواند تقاضای محاسبه را افزایش دهد. در عین حال، همچنین خاطرنشان می‌کند که فشار رقابتی ناشی از کاهش هزینه‌های رقبا ممکن است باعث شود که قیمت برخی از این محصولات کاهش یابد.

هشدار می‌دهد: «اگر ما نتوانیم مدل‌های قیمت‌گذاری را پیاده‌سازی کنیم که به‌اندازه کافی شدت محاسبات این حجم‌های کاری عاملی را منعکس کند، یا اگر پویایی رقابتی توانایی ما را برای قیمت‌گذاری این محصولات در سطوح کافی برای پوشش هزینه‌هایشان محدود می‌کند، کارایی محاسباتی ما می‌تواند با افزایش استفاده از نمایندگی بدتر شود، که می‌تواند بر پایداری ما تأثیر منفی بگذارد.»

هزینه احتیاط - و آسیب به شهرت

در S-1، آنتروپیک پیشنهاد می کند که تعهدات ایمنی آن ممکن است به قیمت سهامداران تمام شود. به‌عنوان یک شرکت عام المنفعه، مدیران آن باید بازدهی را در مقابل مأموریت خود ارزیابی کنند و این پرونده می‌گوید تصمیم‌گیری‌ها برای «تعطیل سرعت توسعه هوش مصنوعی، تأخیر یا محدود کردن انتشار مدل‌ها یا ویژگی‌ها، یا چشم پوشی از فرصت‌های تجاری به دلایل مرتبط با ایمنی، ممکن است ارزش سهامداران را به حداکثر نرساند».

این شرکت قبلا تماس‌های ایمنی را ایجاد کرده است که به تجارت آن ضربه زده است، مانند محدود کردن مدل Mythos خود به گروهی از سازمان‌ها از طریق Project Glasswing، که یادداشت‌های بایگانی ممکن است به درآمد کوتاه‌مدت آسیب برساند. در S-1، این شرکت فاش کرد که اخیرا به دلیل نگرانی‌های ایمنی و امنیتی، آموزش نسل بعدی مدل هوش مصنوعی را برای بیش از یک ماه متوقف کرده است.

آنتروپیک همچنین هشدار می‌دهد که کارمندانی که به دلیل تعهدات ایمنی به آن ملحق شده‌اند، اگر احساس کنند شرکت به ارزش‌هایش عمل نمی‌کند، «ممکن است دچار کاهش روحیه، سرخوردگی، از دست دادن اعتماد به رهبری یا کاهش بهره‌وری شوند». در این پرونده آمده است که انتقاد عمومی از سوی کارکنان فعلی یا سابق، یا خروج افرادی که با کار ایمنی مرتبط هستند، می‌تواند این وضعیت را بدتر کند و استخدام و حفظ استعدادها را سخت‌تر و گران‌تر کند.

ثروت این شرکت نیز تا حدودی به شهرت دو تن از بنیانگذاران آن وابسته است. در این پرونده از خواهر و برادرها، مدیر عامل داریو آمودی و رئیس جمهور دانیلا آمودی به عنوان "برای تعیین مسیر استراتژیک ما حیاتی" نام برده شده و می‌گوید که جایگزینی رهبری آنها دشوار خواهد بود. این هشدار می‌دهد که اگر «به هر دلیلی از دسترس خارج شوند، یا به اعتبار هر یک از آنها، بدون در نظر گرفتن شایستگی، آسیب جدی وارد شود»، می‌تواند به همه چیز آسیب برساند، از روحیه کارکنان و حفظ آن گرفته تا سرعت نوآوری و اعتماد مشتری.

تمرکز مشتری

مانند بسیاری از رقبای خود در فضای هوش مصنوعی، آنتروپیک برای سهم بزرگی از درآمد خود به گروه نسبتا کوچکی از مصرف کنندگان بزرگ وابسته است. پنج مشتری برتر آزمایشگاه حدود 25 درصد از درآمد را در 9 ماه اول سال 2026 به خود اختصاص دادند و یک مشتری ناشناس نیز 11 درصد از درآمد را در نیمه اول تشکیل داد.

تقریبا نیمی از درآمد، 48 درصد در نیمه اول، از طریق بازارهای ابری آمازون، گوگل و مایکروسافت جریان می‌یابد که 58 درصد از خالص دریافتنی‌های شرکت را نیز تشکیل می‌دهند.

آنتروپیک همچنین تخمین می زند که 5 تا 7 درصد از درآمد آن در 9 ماه اول سال 2026 از مشتریانی است که بعدا تشخیص داد خط مشی استفاده یا شرایط تجاری آن را نقض می کنند. آنتروپیک می‌گوید این مشکل در سراسر صنعت رایج است و انتظار می‌رود پس از افزایش اجرای آن در ماه آگوست و سپتامبر، سهم کاهش یابد.

S-1 همچنین ساختار غیرمعمول حاکمیت شرکت را آشکار می کند. به هفت بنیانگذار آنتروپیک یک کلاس ویژه از سهام صادر خواهد شد که دارای 50.1 درصد از قدرت رای سهامداران است، با اسناد حاکمیتی شرکت که مشخص می کند که مؤسسان به این سهام به عنوان یک بلوک رأی خواهند داد مگر اینکه نتوانند توافق کنند، در این صورت آرای آنها بر اساس تفکیک آرا بین سهامداران عادی طبقه A تقسیم می شود. در همین حال، صندوق مستقل منافع بلند مدت آزمایشگاه اکثریت هیئت مدیره را انتخاب می کند.

این پرونده هشدار می دهد که ساختار "ممکن است به طور مؤثری توانایی دارندگان سهام عادی کلاس A ما را برای تأثیرگذاری بر تصمیمات مهم، از جمله تغییر در کنترل، از بین ببرد."

این داستان در ابتدا در سایت Fortune.com منتشر شد

خواندن متن کامل در فورچونبه زبان اصلی، در سایت ناشر باز می‌شود
متن اصلی (انگلیسی)

Anthropic’s risk factors include the end of humanity, a feud with the Pentagon, and CEO Dario Amodei’s reputation

Alongside the usual warnings about competition and regulation, Anthropic tells investors its own technology could pose “catastrophic or existential risks to humanity.”

همه‌ی اخبار اقتصاد