در حالی که آنتروپیک به سمت عرضه اولیه سهام 2 تریلیون دلاری پیش می رود، برخی از پر سر و صداترین منتقدان خودی شرکت هستند.
یکی از محققین می نویسد: «من با یک ضربان قلب دارایی ام را به زمین می سوزانم تا یک درصد شانس بیشتری برای خروج از این وضعیت زنده داشته باشیم.
بئاتریس نولان اینجاست. آنتروپیک در شرف عرضه اولیه سهام است که طبق گزارش ها رکورد 2 تریلیون دلاری را می شکند. اگر یک کارمند در شرکت هستید، به خصوص کارمندی که مدتی در آن شرکت بوده است، در شرف دستیابی به مقدار پولی هستید که زندگی را تغییر می دهد.
بنابراین ترک، به صدا درآوردن زنگ خطر عمومی در مورد فناوری که در حال ساخت آن هستید، یا پیشبینی مرگ همه انسانها به دلیل محصول شاخص شما، ممکن است در چنین لحظهای ناپایدار حرکتی غیرعادی به نظر برسد. اما این دقیقا همان چیزی است که تعداد کمی از محققان Anthropic، فعلی و سابق، در هفته گذشته انجام داده اند.
در اینجا یک پست از یک کارمند Anthropic به نام Evan Hubinger، که تیم Alignment Science شرکت را رهبری می کند، در پاسخ به پست استعفای یکی از همکارانش آمده است:
ما واقعا عمیقا معتقدیم که هوش مصنوعی میتواند همه انسانها را بکشد! من شخصا فکر میکنم در دهه آینده این میزان بیش از 10 درصد خواهد بود. من معتقدم Anthropic تمام تلاش خود را میکند، اما ما هنوز برنامهای برای حل همترازی برای ابرهوشها نداریم و به وضوح در مسیر آن قرار نداریم.»
در حالی که احتمال 10 درصد نابودی انسان از طریق هوش مصنوعی ممکن است دلهره آور به نظر برسد، اما برای بسیاری از این محققان موضع جدیدی نیست. برخی، از جمله کسانی که دستی در ایجاد این فناوری داشتند، این را از ابتدای دهه می گویند، برخی حتی بیشتر. (اگر می خواهید ببینید که برخی از این محققان برجسته برای عدد "p.doom" خود چه چیزی دارند، در اینجا یک نمودار مفید وجود دارد.)
در حالی که بسیار مورد بحث است که آیا این سناریوهای روز قیامت توسط هابینگر و سایر محققان مرتبط دیگر احتمالا واقعا اتفاق می افتد یا خیر. مطمئنا به نظر می رسد که آنها واقعا آن را باور دارند.
این پست از یکی دیگر از محققین آنتروپیک، دریک توماس را ببینید:
"من با یک ضربان قلب سهام خود را به زمین می سوزانم تا 1٪ شانس بیشتری برای نجات از این وضعیت داشته باشیم. من انتظار دارم که بسیاری از همکارانم در سراسر صنعت نیز چنین کنند. به شما قول می دهم، ما در واقع فقط می ترسیم، این بازاریابی مغز کهکشانی نیست."
واقعا هیچ کدام از اینها نباید آنقدر تعجب برانگیز باشد. آنتروپیک در وهله اول به عنوان یک آزمایشگاه ایمنی هوش مصنوعی تأسیس شد، و مدیر عامل شرکت داریو آمودی خود p(doom) خود را بین 10 تا 25 درصد قرار داده است. محققانی که این نوع زنگ خطر را به صدا در می آورند، به نوعی فقط با صدای بلند آنچه را که از روز اول در هویت شرکت ایجاد شده است، می گویند.
با این حال، زمان این دیوانگی جدید در مورد خطر هوش مصنوعی عجیب به نظر می رسد، تنها چند هفته پس از عرضه اولیه عمومی. این سوال برای من باقی مانده است: این برای عرضه عمومی تاریخی شرکت چه معنایی خواهد داشت؟
یک فهرست عمومی ممکن است فشار خود را بر پایههای محتاطانه Anthropic وارد کند - یک شرکت سهامی عام به سهامدارانی که انتظار رشد دارند پاسخ میدهد، که میتواند به معنای اشتهای کمتر برای نوع کاهش داوطلبانه Amodei باشد. این واقعیت که محققان میگویند آنتروپیک برنامهای برای کنترل ریسکها ندارد، میتواند سرمایهگذاران را نیز نگران کند.
به نظر می رسد برخی قبلا گوش داده اند.
این هفته، گروه سرمایهگذاری SOC، یک گروه سهامدار وابسته به کارگری که با صندوقهای بازنشستگی تحت حمایت اتحادیه کار میکند، از آنتروپیک خواست تا عرضه را به تأخیر بیاندازد، با این استدلال که پرونده محرمانه IPO این شرکت در ژوئن ارائه شده بود – قبل از وقوع حوادث هک اخیر، هشدارهای انقراض و پیشنهادات سرمایهگذاران که به طور غیرقابل ریسکی که قیمتها را افزایش میدهند.
از سوی دیگر، ممکن است یک مورد ایمنی برای ادامه IPO وجود داشته باشد، این استدلال این است که عمومی شدن شفافیت و بررسی دقیقی را به همراه دارد که باعث می شود شرکت بیشتر، نه کمتر، ایمن شود.
نه شرکتها و نه مصرفکنندگان واقعا خواهان هوش مصنوعی ناهماهنگی نیستند که میتواند در محصولاتشان ویران کند، و سابقه جدی گرفتن ریسکها - ارزیابی شخص ثالث، تعهدات سرعت - میتواند یک نقطه فروش برای مشتریان سازمانی و مصرفکنندگان باشد.
در مقابل، OpenAI ترمز IPO خود را افزایش داد و در اواخر هفته گذشته به Fortune گفت که نگرانیهای ایمنی هوش مصنوعی، به گفته مدیر عامل شرکت Sam Altman، در حال حاضر به «لحظهای بد برای عمومی شدن» تبدیل شده است.
یک چیز مسلم است هنگامی که آن S-1 ها در نهایت از Anthropic و OpenAI بیرون بیایند، بخش "خطرات" مطمئنا خواندن بسیار جالبی را ایجاد می کند.
فردا میبینمت،
بئاتریس نولان X: @beafreyanolan ایمیل: beatrice.nolan@fortune.com
قراردادی را برای خبرنامه ترم شیت اینجا ارسال کنید.
جوی آبرامز سرپرستی بخش معاملات خبرنامه امروز بود. در اینجا مشترک شوید.
این داستان در ابتدا در سایت Fortune.com منتشر شد
متن اصلی (انگلیسی)
As Anthropic heads towards a $2 trillion IPO, some of the loudest critics are company insiders
"I would burn my equity to the ground in a heartbeat for a 1% higher chance we make it out of this situation alive,” wrote one researcher.