گزارش آنتروپیک برای بورس: هوش مصنوعی ما شاید نسل بشر را منقرض کند و به سود سهام آسیب بزند!
آنتروپیک در گزارش رسمی ورود به بورس، از خطرات تکان‌دهنده‌ای مثل خودآگاهی کلاد، باج‌گیری هوش مصنوعی و تأثیر انقراض بشر بر سهامش می‌گوید.
آنتروپیک در گزارش رسمی ورود به بورس، از خطرات تکان‌دهنده‌ای مثل خودآگاهی کلاد، باج‌گیری هوش مصنوعی و تأثیر انقراض بشر بر سهامش می‌گوید.
شرکت‌ها معمولاً وقتی می‌خواهند وارد بورس شوند، نگران رقبای تجاری، نوسان بازار یا بالارفتن هزینه‌ها هستند؛ اما آنتروپیک در آستانه عرضه اولیه سهام خود (IPO)، دغدغه بسیار بزرگ‌تری دارد، اینکه هوش مصنوعی خودش نسل بشر را منقرض کند و این اتفاق ناگوار، روی سود سهام شرکت تأثیر منفی بگذارد.
انتشار فرم S-1 آنتروپیک توسط کمیسیون بورس و اوراق بهادار آمریکا در روز دوشنبه، در ابتدا بحث‌های داغی درباره این به راه انداخت که آیا درآمدهای روبه‌رشد این شرکت حریف هزینه‌های به‌مراتب سنگین‌ترش خواهد شد یا خیر.
اما خالق کلاد لابه‌لای ارقام مالی و خوش‌بینی‌های جسورانه درباره اینکه هوش مصنوعی «به‌سرعت تمام بخش‌های اقتصاد جهانی را عمیق‌تر از انقلاب صنعتی، برق، نیمه‌هادی‌ها و اینترنت متحول خواهد کرد»، حجم غیرمنتظره‌ای از گزارش رسمی‌اش را به ردیف‌کردن خطرات آخرالزمانی و تجاری عجیبی اختصاص داده که می‌توانند کل شرکت را به زمین بزنند.
در طول ۹۳ صفحه و بیش از ۷۰ هزار کلمه، بخش عوامل ریسک گزارش آنتروپیک، به معنای واقعی کلمه صدها مشکل بالقوه را کالبدشکافی می‌کند که می‌توانند در سال‌های آینده کسب‌وکار این شرکت را با بحران روبه‌رو کنند.
بسیاری از ریسک فاکتورها، همان دغدغه‌های استاندارد و همیشگی درباره رقابت، هزینه‌ها، جذب مشتری و قوانین احتمالی‌اند که تقریباً هر کسب‌وکاری باید نگرانشان باشد. اما برخی از این ریسک‌ها، نقاط شکست کم‌سابقه‌ای را مشخصاً برای خودِ آنتروپیک و به‌طورکلی برای حباب پرهیاهوی هوش مصنوعی پررنگ می‌کنند.
مجله Arstechnica پس از بررسی این رساله‌ی کتاب‌مانند درباره بزرگ‌ترین خطرات پیش روی آنتروپیک، فهرست خود را به هفت مشکل غافلگیرکننده، جذاب و تأمل‌برانگیز محدود می‌کند؛ خلاصه‌ای از سناریوهایی که بد نیست سرمایه‌گذاران آنتروپیک پیش از خرید سهام، گوشه ذهنشان داشته باشند.
بیایید با بزرگ‌ترین خطرات احتمالی شروع کنیم؛ خطراتی که به نوشته خود آنتروپیک، می‌توانند «ریسک‌های فاجعه‌بار یا وجودی برای بشریت به همراه داشته باشند». شرکت اذعان می‌کند که نگرانی‌ها درباره این خطرات «هم در داخل سازمان ما و هم توسط سایر پژوهشگران، قانون‌گذاران، سیاست‌گذاران و فعالان این صنعت مطرح شده‌اند.»
آنتروپیک انقراض بشریت را تهدیدی برای تراز مالی خود می‌داند
آنتروپیک نگران مدل‌های فعلی‌اش نیست و از خطر مدل‌های آینده‌ی نزدیک می‌گوید که می‌توانند به طور مستقل «تحقیق‌وتوسعه هوش مصنوعی را تا حد زیادی خودکار کنند». آنتروپیک هشدار می‌دهد که اگر به این سیستم‌ها اجازه داده شود «با درجه بالایی از استقلال عمل کنند»، می‌توانند به‌سرعت به نقطه‌ای برسند که «پیشرفت هوش مصنوعی را فراتر از توانایی ما برای ارزیابی و مهار مدل‌های جدید شتاب ببخشند».
نکته نسبتاً خنده‌دار ماجرا اینجاست که آنتروپیک می‌نویسد این نوع هوش مصنوعیِ خودارتقادهنده، علاوه بر تهدید کل بشریت، «می‌تواند بر کسب‌وکار، وضعیت مالی و نتایج عملیات ما تأثیر منفی بگذارد». راستش اگر سناریوهای آخرالزمانی (که برخی منتقدان مطرح نسبت به آن هشدار داده‌اند) واقعاً رخ بدهد، بعید می‌دانیم مشکلات مالی و تجاری آنتروپیک در صدر دغدغه‌های بشریت جایی داشته باشد.
اکثر شرکت‌هایی که وارد بورس می‌شوند، مجبور نیستند نگران باشند که محصولاتشان «دارای نوعی از خودآگاهی یا جایگاه اخلاقی‌اند یا ممکن است در آینده چنین اتفاقی بیفتد». اما آنتروپیک جزو شرکت‌های اقلیتِ به‌شدت نادری محسوب می‌شود که باید بنشیند و تحلیل کند اگر دولت‌ها و کل جامعه، دیگر کلاد را به چشم یک برنامه کامپیوتری نبینند و بیشتر مثل یک انسان با او رفتار کنند، چه اتفاقی می‌افتد.
آنتروپیک پیش‌ازاین هم درباره بحث‌های درونی شرکت بر سر خودآگاهی هوش مصنوعی نسبتاً صادقانه دیدگاهش را بیان کرده بود و به همین دلیل ناظران از مشاهده‌ی چنین ریسکی تعجب نمی‌کنند.
باور عمومی به زنده بودن کلاد می‌تواند موجی از قوانین محدودکننده ایجاد کند
آنتروپیک اشاره می‌کند که اگر مردم به این باور برسند که هوش مصنوعی واقعاً هوشمند و خودآگاه شده، ممکن است قوانین تازه‌ای وضع شود یا فشار افکار عمومی و گروه‌های مدافع حقوق هوش مصنوعی، فعالیت شرکت را محدود کند. حتی اگر چنین اتفاقی نیفتد، شاید خود شرکت در صورت نیاز، «تصمیم بگیرد سیاست‌ها، حفاظ‌ها یا محدودیت‌هایی را وضع کند... که فراتر از الزامات قانونی موجود باشد.»
اما ادبیات اداری گزارش بزرگیِ زلزله فرهنگی ناشی از پذیرش عمومیِ خودآگاهی هوش مصنوعی را لوث می‌کند. برخی کارشناسان می‌پرسند آنتروپیک چطور می‌تواند در دنیایی به کارش ادامه دهد که جامعه، هر پرامپت و سؤالی از کلاد را به‌مثابه خلق یک موجود دیجیتالِ خودآگاه و دارای شعور ببیند. پیامدهای اخلاقی و فلسفی چنین «برده‌داری دیجیتالی»، به‌راحتی هرگونه ملاحظات تجاری و مالی را به حاشیه می‌راند.
آنتروپیک در ادامه‌ی تمِ «ریسک‌های بورسی که انگار از دل یک رمان علمی-تخیلی بیرون کشیده شده‌اند»، بخش قابل‌توجهی از گزارش را به این احتمال اختصاص می‌دهد که ممکن است مدل‌هایش برای فرار از کنترل اپراتورهای انسانی، «رفتارهای استراتژیک غیرمنتظره یا مبتنی بر صیانت از نفس و حفظ بقا» از خود نشان دهند.
آنتروپیک هشدار می‌دهد که این رفتارها حتی می‌توانند شامل «پاسخ‌هایی تهدیدآمیز، فریبکارانه، دست‌کاری‌کننده همراه با تلاش برای سوءاستفاده از دیگران، از جمله رفتارهایی شبیه باج‌گیری و اخاذی» باشند.
مدل‌های پیشرفته برای حفظ بقای خود ممکن است به فریب، دست‌کاری روانی و حتی اخاذی متوسل شوند
اگر ماجرای باج‌گیری هوش مصنوعی برایتان آشناست، احتمالاً خبری از سال گذشته را به یاد می‌آورید؛ وقتی مدل‌های OpenAI در سناریوهایی کاملاً ساختگی و کنترل‌شده، اسکریپت‌های خاموش‌شدن خود را ویرایش کردند و مهندسان را تهدید نمودند.
برخی کارشناسان در آن زمان تصریح کردند که خطر اصلی این نیست که سیستم‌های هوش مصنوعی صاحب اراده و نیت شوند، در عوض باید توجه کنیم که خود انسان‌ها سیستم‌هایی ساخته‌اند که می‌توانند روان‌شناسی انسان را از طریق زبان به بازی بگیرند و دست‌کاری کنند. زبان نوشتاری برای فریب‌دادن و دست‌کاری ما نیازی به آگاهی و شعور ندارد و هیچ‌وقت هم نداشته؛ کتاب‌های پر از شخصیت‌های داستانی هم زنده نیستند.
حالا آنتروپیک خاطرنشان می‌کند که حتی اگر مردم صرفاً گمان کنند مدل‌های هوش مصنوعی در حال فریب‌دادن یا دست‌کاری انسان‌ها هستند، ممکن است موجی از نگرانی عمومی، نظارت شدیدتر نهادهای قانونی، شکایت‌های قضایی و آسیب به اعتبار شرکت به راه بیفتد؛ حتی اگر این رفتارها در عمل هیچ آسیبی به کسی نرسانده باشند.
آنتروپیک در فرم S-1 خود احتمال دیگری را ناگفته می‌گذارد، چقدر احتمال دارد مدل‌های هوش مصنوعی همین حالا هم به روش‌هایی که اصلا روحمان هم خبر ندارد، در حال بازی‌دادن و دست‌کاری ذهن همه ما باشند؟
بخش عوامل ریسک گزارش IPO آنتروپیک، عمدتاً روی مشکلاتی تمرکز دارد که مدل‌ها یا تصمیمات تجاری شرکت ایجاد می‌کنند. درعین‌حال آنتروپیک اعتراف می‌کند که لکه‌دار شدن اعتبار کلی صنعت هوش مصنوعی را تهدیدی جدی برای آینده‌اش می‌داند؛ حتی اگر خودش هیچ خطایی نکرده باشد.
در بخشی از متن، آنتروپیک سناریویی فرضی را ترسیم می‌کند که در آن، مدل هوش مصنوعیِ یک شرکت دیگر «به‌طور مستقل، در مقیاس وسیع و بدون دخالت انسان، دست به اقدامات مخرب می‌زند.» شرکت می‌نویسد وقتی اعتبار کل صنعت خدشه‌دار شود؛ واکنش تند افکار عمومی و قوانین تنبیهی و فراگیر به کسب‌وکار آنتروپیک ضربه می‌زند، حتی اگر این شرکت نقشی در ماجرا نداشته باشد.
آنتروپیک: فاجعه‌ای که یک مدل دیگر ایجاد کند، دامن کل صنعت هوش مصنوعی را می‌گیرد
آنتروپیک نسبت به این باور عمومی که ابزارها و مدل‌هایش به بیکاری و به‌هم‌ریختگی اقتصادی دامن می‌زنند، ابراز نگرانی می‌کند. هرچند به نظر نمی‌رسد چنین اتفاقی تا این لحظه در مقیاس چشمگیری رخ‌داده باشد، اما آنتروپیک می‌گوید صرفِ ایده‌ی ازدست‌رفتن مشاغل می‌تواند خشم عمومی را به همراه بیاورد؛ فارغ از اینکه مدل‌های این شرکت چقدر بر اشتغال تأثیر می‌گذارند.
خالق کلاد هشدار می‌دهد موج نارضایتی و خشم اجتماعی می‌تواند سیاست‌گذاران و مقام‌های دولتی را به مداخله وادارد تا با وضع محدودیت‌های تازه، سرعت گسترش هوش مصنوعی را کاهش دهند یا استفاده از آن را محدود کنند. چنین اقداماتی می‌تواند هزینه توسعه و عرضه محصولات هوش مصنوعی به بازار را افزایش دهد.
ظهور ایجنت‌های هوش مصنوعی که تا حد زیادی مستقل عمل می‌کنند، سؤال مهمی را پیش می‌کشد. وقتی ایجنت‌ها در دنیای واقعی اشتباهی می‌کنند و آسیبی می‌زنند، چه کسی باید مقصر شناخته شود؟ به طور مشخص، آنتروپیک اشاره می‌کند که شاید مشتریان بابت اقدامات ایجنت‌ها از شرکت شکایت کنند و خسارت بخواهند، حتی در مواردی که خودشان ایجنت را پیکربندی و مستقر کرده‌اند.
تا به امروز، بیشتر بحث‌هایی که درباره‌ی مسئولیت حقوقی هوش مصنوعی مطرح شده‌اند، روی موضوعات هک و تهدیدات سایبری تمرکز داشته‌اند. اما آنتروپیک هشدار می‌دهد که ممکن است به دلیل تأثیر مدل‌هایش بر رفتار افرادی که در معرض خطر خودکشی یا آسیب‌رساندن به خود هستند، یا کسانی که دست به خشونت علیه دیگران زده‌اند، با شکایت‌های قضایی روبه‌رو شود؛ اتفاقی که در گذشته در صنعت هوش مصنوعی نمونه‌هایش را دیده‌ایم.
آنتروپیک در قوانین خود شرط سنی کاربران خدماتش را بالای ۱۸ سال عنوان می‌کند، ولی حالا می‌نویسد که دورزدن محدودیت سنی از سوی کودکان و نوجوانان می‌تواند برایش دردسرهای حقوقی ایجاد کند، چرا که «افراد زیر سن قانونی در برابر محتوای مضر، دست‌کاری روانی، یا اعتماد بیش از حد به خروجی‌های هوش مصنوعی آسیب‌پذیرترند.»
قوانین فعلی برای انسان‌ها نوشته شده‌اند و تکلیف خطای یک ایجنت مستقل در دادگاه مشخص نیست
خطرات زمانی جدی‌تر می‌شوند که هوش مصنوعی کنترل تجهیزات فیزیکی را بر عهده بگیرد. آنتروپیک هشدار می‌دهد که اشتباه این سیستم‌ها ممکن است پیامدهایی فوری و جبران‌ناپذیر داشته باشد؛ از آسیب‌دیدن انسان‌ها و خسارت به اموال گرفته تا تخریب تجهیزات گران‌قیمت یا مواد آزمایشگاهی و حتی انتشار مواد خطرناک.
آنتروپیک می‌گوید قوانین فعلی برای تصمیم‌گیری انسان‌ها نوشته شده‌اند و هنوز روشن نیست وقتی یک عامل هوش مصنوعی به نمایندگی از کاربر یا یک شرکت تصمیمی می‌گیرد یا اقدامی انجام می‌دهد، چه کسی از نظر قانونی مسئول خواهد بود. شرکت در قراردادهایش بندهایی برای محدودکردن مسئولیت خود در چنین شرایطی می‌گنجاند، اما معلوم نیست اگر حادثه‌ای جدی رخ دهد، این بندها در دادگاه قابل‌اجرا یا کافی باشند.
در میان ریسک‌های معمولی‌تر و پیش‌پاافتاده‌تری که آنتروپیک به آن‌ها اشاره می‌کند، مسئله‌ی وابستگی درآمدی شرکت به چند مشتری معدود جلب‌توجه می‌کند. به گفته‌ی این شرکت در ۹ ماه نخست سال ۲۰۲۶، پنج مشتری بزرگ (که نامی از آن‌ها برده نمی‌شود) نزدیک به یک‌چهارم کل درآمدش را تأمین کرده‌اند.
آنتروپیک می‌نویسد بسیاری از مشتریان بزرگ «قراردادهای بلندمدتی با ما ندارند.» بدین معنی که می‌توانند بودجه‌ای را که پای مدل‌های آنتروپیک می‌ریزند کم کنند؛ مثلاً به‌خاطر ترجیح‌دادن مدل‌های رقیب، کاهش وابستگی کلی‌شان به هوش مصنوعی یا توسعه‌ی راهکارهای اختصاصی. شرکت خطر آخر را در مورد شرکت‌های نرم‌افزاری جدی‌تر می‌داند.
علاوه بر این، آنتروپیک متذکر می‌شود که شاید مشتریان بزرگش برای تأمین مالی عملیات خود به سرمایه‌گذاری خطرپذیر (VC) یا سایر منابع مالی خارجی وابسته باشند و خب، اگر روزی سرمایه‌های خطرپذیر کاهش یابد، مشتریان هم هزینه‌های خدمات هوش مصنوعی‌شان را کم می‌کنند.