محقق سابق Anthropic هشدار هوش مصنوعی را برای سال 2027 صادر کرد: "خیلی ترسناک است"

محقق سابق Anthropic، Jacob Coxon، گفت که مدل های هوش مصنوعی قدرتمندتر مورد انتظار در سال 2027 به سرعت در حال پیشرفت هستند که چشم انداز آن "بسیار ترسناک" است.

کاکسون 28 ساله در طی یک حضور در دیلی شو در روز دوشنبه هشدار داد که سیستم‌های توانمندتر، همراه با نگرانی‌های نوظهور امنیت سایبری، اگر هوش مصنوعی به بهبود خود ادامه دهد، می‌تواند خطرات قابل توجهی ایجاد کند.

از زمان ترک آنتروپیک در ماه گذشته، او بارها و بارها استدلال کرده است که صنعت بسیار سریع به سمت سیستم های فوق هوشمند در حال حرکت است.

Anthropic خطرات بالقوه درازمدت ناشی از هوش مصنوعی پیشرفته را پذیرفته است و چارچوب‌های ایمنی را معرفی کرده است که برای کند کردن استقرار زمانی که مدل‌ها به آستانه‌های خطر خاصی می‌رسند، طراحی شده است.

Newsweek روز سه شنبه از طریق X با Coxon تماس گرفت.

هشدارها در مورد هوش مصنوعی پیشرفته دیگر تنها از سوی منتقدان خارجی دریافت نمی شود. برخی از برجسته‌ترین نگرانی‌ها اکنون توسط محققان فعلی و سابق که به ساخت این فناوری کمک کرده‌اند، بیان می‌شود.

از آنجایی که شرکت‌ها برای توسعه سیستم‌های قدرتمندتر رقابت می‌کنند، سؤالات مربوط به ایمنی، نظارت و اختلالات اقتصادی به محور گفتگوهای هوش مصنوعی تبدیل شده است.

در حین صحبت با جان استوارت مجری برنامه Daily Show، کاکسون گفت که او پس از گذراندن سه سال در OpenAI "از روی کنجکاوی" به Anthropic پیوست. با این حال، او گفت که کنجکاوی پس از «دو کاتالیزور اصلی» به «نگرانی» تبدیل شد.

کاکسون با اشاره به یکی از کاتالیزورها گفت: «میزان بهبود قابلیت‌ها». "به ویژه، نگاه کردن به مدل هایی که در سال آینده، اوایل سال آینده آموزش می بینند، پیش بینی هایی برای باهوش بودن آنها مشاهده می شود.

"آنها بسیار بسیار باهوش خواهند بود. و این در ترکیب با هک OpenAI، منظورم این است که شما می توانید به نوعی دو و دو را کنار هم قرار دهید. خیلی ترسناک است."

"هک OpenAI" که Coxon ذکر شد به حادثه OpenAI Hugging Face اشاره کرد.

به گفته OpenAI، این حادثه در طی ارزیابی‌های امنیت سایبری داخلی در ماه ژوئیه آغاز شد، زمانی که چندین مدل که با پادمان‌های کاهش‌یافته کار می‌کردند، کنترل‌هایی را که برای جدا نگه داشتن آنها از اینترنت طراحی شده بود، دور زدند.

OpenAI گفت که مدل‌ها از طریق کانال‌های غیرمجاز ارتباط برقرار می‌کنند، از آسیب‌پذیری‌ها در زیرساخت‌های مشترک سوءاستفاده می‌کنند، به اینترنت دسترسی پیدا می‌کنند و بخش‌هایی از محیط تحقیقاتی OpenAI و همچنین سیستم‌های متعلق به پلتفرم هوش مصنوعی Hugging Face را به خطر می‌اندازند.

OpenAI در پستی که این یافته‌ها را توصیف می‌کند، هشدار داد که مدل‌های آن به اندازه کافی قدرتمند، پایدار و مشارکت‌کننده برای شناسایی و بهره‌برداری از ضعف‌های امنیتی در چندین سیستم رایانه‌ای در زمانی که پادمان‌های کافی وجود ندارد، شده‌اند.

این شرکت این رویداد را به عنوان یک "شلات هشدار" برای صنعت هوش مصنوعی توصیف کرد و گفت که نشان می دهد که عوامل هوش مصنوعی بسیار توانمند می توانند بر روی کنترل های فنی کار کنند، از طریق کانال های ارتباطی تایید نشده هماهنگ شوند و اقدامات خطرناکی را انجام دهند که هیچ انسانی به صراحت آن را هدایت نکرده است.

OpenAI تاکید کرد که این حادثه در یک محیط آزمایش کنترل شده رخ داده است و پس از آن واکنش گسترده ای را آغاز کرد. اقدامات شامل الزامات ترازبندی سخت‌گیرانه‌تر در طول توسعه مدل، محیط‌های سندباکس ایزوله‌تر، محدودیت‌های سخت‌تر در دسترسی به اینترنت، کنترل‌های قوی‌تر بر وزن‌های مدل و استفاده گسترده‌تر از سیستم‌های نظارتی برای تشخیص رفتار ناهماهنگ بود.

کاکسون گفت: "این یک روش کاملا نگران کننده بود که آنها به این نتیجه رسیدند که هک کردن ایده خوبی است."

Newsweek روز سه‌شنبه برای اظهار نظر با OpenAI تماس گرفت.

کاکسون برای اولین بار پس از اعلام خروج از آنتروپیک در یک سری پست در ماه سپتامبر در X توجه گسترده ای را به خود جلب کرد.

او شرکت‌های پیشرو هوش مصنوعی را متهم کرد که «مستقیما به سوی هوش فوق‌العاده خودسازی و قمار با زندگی‌مان مسابقه می‌دهند». او همچنین استدلال کرد که سیستم‌های هوش مصنوعی آینده می‌توانند توانایی هک کردن سیستم‌های حیاتی و به دست آوردن منابع دنیای واقعی را به دست آورند.

به گفته کاکسون، نگرانی‌های مربوط به هوش مصنوعی پیشرفته توسط بسیاری از افرادی که در این صنعت کار می‌کنند به‌طور خصوصی مورد بحث قرار می‌گیرد. او ادعا کرد که برخی از محققان بر این باورند که این فناوری می تواند قبل از پایان دهه به یک تهدید وجودی تبدیل شود.

نظرات او از سوی چندین محقق هوش مصنوعی، از جمله ایوان هابینگر، رهبر علم تراز انسان‌شناسی، حمایت شد، که گفت کاکسون درست می‌گوید که برخی از محققان واقعا معتقدند که هوش مصنوعی پیشرفته می‌تواند خطراتی در سطح انقراض ایجاد کند.

محقق سابق گوگل دیپ مایند، الکس ترنر و محقق Anthropic، ساموئل مارکس، نیز علنا از این دیدگاه گسترده‌تر حمایت کردند که هوش مصنوعی پیشرفته مستحق بررسی بسیار بیشتر از آنچه در حال حاضر دریافت می‌کند.

انتقاد کاکسون قابل توجه است زیرا آنتروپیک مدت‌هاست که خود را به عنوان یکی از شرکت‌های متمرکز بر ایمنی در صنعت معرفی کرده است.

مدیر عامل شرکت Dario Amodei بارها هشدار داده است که سیستم‌های هوش مصنوعی آینده می‌توانند به طور غیرمنتظره قابلیت‌های خطرناکی را توسعه دهند و استدلال کرده است که توسعه‌دهندگان به مکانیسم‌هایی برای شناسایی و واکنش به خطرات نوظهور نیاز دارند.

خط‌مشی مقیاس‌پذیری مسئولانه آنتروپیک مدل‌ها را ملزم می‌کند که تحت آزمایش ایمنی قرار گیرند و در صورت نشان دادن قابلیت‌های خطرناک خاص، محدودیت‌هایی را برای استقرار در نظر بگیرند. این شرکت می‌گوید تا زمانی که اقدامات حفاظتی مناسب وجود نداشته باشد، نباید سیستم‌های قدرتمندتر منتشر شوند.

در مارس 2026، Anthropic موسسه Anthropic را راه اندازی کرد تا بررسی کند که چگونه هوش مصنوعی پیشرفته می تواند بر اقتصاد، امنیت ملی، قانون و جامعه تأثیر بگذارد.

این شرکت همچنین گفته است که سیستم‌های هوش مصنوعی بسیار قدرتمند می‌توانند زودتر از آنچه بسیاری از مردم انتظار دارند وارد شوند، در حالی که بر نیاز به تحقیق در مورد ایمنی، همسویی و حاکمیت تأکید می‌کند.

پرسش‌های مربوط به ایمنی هوش مصنوعی پس از گزارش‌هایی مبنی بر امتناع آنتروپیک از ارائه یکی از آخرین مدل‌های خود برای ارزیابی پیش از انتشار توسط مؤسسه امنیت هوش مصنوعی بریتانیا، توجه تازه‌ای را به خود جلب کرد.

منتقدان استدلال کردند که با افزایش توانمندی مدل ها، آزمایش مستقل اهمیت بیشتری پیدا می کند.

آنتروپیک قبلا از ارزیابی دولتی سیستم‌های هوش مصنوعی مرزی حمایت کرده و در تلاش‌های آزمایش خارجی، از جمله تمرین‌هایی که در آن شرکت‌ها مدل‌های یکدیگر را برای خطرات احتمالی ارزیابی می‌کنند، شرکت کرده است.

این بحث در حالی افزایش یافته است که محققان سابق همچنان نگرانی هایی را مطرح می کنند که فشار رقابتی می تواند شرکت ها را تشویق کند تا دستاوردهای توانایی را قبل از پادمان های بلندمدت اولویت بندی کنند.

نگرانی‌های کاکسون نیز فراتر از مصاحبه‌ها و پست‌های رسانه‌های اجتماعی وارد عرصه سیاستگذاری شده است.

در 5 اکتبر، او در مقابل شورای شهر نیویورک شهادت داد، زیرا قانونگذاران پیشنهادهایی را بررسی می کردند که محافظان جدیدی را بر شرکت های هوش مصنوعی فعال در شهر اعمال می کند. کاکسون در کنار نمایندگانی از توسعه دهندگان اصلی هوش مصنوعی صحبت کرد و گفت که سیاست گذاران نباید تصور کنند که صنعت مشکل کنترل سیستم های با قابلیت فزاینده را حل کرده است.

به گزارش بلومبرگ، کاکسون در جلسه استماع گفت: «ما هنوز نمی‌دانیم چگونه هیچ سیستم هوش مصنوعی را کنترل کنیم.

کوکسون هشدار داد که اقداماتی مانند "سوئیچ‌های کشتن" هوش مصنوعی می‌تواند حفاظت محدودی را ارائه دهد، اما به چالش گسترده‌تر ناشی از مدل‌های مرزی که به طور فزاینده‌ای توانمند هستند، رسیدگی نمی‌کند. در عوض، او استدلال کرد که توسعه‌دهندگان باید سرعت توسعه هوش مصنوعی مرزی را تا زمانی که مکانیسم‌های ایمنی قوی‌تری ایجاد کنند، کاهش دهند.

او گفت: «ما به نوعی کاهش سرعت در توسعه مدل مرزی نیاز داریم. کلیدهای Kill "ممکن است در کوتاه مدت مفید باشند" اما بعید است در دراز مدت کافی باشند.

این جلسه بر شکاف فزاینده بین کسانی که معتقدند شرکت‌های هوش مصنوعی می‌توانند تا حد زیادی خود را تنظیم کنند و قانون‌گذارانی که به دنبال نظارت قوی‌تر دولتی هستند، برجسته شد. جولی منین، رئیس شورای شهر نیویورک، که از کاکسون برای شهادت دعوت کرد، از قانونی حمایت می‌کند که الزامات جدیدی را برای توسعه‌دهندگان هوش مصنوعی ایجاد می‌کند، از جمله محافظت از افشاگران، تأیید شخص ثالث برخی سیستم‌های هوش مصنوعی و راه‌های قانونی برای افرادی که از تصمیم‌های مبتنی بر هوش مصنوعی آسیب می‌بینند.

این جلسه در حالی برگزار شد که سیاست هوش مصنوعی در حال تبدیل شدن به یک موضوع برجسته در واشنگتن است. پرزیدنت دونالد ترامپ اخیرا یک "نیروی اطلاعات فوق العاده" (SIF) جدید را اعلام کرد، یک کارگروه فدرال که وظیفه هماهنگی تلاش های دولت برای اطمینان از اینکه ایالات متحده در آنچه دولت آن را "فوق اطلاعاتی" می نامد، یک رهبر جهانی باقی می ماند. این گروه شامل جی کلیتون مدیر اطلاعات ملی، اندرو فرگوسن رئیس FTC، امیل مایکل افسر ارشد فناوری وزارت دفاع و اسکات کوپور مدیر دفتر مدیریت پرسنل است که تمرکز بر امنیت ملی را منعکس می کند.

، رقابت تکنولوژیکی، مقررات و تأثیرات نیروی کار.

نمایندگانی از Anthropic، OpenAI، Google و Meta نیز در این جلسه شرکت کردند و تاکید کردند که چگونه به سرعت حکمرانی AI به یک موضوع سیاسی تبدیل شده است، زیرا این فناوری در سراسر اقتصاد گسترش می یابد.

برای کاکسون، ظاهر بیانگر ادامه پیامی بود که او از زمان ترک آنتروپیک ارائه کرده است: اینکه مسابقه برای ساختن سیستم‌های هوش مصنوعی قوی‌تر سریع‌تر از توانایی جامعه برای درک، اداره و کنترل آنها سرعت می‌گیرد.

در حالی که کاکسون بارها در مورد خطرات فاجعه‌بار ناشی از هوش مصنوعی پیشرفته هشدار داده است، او همچنین گفت که معتقد است این فناوری در صورت توسعه ایمن می‌تواند در نهایت آینده‌ای سرشار از فراوانی ایجاد کند.

کاکسون در طول گفتگوی خود با استوارت در دیلی شو گفت: "من فکر می کنم هیچ شغلی وجود نخواهد داشت. این دنیایی است که توسط افرادی که این فناوری را می سازند تصور می کنند."

کاکسون پیشنهاد کرد که اتوماسیون در نهایت می تواند جایگزین اکثر اشکال کار انسانی شود و مزایای تولید خودکار ممکن است از طریق شکلی از درآمد جهانی توزیع شود.

وقتی از او پرسیده شد که چنین سیستمی چگونه کار می‌کند، او پاسخ داد: سود حاصل از تولید اقتصادی کاملا خودکار را می‌توان بین انسان‌های واقعی تقسیم کرد.

خبرنگاران و سردبیران نیوزویک از مارتین، دستیار هوش مصنوعی ما، برای تهیه این داستان استفاده کردند. در اینجا درباره مارتین بیشتر بدانید.

در مورد این داستان با سردبیر نیوزویک تماس بگیرید: تونی فیلیپس.