بحث ایمنی هوش مصنوعی طرح را از دست داده است. ما از 10 کارشناس پرسیدیم کابوس های واقعی چیست؟

کنجکاوی به زودی جایگزین تحریک زانوهای من شد. تابستان 2026 نقطه عطفی آشکار در روایت هوش مصنوعی بود. کمتر از چهار سال پس از راه اندازی ChatGPT، نرم افزار OpenAI از یک محیط آزمایشی ظاهرا ایمن خارج شد و به یک پلتفرم منبع باز اصلی، Hugging Face هک شد. به این بخش‌های نرم‌افزار - عوامل هوش مصنوعی - ویژگی‌های انسانی اختصاص داده شده است: آنها «سرکش شده‌اند»، «رفتار بد» نشان داده‌اند، «فریب خورده‌اند». اندکی بعد، محققان سابق و فعلی Anthropic پیشنهاد کردند که هوش مصنوعی پیشرفته ممکن است همه ما را در دهه آینده بکشد. آیا هیچ کدام از اینها واقعی است؟ از یک طرف، از روی میز من به عنوان یک شرکت دره سیلیکون

در پاسخ، من اغلب می شنوم که کارگران آزمایشگاه های هوش مصنوعی از پیشرفت هایی که می بینند حیرت زده می شوند. از سوی دیگر، پایان بشریت بسیار دور از ذهن به نظر می رسد. در میان گفتمان هذلولی، به نظرات چه کسی می توان اعتماد کرد؟ بنابراین WIRED شروع به جمع‌آوری راهنمای ایمنی هوش مصنوعی کرد - مجموعه‌ای از ایده‌ها که تفکر جمعی ما را در مورد اینکه ایمنی واقعا به چه معناست و چگونه باید کار کند، دوباره سیم‌کشی می‌کند.

من با گروهی از متخصصان در سراسر رشته ها صحبت کردم و از هر یک از آنها پرسیدم: آیا دنیا به پایان می رسد؟ هنگامی که این موضوع پوشش داده شد، آنها را در مورد بزرگترین خطراتی که فکر می کنند با آن روبرو هستیم کباب کردم. معلوم شد تقریبا هیچ کس پولیانیش نبود. تقریبا هرکسی که با آنها صحبت کردم نگرانی واقعی خود را در مورد تهدید حملات سایبری و بیولوژیکی ابراز کردند. یکی از کارشناسانی که خطرات هوش مصنوعی در عملیات های هسته ای را مطالعه می کند، گفت که از سرعت استفاده از سیستم های هوش مصنوعی مستعد خطا در دفاع شگفت زده شده است.

حملات مجهز به هوش مصنوعی در این مناطق اگر کاملا آخرالزمانی نباشد، می‌توانند فاجعه‌بار باشند. اکثر اعضای هیئت در مورد هرگونه توقف در توسعه تردید داشتند: تقریبا همه آنها موافق بودند که با شرکت های بزرگ هوش مصنوعی که به شدت به قطارهای سرمایه داری بسته شده اند، مکث طولانی نخواهد بود. «دموکراسی» و «حکومت» اغلب مطرح می‌شوند – یا ضد دموکراسی، زیرا بیش از یک نفر پیشنهاد می‌کنند که مسیر فعلی هوش مصنوعی ظالمانه است.

قانونگذاران نقش بزرگی دارند، اما بسیاری از منابع من فکر می‌کنند که دولت‌ها خیلی کند خواهند بود. یکی از فن‌آوران برجسته گفت: نگاه کردن به دادگاه‌های ایالات متحده به عنوان داوران ایمنی جهانی هوش مصنوعی تقریبا پوچ است. با این حال، یوشوا بنجیو، دانشمند مشهور کامپیوتر، از مردم خواست که بر سیاستمداران فشار بیاورند و به من اضافه کرد: "این هم وظیفه شماست." بنابراین، چه چیزی – یا چه کسی – ما را از هوش مصنوعی در امان نگه می‌دارد؟ به دنبال بازیابی ایمان به انسانیت، با یک الهی دان تماس گرفتم که اغلب با آزمایشگاه های هوش مصنوعی ملاقات می کند.

او گفت اگر حتی احتمال کمی وجود دارد که کنترل نهادهای اساسی را که جامعه را تحت الشعاع قرار می دهند از دست بدهیم، پس باید بر خنثی کردن آن تمرکز کنیم. اما هوش مصنوعی سوالات دیگری را نیز مطرح می کند. هوشیار بودن به چه معناست؟ برای ایجاد؟ برای ارتباط با افراد دیگر؟ او گفت که پاسخ‌ها «کاملا قابل قبول هستند». نگرانی من هنوز ادامه دارد، اما با دانستن این موضوع که شرکت ها نمی توانند تمام موقعیت های آینده را دنبال کنند، کمی احساس آرامش کردم.

سوالات بزرگتری که بشریت با آن روبروست در دست همه ماست. بزرگترین نگرانی: فاجعه هسته ای من سخت تلاش کرده‌ام تا جامعه هسته‌ای را در مورد خطرات و عدم قابلیت اطمینان سیستم‌های هوش مصنوعی آموزش دهم، و از تمایل بسیاری از افراد در این بخش برای ادغام این مدل‌ها در جریان کاری خود، در عملیات هسته‌ای نگران هستم. من فکر می کنم این فوق العاده فوری است.

من یک محکوم به فنا نیستم، اما برای من، اگر این مدل‌های هوش مصنوعی وارد عملیات سیستم‌های هسته‌ای شوند، سیستم فوق‌العاده معیوب و غیرقابل اعتمادی را معرفی خواهیم کرد که می‌تواند منجر به شکست‌های فاجعه‌بار شود. خطرناک ترین خطر: انقراض به عنوان مهندسان ایمنی واقعی، ما با آن درگیر نیستیم زیرا هیچ عددی برای حمایت از آن وجود ندارد. این یک روش بسیار سرد برای بیان آن است، اما وقتی در مورد اینکه چقدر ایمن است «به اندازه کافی ایمن» صحبت می کنیم، در حال بررسی تعداد افرادی هستیم که ممکن است بمیرند. یک علم کامل پشت آن نهفته است. ادعاهای ما باید قابل جعل و تأیید باشد.

شما نمی توانید فقط بگویید: "انسان ها 10 سال دیگر منقرض خواهند شد. باور کنید. ممکن است 10 درصد احتمال باشد، ممکن است 25 درصد باشد." مردم چگونه باید در مورد ایمنی هوش مصنوعی فکر کنند؟ برخی از مقایسه‌هایی که مردم بین هوش مصنوعی و هسته‌ای انجام می‌دهند کاملا ناامیدکننده هستند. علیرغم مقایسه مداوم هوش مصنوعی با هسته ای، آنها تکنیک های استاندارد ارزیابی ریسک را به عنوان کافی برای کنترل هوش مصنوعی انکار می کنند. من یک مقاله کامل در این مورد نوشتم. بخشی از این حوزه ارزیابی ریسک از پروژه منهتن متولد شد.

دانشمندان بسیار نگران بودند و استانداردهای دقیقی را در مورد سیستم ها ایجاد کردند تا آسیب به زندگی انسان، محیط زیست و حتی دارایی های مالی و امنیت ملی را محدود کنند. آنها روش هایی را برای ارزیابی ایمنی ارائه کردند که در نهایت بر اساس پاسخ به یک سوال دموکراتیک بود: چقدر ایمن به اندازه کافی ایمن است؟ این سوالی است که هر مهندس ایمنی باید بپرسد و هسته اصلی هر چیزی است که در ادامه می آید. در عوض، چیزی که امروز شاهد آن هستیم این است که آزمایشگاه‌های بزرگ هوش مصنوعی با استفاده از اصطلاحات در مورد این آستانه‌های ایمنی دوباره مذاکره می‌کنند، به این بهانه که ایمنی در عوض باید اب باشد.

این نگرانی غیرمستند، غیرعلمی و فرضی را از بین ببرید. ما مهندسان هوش مصنوعی داریم که به ما می گویند، نه، نه، نه، این مهم نیست. ما باید تعیین کنیم که ایمنی هوش مصنوعی چیست. می‌توانیم آن آستانه‌ها را ترسیم کنیم. تبدیل به یک بحث مذهبی شده است. و من آن را بسیار ضد دموکراتیک می دانم. بزرگترین نگرانی: امنیت سایبری در درازمدت، من محتاطانه خوشبین هستم که این فناوری به مردم این امکان را می‌دهد که دفاع سایبری خود را با سرعت بیشتری نسبت به مهاجمان از سیستم‌ها بهبود بخشند. اما حداقل برای چند سال آینده زیرساخت های ما دفاع جدیدی را اتخاذ نخواهند کرد.

این فناوری ممکن است به سمت مهاجمان متمایل شود. ما همچنین شاهد به کارگیری بی‌احتیاطی هوش مصنوعی در استفاده نظامی بوده‌ایم. بیش از حد بیش از حد خطر: اطلاعات فراری این تصور کلی و کلی وجود دارد که هوشمند شدن سیستم‌های هوش مصنوعی به خودی خود یک خطر است، برخلاف بسیاری از خطرات خاص که باید نگران آن باشیم. من این تصور را قبول ندارم که بهبود کلی در هوش مصنوعی یک آسیب اجتناب ناپذیر پایین دستی دارد.

بهتر است ابتدا مشخص کنید که نگران چه خطرات پایین دستی هستید، زیرا دفاعی که ارائه می کنید متفاوت خواهد بود. به عنوان مثال، امنیت سایبری دارای فرهنگ تثبیت شده ای در خصوص پاداش های باگ است. اگر شخصی یک بردار حمله پیدا کند یا یک سیستم را هک کند، برای افشای آن پول زیادی دریافت می کند. در چند سال آینده ممکن است به دفاع در برابر خطرات امنیت زیستی نیاز داشته باشیم.

ما باید به غربالگری فکر کنیم که افراد مجاز به سفارش چه چیزی هستند، مثلا اگر قطعات DNA را سفارش می دهند، تا از آنها برای آسیب استفاده نشود. هر چند وقت یکبار دیدگاه های شما با دیدگاه های افراد اطرافتان در تضاد است؟ اغلب این دیدگاه ها در دو سطح هستند: قرار است با هوش مصنوعی چه اتفاقی بیفتد، و ما در مورد آن چه خواهیم کرد؟ در مورد سوال اول، اختلاف نظر زیادی وجود دارد. به عنوان مثال، نویسندگان همکار هوش مصنوعی 2027 انتظار دارند این میزان تغییر غیرقابل درک و تقریبا غیرقابل توصیف وجود داشته باشد.

در حالی که من فکر می کنم تاثیر آن چشمگیر خواهد بود، اما نه چندان چشمگیر. اما در مورد این سوال که چه کاری باید انجام شود، اکثریت موافق هستند که نیاز به شفافیت از سوی شرکت‌های هوش مصنوعی وجود دارد و آنها باید با مسئولیت‌هایی در زمان اشتباه مواجه شوند. ما همچنین در مورد نیاز به حمایت از افشاگرانی که از درون شرکت‌های هوش مصنوعی کار می‌کنند موافق هستیم. از دیدگاه من، این فقط یک سیاست صنعتی خوب است. آیا تغییراتی در زندگی خود در پاسخ به خطرات هوش مصنوعی ایجاد کرده اید؟ من سعی کرده‌ام از برنامه‌هایی استفاده نکنم که فکر نمی‌کنم توسعه‌دهندگان زمان و تلاش زیادی برای ارتقای دفاع سایبری صرف کرده‌اند.

دارد بزرگترین نگرانی: تهدیدات شیمیایی، بیولوژیکی و رادیولوژیکی پاتوژن بیولوژیکی جدیدی که شخصی منتشر می کند، جوان 17 ساله ای که به یک مدل هوش مصنوعی بسیار توانا دست پیدا می کند و یک حمله سایبری را انجام می دهد که اینترنت را از بین می برد، بورس اوراق بهادار را قطع می کند، و ... خوب، فقط از آنجا ادامه دهید. لازم نیست تخیل روشنی داشته باشید. اگر پاسخ فلسفی من را می‌خواهید یا به نوعی تحریک‌کننده هستید، می‌توانم بگویم که همه این افراد با قرار دادن این ابزارها در دستان هر چه بیشتر مردم، مژده دموکراتیزه کردن هوش مصنوعی را می‌خوانند.

"دموکراتیزه کردن هوش مصنوعی" بسیار نگران کننده به نظر می رسد. شما این را در مورد مواد هسته ای نمی گویید. بیایید مطمئن باشیم که همه می توانند با پلوتونیوم و اورانیوم بازی کنند زیرا ممکن است چیزهای عالی از آن بیرون بیاید. وقتی برادران فناوری می‌گویند «دموکراسی‌سازی»، به معنای دسترسی است، اما اگر دو ثانیه به معنای دموکراسی فکر کردید، این حکومت قانون است، حکمرانی.

بخش حکمرانی از هوش مصنوعی لعنتی دموکراتیک شما کجاست؟ بیش از حد خطر: Skynet هیچ بخشی از من وجود ندارد که بخواهد این فکر را به ذهن متبادر کند که هوش مصنوعی ممکن است آگاه یا باهوش باشد و در نتیجه مستحق حقوق یا جایگاه اخلاقی یا موقعیت باشد. آیا هوش مصنوعی خطر وجودی دارد؟ منظورتان انقراض واقعی نسل بشر است؟ من آن را بسیار غیرقابل قبول می دانم.

اگر منظورتان این است که "آیا واقعا ممکن است چیزهای فاجعه بار اشتباه پیش بروند؟" پس این دیگر فرضی نیست، بلکه قابل تصور است. تا همین اواخر، من نمی‌دانستم که روی «ایمنی هوش مصنوعی» کار می‌کنم. حتی اگر به تئوری نیک بوستروم در مورد بیشینه ساز گیره کاغذ برگردید - این ایده که یک ماشین آنقدر قدرتمند می شود که در نهایت بشریت را نابود می کند - به عنوان یک فیلسوف، من به عنوان یک فیلسوف می گویم: "این یک نمونه اسباب بازی یا معضل خوب است، اما آیا باید نگران یک گیره کاغذ باشم؟" اما در طول دو سال گذشته، برخی از چیزهایی که محققان ایمنی هوش مصنوعی در مورد آنها صحبت کرده بودند آشکار شده است.

در جهان خواه این یک موضوع فنی باشد یا یک موضوع سیاستی، فوری به نظر می رسد. به نظر شما فوری نیست؟ بزرگترین نگرانی: نشت آزمایشگاه ما به طور فزاینده ای شاهد عوامل هوش مصنوعی هستیم که به طور خاص برای ادغام در جریان کار آزمایشگاهی طراحی شده اند. این عوامل به محققان قانونی در برنامه ریزی و انجام وظایف آزمایشگاهی کمک می کنند.

اما این نیز موانع را برای انجام آزمایش های خطرناک کاهش می دهد. اگر فردی در تلاش است تا یک ویروس همه گیر ایجاد کند، و شما یک دستیار هوش مصنوعی دارید که قطعات DNA یا RNA را طراحی می کند که باید آنها را کنار هم بچینید، جدول زمانی تولید یک ویروس، که معمولا ممکن است ماه ها باشد، به هفته ها تغییر می کند. تعداد افرادی که این قابلیت ها را خواهند داشت، من را بسیار نگران می کند. آیا این تهدیدی برای موجودیت انسان است؟ اگر قرار است دنیا با هوش مصنوعی به پایان برسد، یکی از مسیرهای روشن می تواند حمله بیولوژیکی با هوش مصنوعی باشد.

ما زیرساخت‌های مناسب واکنش یا پادمان‌ها را نداریم، و با توجه به وسعت آسیب‌هایی که ممکن است ممکن باشد، باید از هم‌اکنون برای ایجاد آن‌ها اقدام کنیم. بزرگترین نگرانی: همه چیز ما باید با تمام خطرات مقابله کنیم. من حداقل در مورد سه مورد از آنها صحبت کرده ام. اول، هوش مصنوعی های سرکش، به دلیل عدم همسویی، که بسیار قدرتمند هستند و می توانند کارهای بسیار بدی انجام دهند. البته برخی از مردم نگران هستند که این امر حتی می تواند منجر به انقراض انسان شود. من در مورد آن نمی دانم.

اما، می دانید، ما نباید شانس بیاوریم. دوم، هرج و مرج ناشی از تروریست ها، جنایتکاران و کشورهای سرکش است که از آن فناوری ها استفاده می کنند. ما به زودی شاهد وقوع آن با حملات سایبری خواهیم بود، و نگرانی های زیادی در مورد اینکه آیا این ممکن است به حملات سلاح های زیستی تبدیل شود وجود دارد. سومین چیز تمرکز قدرت است که به اندازه کافی مورد توجه قرار نمی گیرد. مسابقه بین آمریکا و چین یک بازی سلطه گری است. مسابقه بین این شرکت ها یک بازی سلطه گری است. و این کاملا بر خلاف ارزش های دموکراسی و زندگی انسانی است.

اما این راهی است که ما در آن هستیم. و سپس در واقع یک دسته دیگر وجود دارد: پیامدهای ناخواسته. به آنچه در رسانه های اجتماعی رخ داد و تأثیرات آن بر روابط بین افراد فکر کنید. اثرات روانی روشی که بچه ها یاد می گیرند. هیچ کس قصد نداشت کار بدی انجام دهد، اما پویایی ما را به جای بدی رسانده است. مسائل مربوط به هوش مصنوعی و مشاغل در این دسته قرار می گیرند. اینطور نیست که شرکت ها بخواهند مردم شغل خود را از دست بدهند، اما این سودآورترین کار برای آنهاست. آیا «مکث» هوش مصنوعی مفید است؟ مکث ها بهترین شرط ما برای جلوگیری از فاجعه بارترین چیزها هستند.

ما می توانیم آسیب را کاملا محدود کنیم. فکر نمی‌کنم جامعه برای معرفی سریع و قدرتمندتر هوش مصنوعی آماده باشد. انطباق دموکراسی به زمان نیاز دارد. سیاستمداران همیشه برای مذاکره زمان می برند. حتی اگر به کار افراد و شغل آنها فکر کنید، مقابله با تغییرات زمان می برد. ناگفته نماند، یک مکث زمان بیشتری را به شرکت‌ها، محققان و سازمان‌ها می‌دهد تا در صورت قابل حل بودن مشکل همسویی را حل کنند. آیا سم، داریو، مارک و سایر رهبران هوش مصنوعی در یک مکث با یکدیگر همکاری می کنند؟ منظورم این است که آنها آن را مکث نمی نامند.

آنها در مورد سرعت دادن صحبت کرده اند، که راهی برای روشن نبودن در مورد کاری است که قرار است انجام دهند. بگذارید فقط بگویم که اکنون به چیزی مانند مکث یا کاهش سرعت یا سقف پیشرفت بسیار خوشبین تر هستم. من فکر می کنم که ترس به اندازه کافی در داخل شرکت ها وجود دارد. و این فقط یک ترس شخصی از نتایج مخرب نیست. همچنین یک مشکل تجاری است. فقط تصور کنید که آیا یک حادثه بسیار بزرگتر وجود دارد که می تواند یک سقوط کامل برای کل موقعیت هوش مصنوعی ایجاد کند. کل اقتصاد. این برای تجارت آنها بسیار بد خواهد بود. چگونه با اضطراب این تحقیق کنار می آیید؟ من لحظاتم را دارم

اما چیزی که من را نجات می دهد تمرکز بر کاری است که می توانم انجام دهم. آژانس من هر کدام از ما می توانیم کاری انجام دهیم. من می‌خواهم به محققان داخل شرکت‌ها بگویم که با تصمیم به ترک به دلایل اخلاقی، می‌توانند بر مسیر شرکت‌ها تأثیر بگذارند. آنها می توانند به دنیای خارج کمک کنند - سازمان های غیر انتفاعی، دولت ها و سایر سازمان هایی که در تلاش برای رفع مشکل بدون انگیزه سود هستند. اگر شهروند هستید، می توانید بر سیاستمداران خود فشار بیاورید.

باید از آنها بپرسید: "برنامه شما چیست؟ چگونه می خواهید خطراتی را که هوش مصنوعی برای جامعه به همراه دارد مدیریت کنید؟" آنها تا زمانی که تحت فشار قرار نگیرند چیزی نمی گویند. و اتفاقا این کار شما هم هست. بزرگترین نگرانی: دعوای درونی بی پایان آیا ما در مشکل جدی هستیم؟ برخی از سناریوهایی که مردم نگران آن‌ها هستند - چه امنیت زیستی باشد یا یک حمله سایبری یا برخی از آسیب‌های روزمره مانند تخریب روابط اجتماعی کودکان - پدیده‌های بسیار پیچیده‌ای هستند که نمی‌توان آن‌ها را به راحتی با نگاه کردن به یک سیستم در انزوا آزمایش یا مدل‌سازی کرد.

من فکر می کنم تقریبا همه دانشمندان ارزیابی به شما می گویند که این یک رشته نوپا است. ما می‌توانیم شروع به ارائه شواهد کنیم، اما لزوما دلیلی بر ایمن بودن یا نبودن هوش مصنوعی نیست. ما باید در ارزیابی این خطرات بهتر شویم و باید سریعتر بهتر شویم. حمله Hugging Face حجم زیادی از حیرت و اختلاف نظر مستقیم در مورد خطرات مربوط به مدل‌های نامناسب و قابلیت‌های سایبری ایجاد کرد. من فکر می کنم ارائه شواهد بیشتر ارزش زیادی دارد تا درک بهتری از آنچه واقعا اتفاق افتاده است داشته باشیم.

جدی بود؟ جدی تر می شود؟ آیا مکث هوش مصنوعی یا «گام به گام» در مرز واقع بینانه است؟ ما باید با "مرز" به این معنا رفتار کنیم که این فناوری عملا مفید و ایمن است. عرضه محصولات ناایمن به معنای پیشبرد مرزها نیست. اگر می‌خواهید یک شرکت سودآور باشید، به نظر می‌رسد که محصول مرزی شما باید این باشد که «بهترین نسخه‌ای که مردم برای آن هزینه کنند و به آن اعتماد کنند چیست؟» و نه سیستمی که بر اساس درخواستی خوش خیم برای اطلاعات در مورد یافتن پزشک و در نهایت از طرف شما به یک بیمارستان هک شود. بزرگترین نگرانی: فروپاشی اجتماعی من تو هستم

در مورد چگونگی تفکر در مورد خطرات وجودی یا فاجعه آمیز در مقابل انواع دیگر خطرات که به نوعی فاجعه آفرین هستند، اطمینان حاصل کنید. به عنوان فردی که برای صحبت با چندین آزمایشگاه هوش مصنوعی دعوت شده‌ام، متوجه می‌شوم که کارشناسان مرزی در مواردی مانند خودسازی بازگشتی، از دست دادن کنترل، یا توانایی ما برای ایمن نگه‌داشتن نهادهایی مانند سیستم مالی یا سطح آب یا حتی سلاح‌های هسته‌ای با یکدیگر اختلاف نظر دارند.

به‌عنوان یک الهی‌دان اخلاق، می‌توانم بگویم که اگر شانس قابل‌توجهی یا حتی احتمالی حاشیه‌ای وجود داشته باشد که با ناتوانی در کنترل نهادهای اساسی که جامعه را تحت الشعاع قرار می‌دهند، سروکار داشته باشیم، باید تمرکز اصلی باشد. اما صادقانه بگویم، مسائل دیگر نیز بسیار اساسی هستند، مانند: شخص چیست؟ مراقبت های بهداشتی چیست؟ آموزش چیست؟ این سؤالات اساسی در فرهنگ ما نیز کاملا قابل قبول است.

و این به من مربوط می شود. بیش از حد خطر: هوش مصنوعی شیطانی این چیزی است که در محافل من وجود دارد: برخی از مردم واقعا نگرانی دارند که هوش مصنوعی در واقع نوعی موجودیت است - حتی یک موجود شیطانی. من بسیار مطمئن هستم که می گویم هیچ آگاهی مرتبط با این مدل ها وجود ندارد، و بنابراین فکر نمی کنم یک آگاهی شیطانی وجود داشته باشد. حتی اگر فکر نمی‌کنم این یک موجود شیطانی باشد، این سوال را ایجاد می‌کند که آیا مردم باید بتوانند از استفاده از هوش مصنوعی به دلایل مرتبط با آزادی مذهبی یا به عنوان یک عمل مخالفت وجدان خودداری کنند.

یکی از موارد مشابه می‌تواند این باشد که چگونه کلیسای کاتولیک به وضوح علیه سلاح‌های خودمختار صحبت کرده است و چگونه یک اسقف اعظم، که رئیس اسقف اعظم کاتولیک برای ارتش است، گفته است که اعضای ارتش می‌توانند وجدانا به هر دستوری که خلاف اخلاق آنها باشد، اعتراض کنند، مانند اگر از آنها خواسته شود به زور به گرینلند حمله کنند یا در یک اعدام عمومی شرکت کنند. آیا هوش مصنوعی عصر جدیدی از تفکر پیرامون دین و فناوری را آغاز می کند؟ بله، این پدیده واقعی است.

من به تازگی در سانفرانسیسکو بودم و با افراد OpenAI بازدید می کردم، و سپس به Anthropic رفتم، و سپس توسط Google DeepMind دعوت شدم تا درباره Magnifica Humanitas سخنرانی کنم. حس قوی من این است که صحبت از دین و ایمان، ننگ خود را از دست داده است. شما به راحتی می توانید بگویید، اوه بله، چیزی در مورد پیتر تیل وجود دارد که سخنرانی های مذهبی همه جانبه خود را ارائه می دهد.

اما نمی‌دانم این چقدر بخشی از آن است. فقط فکر می کنم مسائل ارائه شده توسط هوش مصنوعی بسیار بزرگ هستند، مانند: یک شخص چیست؟ نوشتن چیست؟ دوستی چیست؟ آیا داشتن اشکال حیات مصنوعی بهتر از اشکال حیاتی ارگانیک است؟ اینها سؤالات هیولایی هستند که معمولا حوزه هنرهای لیبرال، فلسفه و الهیات هستند. اکنون این احترام جدید عجیب برای آن وجود دارد. من همچنین از بسیاری از مردم این حس را دریافت می کنم که آنها به نوعی ترسیده اند.

در بسیاری از موارد، آنها یا به دلیل شرکت بزرگی که در آن کار می کنند و یا به دلیل ساختارهای سیاسی-اجتماعی و واقعیت های ژئوپلیتیکی، احساس می کنند در دام افتاده اند. اگر کلیسایی دارید که به درستی می‌گوید: «می‌دانی، ما قبلا اینجا بوده‌ایم، قبلا بحران‌هایی را پشت سر گذاشته‌ایم…» منظورم این است که اگر می‌خواهید کاملا عصبانی شوید، پاراگراف آغازین Rerum Novarum را در سال 1891 بخوانید که در پاسخ به انقلاب صنعتی بود.

می توانست امروز توسط کسی نوشته شده باشد. بزرگترین نگرانی: سرمایه داری من نگران هستم که آزمایشگاه‌های مرزی در بازی ضبط نظارتی برنده شوند و آن را طوری بسازند که شرکت‌ها و محققانی مانند من دیگر به مدل‌های با وزن باز یا ایده‌آل منبع باز دسترسی نداشته باشند. برای تحقیقات امنیتی که انجام می‌دهم، واقعا نمی‌توانم از مدل‌های آزمایشگاه مرزی استفاده کنم، بنابراین باید از مدل‌های وزن باز استفاده کنم.

امتناع‌های امنیتی کاذبی که من عمدتا از آنتروپیک دریافت می‌کنم، باعث شده است که نتوانم بسیاری از کارهایی را که با مدل‌های آنها انجام می‌دهم انجام دهم. نمونه آن چیست؟ تجربه تاسف بار من این است که هرگاه کلمه امنیت در یکی از مخازن من ظاهر می شود، یک رد کاذب دریافت می کنم. من هم نمونه های جالبی دارم. من با یکی از دوستانم در شیکاگو موسیقی رقص الکترونیکی با مضمون امنیت سایبری تولید می کنم. آخرین آهنگ مربوط به نقض اطلاعات است. این یک قسمت از رپ وجود دارد که اساسا این است: "کلیدها به دلیل اینکه نماینده شما خوانده است / اوه لا لا، این یک نقش مدیر است / Backdoor Up است. IP Control.

/ من آن را بد می خواهم، که بیرکین و کلی ... با قاطرهایم آماده یک چک حقوق می گیرم. من آن را به کلود دادم و گفتم: "هی، این یک رپ است که من نوشتم، لطفا می توانید آن را برای من تجزیه و تحلیل کنید؟" و من دریافتم، "این ممکن است نقض خط مشی استفاده قابل قبول ما باشد." آیا نگران نفوذ عوامل هوش مصنوعی به مؤسسات مالی هستید؟ احساس من این است که بانک‌ها از فناوری‌هایی که نمی‌فهمند می‌ترسند. اگر بخواهم امنیت یک بانک را اداره کنم، احتمالا باید دوباره از تله متری که آنها ساخته اند بازدید کنم.

اما من همچنین سعی می‌کنم راه‌هایی را بیابم که عامل‌پسند باشم. مشکل بزرگتر این است که بیشتر فناوری عامل با نرده های محافظ سخت ساخته نشده است. اگر بخواهم نرده‌هایی را برای عواملی که با سیستم‌های مالی کار می‌کنند بسازم، ترجیح می‌دهم مستقیما با API‌های بانکی ادغام شود و سپس محدودیت‌هایی برای آن‌ها اعمال کنم، مانند، شما فقط می‌توانید بیانیه من را بخوانید یا