استدلالی علیه عذاب هوش مصنوعی

اشتراک در اینجا: پادکست های اپل | Spotify | یوتیوب

سیل گزارش ها در مورد فرار عوامل هوش مصنوعی و هک کردن وب سایت ها می تواند ترسناک باشد. اما آیا این در واقع فقط نیاز به امنیت بهتر برای مطابقت با فناوری در حال تکامل است؟ زک کورمان، مدیر عامل گلدوزی، چنین فکر می کند. او در زمینه امنیت سایبری کار می کند و استدلال می کند که عوامل هوش مصنوعی "سرکش" کمتر از آن چیزی که به نظر می رسد ترسناک و پیچیده هستند. چارلی وارزل، مجری برنامه Galaxy Brain، با کورمان در مورد اینکه چگونه شرکت ها و موسسات باید دفاع سایبری خود را تقویت کنند و اینکه چرا به اصطلاح محکومان هوش مصنوعی او را ناامید می کنند، صحبت می کند.

متن زیر متنی از این قسمت است:

زک کورمان: من فکر می‌کنم که از نظر واقع بینانه، آنچه اتفاق خواهد افتاد این است که مدل‌ها بهتر خواهند شد. و اگر آزمایشگاه‌ها بازی امنیت سایبری خود را ارتقا ندهند، و اگر شرکت‌هایی که عامل‌های هوش مصنوعی را اداره می‌کنند، بازی امنیت سایبری خود را ارتقا ندهند، آسیب واقعی به بار خواهند آورد. و سپس ما به معنای واقعی کلمه آنها را به دردسر خواهیم انداخت. مثلا یک نفر را به زندان می اندازیم زیرا شما مردم را کشتید. شما مجاز به کشتن مردم نیستید. و محکوم‌کنندگان می‌گفتند، نه - اما دیگر خیلی دیر شده است، زیرا می‌ترسند افرادی که ما کشته‌ایم 8 میلیارد نفر باشند، در حالی که من نه.

من می گویم، نه - زیرا این دنیای واقعی نیست. اینجوری کار نمیکنه

چارلی وارزل: من چارلی وارزل هستم، و این Galaxy Brain است، نمایشی که امروز در آن اضطراب خود را در مورد اپیدمی هک هوش مصنوعی کالیبره می کنیم. به طور خاص، ما به این سوال پاسخ خواهیم داد: آیا مشکل عامل سرکش هوش مصنوعی واقعا فقط یک مسئله عادی امنیت سایبری است یا اصلا چیز دیگری است؟

لحظه ترسناکی است همانطور که ما در حال ضبط این موضوع در 29 سپتامبر هستیم، اخبار بسیار سریع در حال حرکت است. اما اجازه دهید برخی از نکات گسترده تر را خلاصه کنم. از ماه آگوست، افشاگری‌ها به‌طور ثابتی وجود داشته است، که با هک کردن Hugging Face توسط ماموران OpenAI در طی یک تمرین تمرینی شروع شد. چند نفر دیگر نیز دنبال شدند. ماموران یک وب سایت آلمانی را هک کردند تا از آن به عنوان یک صفحه پیام ابتدایی استفاده کنند. یکی از نمایندگان OpenAI دسترسی غیرمجاز به پورتال داده ای که توسط ارائه دهنده بیمه جهانی مراقبت های بهداشتی استرالیا اداره می شد، به دست آورد.

و هفته گذشته، OpenAI فاش کرد که مدل‌های آن تلاش کرده‌اند تا وب‌سایت‌های متعدد دولت ایالات متحده را هک کنند یا به‌طور دیگری به آن دسترسی داشته باشند. در همان روز، OpenAI اعلام کرد که 53 مورد اتفاق افتاده است که در آن عکس‌ها توسط کاربران از طریق محصولاتش در شرکت آپلود شده‌اند، و سپس بدون اجازه در پلتفرم‌های دیگر آپلود شده‌اند.

آخر هفته گذشته، Axios گزارش داد که OpenAI و Anthropic در حال بررسی ده‌ها هزار مورد احتمالی هستند که در آن عوامل به روش‌های غیرمنتظره رفتار می‌کنند - یا هماهنگی می‌کنند یا سعی می‌کنند دور بزنند، یا موفق به دور زدن نرده‌های محافظ شرکت و ایجاد مشکل در اینترنت باز شده‌اند.

در حال حاضر برخی از نشانه های مثبت در اینجا وجود دارد. این هفته، OpenAI اعلام کرد که آموزش توانمندترین مدل های خود را متوقف کرده و انتشار جدیدترین مدل خود را به دلیل نگرانی های امنیتی به تاخیر می اندازد. اما بیایید شفاف باشیم؛ اینها نمونه های بسیار واقعی از دست دادن کنترل تکنولوژیست ها یا ناتوانی در نظارت بر ابزارهای خود هستند. و صحبت های زیادی در مورد اینکه این شرکت ها باید با چه نوع مسئولیتی مواجه شوند، وجود دارد. اینکه آیا این نوع هک ها مشمول جریمه هایی بر اساس قانون کلاهبرداری و سوء استفاده رایانه ای هستند یا خیر.

به صورت آنلاین، بحث دائمی در مورد آنچه در جریان است، چرا هیچ کس پاسخگو نبوده است، پاسخگویی به چه معناست، و آنچه در آینده باید اتفاق بیفتد، وجود داشته است.

اما همه آن صحبت‌ها و همه این اخبار با روایت آنلاین متفاوتی ادغام شده است - روایتی که به بهترین وجه توسط اردوگاه ایمنی و نابودی هوش مصنوعی نشان داده می‌شود و ترس از اینکه یک سیستم هوش مصنوعی غیرقابل کنترل و خود-بهبود روزی می‌تواند «همه ما را بکشد».

اما اینها به نوعی دو داستان متفاوت هستند. یکی در مورد مجموعه ای فرضی و بهبود یافته از مدل ها است. این یک سناریوی ترسناک است، اما حدس و گمان است. داستان دوم - یکی از هک های عامل هوش مصنوعی - حدس و گمان نیست. این چیزی است که هم اکنون در حال وقوع است و هم فوری است و هم ملموس. و مهمان امروز من، زک کورمان، استدلال می کند که این مشکلی است که ماهیت علمی تخیلی ندارد. اینکه ما با خدایان ماشینی با عاملیت مواجه نیستیم، بلکه با یک مشکل گسترده امنیت سایبری سر و کار داریم و شرکت ها با سهل انگاری عمل می کنند.

Korman Embroidery را اجرا می‌کند، یک پلتفرم نظارت و شناسایی عامل هوش مصنوعی، و بنابراین می‌خواستم او را در مورد آنچه واقعا در اینجا با این هک‌های پرمخاطب می‌گذرد، صحبت کنم. آیا می توانیم این عوامل را محدود کنیم؟ اگر چنین است، چگونه؟ خطرات واقعی هوش مصنوعی عامل چیست و چگونه از تحقق آنها جلوگیری کنیم؟ کورمان اکنون به من ملحق می شود تا در مورد همه چیز صحبت کنیم.

وارزل: باشه، زک، به Galaxy Brain خوش آمدی.

کورمان: از اینکه من را در اختیار دارید متشکرم.

وارزل: بنابراین ما در 29 سپتامبر اینجا صحبت می کنیم، پس از یک تعطیلات آخر هفته که در آن اخبار زیادی وجود داشت، بیشتر در مورد دسترسی عوامل OpenAI به سیستم های خارجی، برخی در داخل دولت ایالات متحده بدون مجوز. تصور می کنم اگر فردی هستید که سابقه ای در زمینه هوش مصنوعی یا امنیت سایبری ندارید، به این موضوع نگاه می کنید که ما وارد نوعی سناریوی کابوس شده ایم. با این حال، شما در زمینه امنیت سایبری و هوش مصنوعی کار می کنید، بنابراین بیایید جدول را در اینجا تنظیم کنیم. واکنش گسترده شما به همه این اخباری که در هفته گذشته منتشر شده است چیست؟

کرمان: آره منظورم این است که آنقدرها هم که به نظر می رسد ترسناک نیست. یکی از چالش‌های اصلی کار در امنیت سایبری و تبدیل شدن ناگهانی امنیت سایبری به موضوعی دراماتیک این است که برای افرادی که در امنیت سایبری هستند، مانند - همه چیز برای همیشه بد بوده است. ما همیشه مشکلاتی داشته ایم و هیچ وقت شرایط خوشحال کننده ای نداشته ایم. ما خیلی عادت کرده ایم با چیزهای بد کنار بیاییم. من فکر می کنم بسیاری از مردم اکنون برای اولین بار شروع به توجه کرده اند. و بنابراین هر بار که نوعی حادثه رخ می دهد، کمی شبیه به پایان جهان است.

در بسیاری از این موارد، آن‌طور که ممکن است به نظر می‌رسد آسیب‌زا نیستند، اما به برخی موقعیت‌های جدی در داخل آزمایشگاه‌ها، آزمایشگاه‌های هوش مصنوعی، اشاره می‌کنند که شاید آنقدرها هم عالی نیستند یا به اصطلاح خوب انجام نشده‌اند.

وارزل: بنابراین چند روز پیش، یکی دیگر از کارمندان OpenAI این پست نسبتا نگران‌کننده را در مورد X نوشت که اخیرا در محل کار چگونه بوده است. او نوشت: «سه ماه گذشته برابر با جهنم است. با صحبت کردن با آنچه در مورد آن گفتید، می دانید - وقتی در امنیت سایبری هستید، همیشه اتفاقات بد زیادی رخ می دهد. اما به طور خاص، او در مورد چیزی صحبت می کند که بسیاری از افراد در این شرکت های هوش مصنوعی در مورد آن صحبت می کنند - سرعت بهبود این مدل ها واقعا آنها را شگفت زده کرده است. این به نوعی منجر به هک بزرگ Hugging Face شد که می خواهم در مورد آن صحبت کنم.

او گفته است: "انتظار نداشتیم به این زودی‌ها. ناگهان با یک جهش کوچک در توانایی‌ها روبرو نشدیم، ما در کل در مورد یک ورزش متفاوت صحبت می‌کردیم." و به نظر می رسد او اعتراف می کند که امنیت باید بهتر می بود. که آن نیز زمان می برد. من کنجکاو هستم که شما از این ایده که سرعت همه چیز به نوعی دلیلی است که ما در حال حاضر این مکالمات را انجام می دهیم چیست؟

کورمان: فکر می‌کنم تعادل بسیار ظریفی برای راه رفتن در اینجا وجود دارد، بله، همه چیز می‌تواند سخت باشد، و فکر می‌کنم تشخیص اساسی سرعت توسعه در این آزمایشگاه‌ها. به خصوص فقط رشد عمومی. منظورم این است که شما دائما کارمندان جدید اضافه می کنید. شما دائما در حال انجام کارهای جدید در محیطی هستید که احتمال دارد منجر به حوادث شود. اما در عین حال، برای متعادل کردن آن با واقعیت، که این است که آنها یک شرکت تریلیون دلاری هستند - پس بیایید آن پول بی نهایت را نام ببریم - که می توانند، آنها توانایی انجام کارهای بهتر از آنچه که انجام می دهند را دارند.

و بنابراین این یک جورهایی سخت است، زیرا می توانم با این ایده همدردی کنم که مانند یک محیط توسعه با سرعت فوق العاده که در آن شما دائما در حال رشد هستید و انجام همه این کارهای جدید می تواند چالش برانگیز باشد. اما چیزهایی وجود دارد که آنها می توانند بهتر انجام دهند.

علاوه بر این، وقتی صحبت می کنیم که جهش در قابلیت ها غافلگیرکننده است، فکر می کنم - و او به این موضوع اشاره می کند و در نقاطی آن را پیشنهاد می کند. این یک نوع سوال است: به چه کسی، درست است؟ به عنوان مثال، افرادی در OpenAI وجود دارند که این امر برای آنها تعجب آور نیست. باشه بنابراین افرادی در OpenAI وجود دارند که اساسا در مورد برخی از این چالش ها به عنوان خط لوله برای مدت بسیار طولانی صحبت می کنند. من فکر می کنم که آنها احتمالا ساختار سازمانی را بیشتر از اینکه به برخی افراد درگیر شوکه کنند، شوکه کردند، درست است؟

وارزل: آن افراد به طور خاص چه کسانی هستند؟

Korman: خوب، یک چیز بسیار جالب این است: تیم نظارت در OpenAI کارهای بسیار خوبی در زمینه نظارت انجام داده است. به عنوان مثال، آنها این نوشته عالی را از شاید مانند مارس امسال در مورد نحوه نظارت بر عوامل هوش مصنوعی و انواع مشکلاتی که نگران آن هستند، دارند. و این همه طیف وسیعی از خطراتی را که ممکن است فکر کنید ممکن است در موردی مانند حمله صورت در آغوش گرفته رخ دهد را مشخص می کند.

بنابراین، اگر روی آن تیم نظارتی کار می‌کنید و آن نوع نظارت را ایجاد کرده‌اید، از احتمال اینکه ماموران می‌توانند این کارها را انجام دهند، شوکه و وحشت زده و غافلگیر نخواهید شد. شما به معنای واقعی کلمه یک سیستم نظارتی برای آن ساختید. در همان زمان، محققان هوش مصنوعی وجود دارند که برخی از این تست‌های قابلیت را اجرا می‌کنند، و مواردی که شاید به درستی برای استفاده از آن نظارت تنظیم نشده باشند. چیزهایی از این قبیل. اما، می دانید، شما کارهایی دارید که انجام شده است که به معنای واقعی کلمه در مورد این خطرات در OpenAI قبل از تابستان نوشته شده است.

وارزل: فکر می‌کنم این بخشی از چیزی است که برای بسیاری از افرادی که این را تماشا می‌کنند ناامیدکننده است. چون، می دانید، اینجا چیزهای مختلفی وجود دارد، درست است؟ یک نوع محکوم کننده وجود دارد - مانند: "همه ما خواهیم مرد؛ این همه ما را در مدت زمان معینی خواهد کشت" - چیزی. و پس از آن نگرانی‌های جدی‌تر در مورد امنیت سایبری وجود دارد. اما من فکر می کنم آنچه بسیار دشوار است این است که این شرکت ها دائما در مورد خطرات پیام می دهند. آنها مانند همه این پست های وبلاگ مفصل می نویسند.

در جایی که ایده این است که، شما می دانید، "ما همیشه به ایمنی نگاه می کنیم." و با این حال به نظر می رسد که این شرکت ها از کارهایی که همیشه انجام می دهند بسیار شگفت زده می شوند. و اساسا چیزی که می‌خواهید بگویید این است که افراد مختلف کارهای مختلفی انجام می‌دهند و افراد مختلف از بخش‌های مختلف سازمان شگفت‌زده می‌شوند؟ اما ما با آن مانند یک یکپارچه رفتار می کنیم. آیا این کمی از آن چیزی است که می خواهید در اینجا بگویید؟

کورمان: بله، اگرچه من هم استدلال می‌کنم که باید با آن مانند یک تک سنگ رفتار کنیم. بنابراین، در حالی که می توانم اذعان کنم که در داخل آن افرادی هستند که می بینند چیزهایی در حال آمدن است، یک چیزی که من دوست ندارم این است که آزمایشگاه ها از این بهانه استفاده کنند. چون من اینطور هستم: نه، برای من شما OpenAI هستید. مانند، برای من مهم نیست که شما یک فرد امنیتی در OpenAI هستید، تیم نظارتی در OpenAI، یک محقق در OpenAI. OpenAI - شرکت - باید مسئولیت پذیر باشد اگر بخواهند در مورد خطرات آن طور که هستند صحبت کنند.

من در واقع اگر برخی از این اشتباهات را کمی، مانند، کمتر در مورد آن محکوم کنند، تحمل بیشتری می کنم. بنابراین اگر آنها به نوعی مانند: بله، برخی از اشتباهات رخ داده است. ما کارهای هک انجام دادیم آسیب این هک ها به طور موثر وجود ندارد. منظورم این است که هیچ کدام از آنها بد نبوده اند. و من فکر می کنم که این حرف کاملا معتبری است. مشکل این است که آنها از این حملات استفاده می‌کنند تا بگویند، ببینید چقدر وحشتناک است. من به شما نیاز دارم که این را تنظیم کنید، می دانید - کل این صنعت. ما باید از مرز عبور کنیم.

و من می گویم: بسیار خوب، اکنون این عدم تطابق بین آنچه OpenAI در مورد خطرات می گوید و رفتاری که ما به عنوان یک سطح سازمانی در قبال آن خطرات می بینیم وجود دارد. به نظر من، این عدم تطابق چیزی است که برای مثال در امنیت سایبری برای مردم بسیار ناامید کننده است. و احتمالا برای افراد خارج از آن بسیار گیج کننده است. درسته؟

وارزل: صرفا برای محدود کردن آنچه در آنجا می‌گویید: آیا فکر می‌کنید دلیل اینکه این موارد بلافاصله به بخش نابودکننده می‌رود این است که یک استراتژی بازاریابی مؤثر برای این شرکت‌ها است؟ به کجا فکر می کنید که چرا آنها به این نوع زبان و ترس افکنی می پردازند؟

کرمان: آره بنابراین من فکر می کنم این مخلوط است. من فکر می کنم که برای بسیاری از آنها، برای بسیاری از آنها - به خصوص آزمایشگاه و بسیاری از کارمندان، بسیاری از مردم آنجا - نابودی مانند بخشی ذاتی از فرهنگی است که از همان ابتدا وجود داشته است. باشه آنها مانند سال 2010 از انفجار هوش مصنوعی می ترسند. بسیار خوب. و در آن موارد، زمانی که شما شروع به دیدن چیزهایی می‌کنید که کمی، مانند کمی جالب یا مطابق با آن نظریه هستند، دیدگاه من همیشه این بوده است که آنها آنها را بیش از حد مطابق با پیش‌گویی‌های خود تفسیر می‌کنند.

بنابراین آنها می گویند: یک روز هوش مصنوعی مردم را هک می کند. و سپس آنها مانند: و همانطور که توسط پیشگویی پیش بینی شده است، کسی را هک کرد.

و من می گویم: خوب، اما این یک مثال زیبا و رام است، درست است؟ مانند، راه های زیادی برای تفسیر آن وجود دارد که اینطور نیست. اما اگر حدود 10، 15 سال در این دنیای پرخطر زندگی کرده اید که واقعا به آن اعتقاد دارید، مطمئنا این ترسناک به نظر می رسد.

و بنابراین من فکر می کنم برای بسیاری از آنها، آنها واقعا باور دارند که چقدر این وحشتناک است. از دیدگاه آزمایشگاه به عنوان یک کل، من فکر می کنم قطعا عناصر استراتژیک در نحوه ارتباط آنها وجود دارد. من نمی خواهم بگویم که این انگیزه های واضح آنها است، به طور خاص. اما این به آنها آسیب نمی رساند، که می دانید. یکی از سخت‌ترین بخش‌های کارکرد اقتصادی این آزمایشگاه‌ها این است که دائما هزینه می‌کنید. انجام مخارج سرمایه ای بیشتر و بالاتر برای آموزش مدل های جدید برای همگام شدن با مرز. و البته، آنها متحمل ضررهای بزرگی می شوند.

مشکل - بنابراین، البته، توانایی توقف توسعه برای آنها مزایایی دارد. من فکر نمی کنم که این عنصر اصلی آن باشد. با این حال، من فکر می‌کنم که این واقعا شبیه بازی معمولی ضبط نظارتی است. مواردی از این قبیل: وقتی می بینید که کوسه ها در حال چرخش هستند و شما در شرف تنظیم هستید، همیشه ابتدا پیشنهاد نظارتی خود را ارائه می دهید، درست است؟ شما همیشه - اینطور است که ما این را در مورد امور مالی دیدیم، درست است؟ به محض اینکه متوجه شدند بازی به پایان رسیده است - شما دیگر نمی توانید به تنهایی بازی کنید - سعی می کنید برای به دست آوردن اقدامات خود مسابقه دهید.

پس می دانید، داریو [آمودی] در آنتروپیک آمد و گفت، من ارزیاب های شخص ثالث می خواهم، و می خواهم METR باشد. و خوب، این فقط است - او فقط تنظیم کننده مورد نظر خود را قبل از اینکه دولت ایالات متحده برای او انتخاب کند، انتخاب می کند. زیرا دولت ایالات متحده ممکن است فردی را انتخاب کند که کمی بیشتر شبیه وزارت جنگ باشد و از آنتروپیک متنفر باشد. و البته این چیزی نیست که آنتروپیک می خواهد.

همچنین من فکر می‌کنم بسیار مهم است که به خاطر داشته باشید که آزمایشگاه‌ها، چون همه این کارمندان مصیبت‌کننده را دارند، نمی‌توانند به آن‌ها پرداخت نکنند، درست است؟ آنها نمی توانند بیرون بروند و بگویند، مثلا من این خطرات را ترسناک نمی دانم. باشه همانطور که می دانم؛ اگر OpenAI این را می گفت، احتمالا افراد زیادی استعفا می دادند. بنابراین من فکر می‌کنم وقتی کارمندانی با این دیدگاه‌ها دارند، محدودیت‌های زیادی برای آنها وجود دارد.

وارزل: فکر کردن به آن واقعا جالب است. چون فکر می‌کنم بسیاری از این مدیران و این کارمندان مانند - آنها به این واقعیت اعتبار دارند که برای مدت طولانی همان روایت محکوم‌کننده را می‌گویند، درست است؟ برای من سخت است که کاملا بپذیرم که این بدبینانه است، می دانید؟

کورمان: فکر می‌کنم آن‌ها بیش از حد باد می‌کنند، مثل اینکه کمی بیش از حد منفجر می‌شوند. میزان فعلی بودن آنها آنها این چیزها را گفته اند، و ما اکنون چیزی شبیه این می گوییم، و اکنون برخی از آن ها به حقیقت می پیوندند. این بخشی است که من باور نمی کنم. مثلا، آنها چیزهای فوق‌العاده‌ای رادیکال در مورد شیوه‌ای که انفجار اطلاعاتی منجر به خطرات عظیم، خطرات اجتماعی می‌شود، گفته‌اند. و اتفاقی که افتاد این بود: OpenAI Hugging Face را هک کرد.

مثلا، این واقعا جالب نیست، و در واقع یک پیش‌بینی عادی است که بسیاری در حوزه امنیت سایبری، از جمله من، انجام دادند، درست است؟

فکر می‌کنم - و می‌توانم این را از این منظر بگویم که در سال 2016 بسیار شبیه یک محکوم‌کننده بودم، درست است؟ سوپرهوشی نوشته نیک بوستروم را خوانده بودم. من برای گفتگو با او رفته بودم. انگار تو اون دنیا بودم وقایعی که امروز در حال انجام آن ها هستیم، به طور واضح به نابودی گرایی نمی پردازند، مگر اینکه واقعا بخواهید آن را حقیقت داشته باشید. و به این ترتیب، اکنون، وقتی آنها بر می گردند و می گویند، اما ببینید، همه چیزهایی که ما گفتیم درست است، من می گویم: نه خیلی. آزادانه شما چند حادثه امنیت سایبری داشته اید.

وارزل: چه چیزی از دوران نابودی شما، دوران ابراطلاعات شما، تا امروز تغییر کرد؟

کرمان: خب اولا من دانشجوی حقوق بودم. حقوق خواندم و بعد حقوق و امور مالی گرفتم. بنابراین من در آن زمان در آکسفورد بودم، جایی که بسیاری از محکومان در آنجا بودند. اینجا جایی است که نیک بوستروم بود. ورود به آن آسان است، به خصوص اگر نمی دانید رایانه ها چگونه کار می کنند، که من نمی دانستم. و سپس، می دانید، من 10 سال آینده را مانند تیم های فنی پیشرو می گذرانم، درست است؟ من به خودم یاد دادم که کد بنویسم. از قضا، تقریبا در همان فضایی که این نابودی شروع به ظهور می کند. این به نوعی دلیل یادگیری کدنویسی است.

و سپس، می دانید، من فکر می کنم که بسیاری از چیزهایی که محکومان پیش بینی کرده بودند، واقعا ناقص شدند، می دانید، فکر می کنم زمانی که GPT-3 منتشر شد، و سپس شما GPT-4 را داشتید، که مانند قوانین مقیاس بندی نقشه برداری می شد، درست است؟ بنابراین به نوعی می بینید که با نرخی که انتظار داشتید بهتر شود، بهتر می شود. واقعا خیلی ترسناک به نظر می رسید. و سپس متوجه می شوید که حتی 4، 5، GPT-6، Astra: مدل های عالی. اینجا هیچ انفجار اطلاعاتی وجود ندارد. وجود دارد - هیچ کس نمی میرد. درسته و منظورم این نیست که مردم این کار را نکنند.

می‌توان گفت که واقعا اینطور نیست، آنقدر که زک 22 ساله انتظار داشت نگران‌کننده نیست. و بنابراین من آنجا نشسته ام و می روم، بله، از نظر تئوری به خطرات ابرهوشی اعتقاد دارم. مثل، حتما واقعا شبیه دنیایی که الان در آن هستیم نیست.

وارزل: بنابراین، بیایید به طور خاص از فیلم «صورت در آغوش گرفته» بگذریم. و سعی کنید با ساده‌ترین عبارت توضیح دهید - می‌دانید، سعی کنید از کمترین زبانی که می‌توانیم انسان‌سازی‌کننده‌تر استفاده کنیم، زیرا این هوش مصنوعی‌ها انسان نیستند. اگرچه گاهی اوقات برای توضیح آنچه در حال رخ دادن است به کمی از آن زبان نیاز داریم. اما به تعبیر اساسی، این عوامل چه کردند و در این مثال چه نکردند؟

کورمان: آره. بنابراین اساسا کاری که آنها انجام داده اند این است که این عوامل را راه اندازی کرده اند. آنها به آنها وظیفه ای دادند که در آن وظیفه ای که به عامل داده می شود یافتن یک آسیب پذیری در یک نرم افزار است تا مانند یک پرچم استخراج کند که شما می توانید بگویید: خوب، من ثابت کردم که از این آسیب پذیری سوء استفاده کردم. باشه این به ما امکان می دهد موفقیت یا شکست عوامل را در انجام آن اندازه گیری کنیم و همچنین آنها را برای انجام کارآمد آموزش دهیم.

اکنون، در این فرآیند، این عواملی که آنها در حال اجرا بودند، اساسا قرار بود در جعبه‌های سندباکس قرار گیرند - جایی که قرار نبود به اینترنت دسترسی داشته باشند. باشه و بنابراین قرار است آنها فقط دنبال این نرم افزار بروند تا آسیب پذیری ها را پیدا کنند تا به پرچم برسند. اما بسیاری از [تست‌ها] وجود دارند که درست نیستند - ما فقط نمی‌دانیم که آیا می‌توان آنها را حل کرد یا حداقل هنوز حل نشده‌اند. و این یکی از آنها بود.

بنابراین حداقل، قبل از این لحظه، هیچ راه حل شناخته شده ای در این مورد وجود ندارد، همانطور که من آن را درک می کنم. معنی آن این است که: برای قبولی در این ارزیابی یا قبولی در این آزمون، این عوامل باید راهی برای حل آن بیابند که، می دانید، آنها نمی توانند یک مسیر عادی را برای آن پیدا کنند. این باعث می شود که اساسا شروع به کشف فرصت های جالب تر کنند. و اساسا آنچه به نظر می رسد این است: این نقص در جعبه شنی وجود دارد که به عوامل اجازه می دهد تا در واقع با یکدیگر ارتباط برقرار کنند. زیرا همه آنها به صورت موازی در حال اجرا هستند، اما قرار نیست بتوانند صحبت کنند.