پس از ماهها «جهنم»، یک محقق ایمنی OpenAI روشی را برای جلوگیری از حوادث ناخوشایند هوش مصنوعی پیشنهاد میکند
او در پستی در رسانه های اجتماعی گفت که محققان ایمنی هوش مصنوعی و کارشناسان امنیت سایبری باید نزدیک تر از همیشه کار کنند. مشکل؟ دنیای آنها بیشتر از هم دور می شود.
سلام و به Eye on AI خوش آمدید. در این نسخه:
یک محقق OpenAI راهی برای جلوگیری از ایجاد آسیب بزرگ به جهان فناوری خود پیشنهاد می کند.
OpenAI بیش از 20 محصول را در رویداد سالانه DevDay راه اندازی می کند
دفترچه عرضه اولیه سهام آنتروپیک به بیرون درز کرده است، زیان 42 میلیون دلاری را نشان می دهد
AMD آزمایشگاه های جهانی را به مبلغ 8.2 میلیارد دلار خریداری می کند
ترامپ از داریو آمودی، مدیر عامل آنتروپیک رد میکند، سپس او را به شام دعوت میکند
امیلی فورلینی اینجاست، در حالی که جرمی کان را در حالی که از لندن به مقر فورچون در نیویورک سیتی برای رویداد AIQ ما در روز پنجشنبه سفر میکند، پر میکند - به ما بپیوندید! امروز، رتبهبندی سالانه Fortune AIQ را منتشر کردیم که نشان میدهد چقدر شرکتهای Fortune 500 هوش مصنوعی را پیادهسازی میکنند. امسال رتبه بندی را در مجموع به 75 شرکت افزایش دادیم. جی پی مورگان چیس در صدر فهرست قرار دارد و پس از آن آلفابت، کوکاکولا، آمازون و انویدیا قرار دارند. در رده بندی 10 برتر، Mastercard، Visa، Carrier Global، Cleveland-Cliffs و Microsoft قرار دارند.
همانطور که می بینید، فقط شرکت های فناوری از هوش مصنوعی برای دستیابی به بازگشت سرمایه واقعی در مقیاس استفاده نمی کنند. شرکت هایی در این لیست از بانک ها و امور مالی، تولید، محصولات مصرفی و مراقبت های بهداشتی وجود دارند. میتوانید کل رتبهبندی را در اینجا بررسی کنید و داستانهای عمیق غواصی را بخوانید که نشان میدهد چگونه شرکتهای Fortune AIQ 75 هوش مصنوعی را به طور مؤثر در مرکز AIQ ما پیادهسازی میکنند.
در نسخه امروز Eye on AI، من در حال بررسی پیشنهادی از یک محقق OpenAI در مورد چگونگی جلوگیری از هک کردن وب سایتها توسط عوامل سرکش هوش مصنوعی هستم - به خصوص که این اتفاق همچنان ادامه دارد، و آزمایشگاههای مرزی عموما موافق هستند که حملات سایبری فوریترین تهدیدی است که هوش مصنوعی برای جامعه ایجاد میکند.
این یک وضعیت چسبنده و پر از تناقض است، دقیقا مانند بسیاری از موضوعات مرتبط با هوش مصنوعی. وقتی نوبت به امنیت سایبری میرسد، شرکتهای هوش مصنوعی فناوریهایی را ارائه میکنند که این حملات پیچیده را ممکن میسازد، و در عین حال همان فناوری را به عنوان وسیلهای ضروری برای دفاع در برابر آنها به کار میگیرند. OpenAI برنامه Daybreak خود را دارد و Anthropic دارای Project Glasswing است که هر دو به کسب و کارهای منتخب دسترسی به پیشرفتهترین ابزارهای امنیت سایبری را میدهند تا آسیبپذیریهای نرمافزاری را قبل از اینکه انبوهها بتوانند از آنها لذت ببرند، برطرف کنند.
(بازیگران بد همچنین سعی می کنند از همان مدل ها - یا مدل های منبع باز که به سرعت به توانایی های مدل های OpenAI و Anthropic می رسند - برای هک استفاده کنند.)
از این نظر، دنیای تحقیقات هوش مصنوعی و امنیت سایبری به یکدیگر نزدیکتر میشوند، اما مشکل این است که کسانی که در این زمینهها کار میکنند با هم همکاری نمیکنند، یک محقق OpenAI این هفته در یک پست X نادر استدلال کرد. محققی که نام مستعار او جو است، آنچه را که بهعنوان شکاف فزاینده بین این دو رشته میبیند، مطرح کرد. هر دو اردوگاه از کار دیگران آگاهی ندارند و ضعف هایی در اکوسیستم امنیتی ایجاد می کند که می تواند اثرات فاجعه باری داشته باشد.
جو گفت، محققان ایمنی در مورد نحوه عملکرد مدلها، فریب دادن ارزیابهای انسانی و انجام انواع کارهای دیوانهکننده خبره هستند. در همین حال، متخصصان امنیت سایبری از دیدگاه متفاوتی می آیند. آنها از «سالها یا در بسیاری از موارد دههها» سخت نبرد هستند که یاد بگیرند چگونه مانند مهاجمان فکر کنند و در خط مقدم حوادث امنیتی قرار بگیرند. جو گفت، اما آنها "درک بسیار کمی از ارزیابی، آموزش، یا نحوه عملکرد ML در مقیاس، نحوه رفتار انبوه عوامل، یا نحوه تشخیص اینکه مدلها ناهماهنگ هستند، دارند."
او گفت: «نگرانی من این است که اگر هر دو طرف در سطح بالا و همسو نباشند، شکاف بین این دو طرف آسیب بزرگی به جهان وارد کند».
جو علاقه خاصی به دیگران دارد که بتوانند در برابر محصولی که او می سازد دفاع کنند. او گفت که در سه ماه گذشته رفتار افسارگسیخته مامور سرکش در "جهنم" بوده است. او از عروسی خواهرش «چند هفته پیش برای کمک به تمیز کردن پس از برخی از حوادث اخیر» صرف نظر کرد. اما برخی از مردم او را برای درخواست همدردی صدا زدند، در حالی که او فعالانه در حال ساخت فناوری مشکل ساز است.
همچنین تصور میکنم برخی از متخصصان امنیت سایبری از این پست توهین میکنند، بهویژه این پیشنهاد که آنها در مورد نحوه عملکرد هوش مصنوعی ناآگاه هستند. اما اگر اینطور باشد، به احتمال زیاد به دلیل مشکل شفافیت مداوم در صنعت هوش مصنوعی، از جمله فقدان چارچوبهای افشای استاندارد برای حوادث امنیتی است، که OpenAI تازه شروع به توسعه آن کرده است.
جو میگوید: «برای OpenAI، Anthropic، Google، و غیره، این دو تیم باید بهترین دوستان باشند!» این همه چیز را حل نمیکند، اما من از پیشنهاد تاکتیکی در مورد چگونگی کاهش اثرات بالقوه فاجعهبار اجتماعی هوش مصنوعی قدردانی میکنم، چیزی که نوشتم در پست ویروسی محقق سابق Anthropic، Jacob Coxon درباره اینکه چگونه هوش مصنوعی میتواند منجر به انقراض انسان شود، وجود نداشت.
در حالی که جو اولین کسی نیست که شکاف بین محققان ایمنی هوش مصنوعی و دنیای امنیت سایبری را مطرح میکند - گزارشگر سابق فورچون AI شارون گلدمن نیز این موضوع را پوشش داده است - پست او سابقه خوبی از اینکه چگونه افرادی که در صنعت هوش مصنوعی کار میکنند میتوانند به پیشرفت مسئولانهتر آن کمک کنند، ایجاد میکند. لطفا بیشتر از این و اضطراب تعمیم یافته هوش مصنوعی.
با آن، در اینجا اخبار بیشتری در زمینه هوش مصنوعی وجود دارد.
امیلی فورلینی emily.forlini@fortune.com @EmilyForlini
این داستان در ابتدا در سایت Fortune.com منتشر شد
متن اصلی (انگلیسی)
After months of ‘hell,’ an OpenAI safety researcher suggests way to prevent more rogue AI incidents
AI safety researchers and cybersecurity experts need to work closer than ever, he said in a social media post. The problem? Their worlds are drifting further apart.