این استارت آپ کوچک امنیت سایبری با استفاده از Claude توانست OpenAI را هک کند و جایزه 6500 دلاری دریافت کند.

یک استارت آپ هوش مصنوعی آسیب پذیری هایی را در زیرساخت OpenAI پیدا کرد. تصویر توسط لئون نیل/گتی ایماژ Hacktron، یک استارت آپ کوچک امنیت سایبری، با کمک کلود به پایگاه کد OpenAI نفوذ کرد.

این شرکت آسیب‌پذیری‌های سیستم‌های OpenAI را شناسایی کرد و برای این کشف ۶۵۰۰ دلار پرداخت کرد.

پتانسیل کنترل نشدن عوامل مخرب هوش مصنوعی اخیرا ترس از آخرالزمان هوش مصنوعی را برانگیخته است. یک استارتاپ کوچک هوش مصنوعی از کلود برای هک کردن پایگاه کد داخلی OpenAI مدت کوتاهی پس از هک OpenAI Hugging Face استفاده کرد.

زین ژانگ، بنیانگذار و مدیرعامل Hacktron، به Business Insider گفت که تیم تحقیقاتی او بررسی آسیب‌پذیری‌های امنیتی در شرکت‌های هوش مصنوعی مرزی مانند OpenAI را آغاز کرده‌اند تا مشخص کنند آیا آنها شکاف‌هایی دارند که می‌توانند توسط عوامل هوش مصنوعی مورد سوء استفاده قرار گیرند یا خیر. Hacktron یک استارت آپ امنیت سایبری هوش مصنوعی مستقر در سانفرانسیسکو است.

در ماه جولای، تیم ژانگ شکاف هایی را در زیرساخت OpenAI کشف کرد. با توجه به افشای Hacktron در مورد این حادثه که در روز یکشنبه منتشر شد، هر کاربر یا کارمند OpenAI که به انجمن کمک جامعه OpenAI وارد می‌شود، ممکن است حساب‌های ChatGPT و Codex خود را هک کند.

سپس Hacktron سعی کرد از این آسیب پذیری از طریق Claude سوء استفاده کند. ژانگ گفت که این شرکت به برنامه راستی‌آزمایی سایبری Anthropic دسترسی داشت که محدودیت‌های سایبری خاصی را برای کلود برای تحقیقات امنیتی مجاز کاهش داد.

این تیم موفق شد حساب یکی از کارکنان OpenAI را هک کند و از حساب Codex کارمند درخواست کند تا تغییراتی را در مخزن کد داخلی OpenAI پیشنهاد دهد. Hacktron گفت که تیم در آنجا متوقف شد، به هیچ کد داخلی دسترسی نداشت و مشکل را به OpenAI پرچم گذاری کرد.

Hacktron در افشای خود گفت که این شرکت جایزه 6500 دلاری را از کشف خود دریافت کرده است. این استارت آپ کمتر از یک سال پیش راه اندازی شد و کمتر از 10 کارمند دارد.

یکی از سخنگویان OpenAI در بیانیه ای ایمیلی به Business Insider درباره Hacktron گفت: "ما از محققان برای تماس با ما و به اشتراک گذاشتن یافته های خود تشکر می کنیم. ما مجوزهای توکن های ورود به انجمن را محدود کردیم و توکن ها و جلسات آسیب دیده را لغو کردیم."

ژانگ درباره این حادثه گفت: «دنیای ایمنی هوش مصنوعی و امنیت سایبری در حال همگرایی هستند و ما فکر می‌کنیم که داشتن کارشناسان امنیت سایبری بیشتر در گفتگو همیشه چیز خوبی برای صنعت است.

نمایندگان Anthropic به درخواست اظهار نظر Business Insider پاسخ ندادند.

افشای Hacktron در حالی است که امنیت هوش مصنوعی در حال تبدیل شدن به یکی از مهمترین موضوعات در فناوری است. در ماه‌های اخیر، OpenAI، Anthropic و Meta فاش کرده‌اند که عوامل آن‌ها در حین آزمایش دست به اقدامات سرکش زده‌اند. ترس از آخرالزمان هوش مصنوعی که توسط عوامل هوش مصنوعی مخرب کنترل نشده هدایت می شود، در این ماه به تعداد زیادی ظاهر شده است.

مقاله اصلی را در Business Insider بخوانید