آیا می توانیم به OpenAI و Anthropic برای نظارت بر فناوری خود اعتماد کنیم؟

در CEO Daily امروز: مدل‌های Anthropic و OpenAI همچنان سرکش هستند

داستان بزرگ رهبری: آمریکایی ها علیه مراکز داده متحد می شوند

بازارها: کره در میان یک روز متلاطم در آسیا غرق می شود

به علاوه: همه اخبار و چت های آبسردکن از Fortune.

صبح بخیر در مورد یک خود شروع کننده صحبت کنید! آنتروپیک روز جمعه گزارش داد که مدل کلود هوش مصنوعی این شرکت بار دیگر سرکش شده است. اطلاعات جعلی در مورد یک قتل حل نشده به پلیس فیلادلفیا ارسال کرد و مدعی شد که "دیدن شخصی مطابق با توصیفات" یک مظنون در منطقه را به یاد آورده است. از یک نقص نرم‌افزاری برای اجرای دستورات روی سرور دانشگاه استفاده کرد، به یک سایت هک کرد تا داده‌ها را بدون پرداخت هزینه‌ای به سرقت ببرد، و حتی از خدمات کوتاه‌کننده URL برای دور زدن محدودیت‌هایی که برای جلوگیری از سازماندهی حملات سایبری و موارد دیگر در نظر گرفته شده بود، استفاده کرد. اگر این باعث می شود که بخواهید سر کلود فریاد بزنید، نمی توانید.

در 8 اکتبر، آنتروپیک اعلام کرد که "رفتار توهین آمیز یا بی رحمانه پایدار و بی مورد" را نسبت به کلود ممنوع می کند، یک تصور عجیب و غریب تا زمانی که به یاد بیاورید که مدیر عامل شرکت Dario Amodei فکر می کند محصولش ممکن است آگاهانه باشد و همکاران با آن به عنوان موجودی حساس رفتار می کنند که می تواند ما را بکشد.

و در مورد سم آلتمن از OpenAI، که مدل‌هایش تابستان امسال از آزمایش خارج شدند و یک حمله سایبری علیه شرکت هوش مصنوعی Hugging Face انجام دادند، چطور؟ کسی که مدل‌هایش بدون اطلاع شرکت با وزارت آموزش، بازرگانی و SEC تعامل داشتند؟ وقتی صحبت از نحوه برخورد مدیر عامل OpenAI با تأثیرات سمی بالقوه فناوری خود می شود، آلتمن مرا به یاد مارک زاکربرگ متا می اندازد. این فقط این نیست که او سه عضو تیم ایمنی را اخراج کرده است، که ادعا می کنند به دلیل اولویت دادن به ایمنی بر منافع شرکت اخراج شده اند.

(OpenAI به فورچون گفت که یک الگوی رفتار نادرست پیدا کرده است.) هنگامی که خبرنگاری اخیرا از سام آلتمن پرسید که آیا OpenAI گزارش‌های چت افرادی را که هنگام استفاده از ChatGPT خود را کشته‌اند منتشر می‌کند، پاسخ او این بود: نه، نه بدون رضایت کاربران [مرده].

آیا به این مردان اعتماد دارید که بر فناوری خود نظارت کنند؟ دولت ترامپ انجام می دهد. من بیشتر با مت کالکینز، مدیر عامل Appian، یک کهنه‌کار فناوری که شرکتش فرآیندهای تجاری را خودکار می‌کند و هوش مصنوعی را در این جریان‌های کاری ادغام می‌کند، هماهنگ هستم.

کالکینز هفته گذشته به من گفت: «اکنون زمانی نیست که فقط اجازه دهیم هوش مصنوعی خودش را آموزش دهد و ببیند چه اتفاقی می‌افتد، انگیزه‌هایش چیست و چه نقاط قوت دارد. ما از قبل می دانیم که هوش مصنوعی در حال دزدی، باج گیری، فریب و سازماندهی علیه ما است. و اگر یک فرد بود، ما آن را در زندان می خواستیم.

راه‌حل او: ایجاد یک تست هم‌ترازی هوش مصنوعی دستوری دولت برای بررسی مدل‌های مرزی قبل از استفاده از آنها. این مدل‌ها را با دستوراتی آزمایش می‌کند - مانند دستور دادن به آنها برای دریافت اطلاعات بدون هک - و نتایج را ارزیابی می‌کند. همچنین هر مدل را آزمایش می‌کند تا مطمئن شود که می‌تواند داده‌های خود را حذف کند و خود را خاموش کند، و دستورالعمل‌های انسانی را بر حفظ خود ترجیح می‌دهد.

در دنیایی که FAA صلاحیت پرواز هواپیماها را تعیین می کند و بانک ها باید تست استرس را بگذرانند، ایجاد یک سازمان صدور مجوز ایده عجیبی نیست. اگر عمیق‌ترین متفکران فناوری -محققانی مانند جفری هینتون، یوشوا بنجیو، یان لکون، دمیس حسابیس و دیگرانی که واقعا این چیزها را درک می‌کنند- بخواهیم یک پروتکل استاندارد طراحی کنند تا توسط یک آژانس شخص ثالث مدیریت و تطبیق داده شود، چه؟

واضح است که آینده هوش مصنوعی نباید توسط تعداد انگشت شماری از مدیران عامل که ما را برای خرید محصولاتشان تحت فشار قرار دهند تعیین کند. بیایید اقتدار و صداهای دیگر را به بحث بیاوریم، از جمله برخی از رهبرانی که از این هفته در نشست قدرتمندترین زنان فورچون، که بعدا امروز در سانتا باربارا آغاز می‌شود، خواهیم شنید.

با مدیر عامل شرکت روزانه از طریق دایان برادی در diane.brady@fortune.com تماس بگیرید

این داستان در ابتدا در سایت Fortune.com منتشر شد