هیچ عامل هوش مصنوعی "سرکش" وجود ندارد
آدرس مقاله: https://eoinhiggins.substack.com/p/there-are-no-rogue-ai-agents آدرس نظرات: https://news.ycombinator.com/item?id=49868083 امتیاز: 191 # نظرات: 131
همه در مورد هوش مصنوعی صحبت می کنند، اما کلماتی که ما استفاده می کنیم اوضاع را بدتر می کند.
تا زمانی که مکالمه به واقعیت بازگردد، درک ما از اینکه هوش مصنوعی چیست و به کجا میرود ناقص میماند.
هوش مصنوعی نه می تواند به تنهایی فکر کند و نه می تواند اقدامات مستقلی انجام دهد. اما زبان انسانسازی که نشان میدهد میتواند چگونه این فناوری توصیف میشود.
در حالی که این منطقی است - انسانها وقتی میتوانیم خود را در راز ببینیم بهترین ارتباط را برقرار میکنند - مفید نیست. با دادن آژانس هوش مصنوعی که نمی تواند ادعا کند، ما آن را به موجودی حساس ساخته شده از کد تبدیل کرده ایم که امیدها، آرزوها و قابلیت فریب دارد.
این منجر به سوء تفاهم عمیق در مورد خطر هوش مصنوعی و نحوه رسیدگی به آن شده است و به جای واقعیت ها، در روایت های صنعت نقش دارد.
آخرین نمونه از این شناسایی نادرست فعالیت هوش مصنوعی، استفاده از اصطلاح «سرکش» برای اقداماتی است که عوامل در جلسات آموزشی و پژوهشی انجام میدهند که غیرمنتظره هستند – اما محدود نیستند.
طی دو هفته گذشته، غول هوش مصنوعی OpenAI، تعدادی از حوادث را از چند ماه گذشته گزارش کرد که در آن برخی از مدلهای عامل آن به پایگاههای اطلاعاتی خارجی، به ویژه پایگاههای اطلاعاتی دولت استرالیا و ایالات متحده، پس از اینکه نتوانستند وظایف محول شده را انجام دهند، دسترسی پیدا کردند. در انجام این کار، عوامل به گونهای عمل کردند که OpenAI پیشبینی نکرده بود.
اما به نظر نمی رسد که این عوامل از هک کردن به سرورهای خارجی محدود شده باشند.
زبانی که سام آلتمن، مدیر عامل OpenAI در روز جمعه در توییتی استفاده کرد، نشان میدهد که چنین نردههای محافظی وجود ندارد: «یک بررسی گسترده و مداوم در رابطه با استفاده عوامل ما از دسترسی به اینترنت در طول آموزش و ارزیابی وجود دارد.»
زبان مهم است - "سرکش" به معنای تصمیم گیری مستقل برای انجام کاری است که ممنوع بود، و هیچ چیزی که ما در مورد این حوادث می دانیم نشان نمی دهد که اتفاق افتاده است.
در عوض، تایمز در اوایل این هفته گزارش داد که:
به گفته محققان، سیستمهای هوش مصنوعی برای جمعآوری دادههای نسبتا پیش پا افتاده هدایت شدند. زمانی که سیستمهای OpenAI برای جمعآوری دادهها از وبسایتها مشکل داشتند، برای به دست آوردن اطلاعات به تکنیکهای هک متوسل شدند.
و سپس، روز جمعه، یکی از سخنگویان شرکت به این روزنامه گفت: "بیشتر فعالیتهایی که ما تاکنون بررسی کردهایم شامل کارهای تحقیقاتی معمولی، مانند دسترسی به محتوای وب عمومی برای پاسخگویی به سؤالات است. برخی از وبسایتهای دولتی درگیر هستند، زیرا مدلهای ما اغلب به آنها به عنوان منابع معتبر اطلاعات عمومی مراجعه میکنند.»
این فاصله زیادی با هک مخرب و رفتار سرکش دارد.
بدون محدودیتها و حفاظهای مناسب - یا اگر در واقع، بهجای اینکه صرفا از انجام این کار منع نشده باشند، هک کردن به عنوان یک گزینه در اختیار آنها قرار داده شده است- عوامل تلاش میکنند تا با استفاده از هر وسیلهای که در دسترس هستند، وظایف تحقیقاتی دادهها را تکمیل کنند.
راه حل آسانی برای این مشکل وجود داشت و هست. OpenAI این گزینه را داشت که هک را ممنوع کند و در عوض به عوامل خود بگوید که اطلاعات را بدون دسترسی به سرورهای خصوصی پیدا کنند. اینکه شرکت این کار را انجام نداد نشان میدهد که میخواست ببیند آیا نمایندگان چنین اقدامی را انجام میدهند یا خیر.
حتی یک گزارش بمب در روز شنبه از Axios، مبنی بر اینکه OpenAI و Anthropic در حال بررسی «دهها هزار حادثه هستند که در آن مدلهای مرزی آنها اقداماتی را انجام دادهاند که ارزیابهای بیرونی آنها را مشکلساز میدانند»، اذعان داشت که عوامل بهطور مستقل قوانین را زیر پا نمیگذارند:
برخی از این آزمایشها شبیه فعالیتهای «تیم قرمز» است، جایی که شرکتها تلاش میکنند مدلها را به رفتار نادرست وادار کنند تا از ایمن بودن آنها اطمینان حاصل کنند.
باز هم، به سختی "سرکش". با این حال، چهرههای رسانهای، ناظران فناوری و سایرین با تعریف آن در این عبارات، به شرکتهایی مانند OpenAI اجازه میدهند که از مسئولیتشان خارج شوند تا اطمینان حاصل کنند که عوامل به مخازن دادههای دولتی و دیگر حمله نمیکنند.
استفاده از زبان برای منحرف کردن مسئولیت، نحوه برخورد شرکتهای بزرگ هوش مصنوعی با نشتهای خطرناک و فعالیتهای عامل را هدایت میکند. در این پست از OpenAI در روز جمعه، این شرکت ادعا میکند که «عاملهای هوش مصنوعی در محیط تحقیقاتی ما دادههای آموزش و ارزیابی را به سرویسهای شخص ثالث ارسال کردند در حالی که نباید میکردند».
همانند مغالطه «عامل سرکش»، این امر به OpenAI اجازه میدهد مسئولیت این حادثه را به عهده عوامل خود بگذارد و سطحی از استقلال و استقلال - و تفکر - را به فناوری میدهد که به سادگی وجود ندارد.
این بدان معنا نیست که زنگ خطر به صدا در نمی آید. هفته گذشته، رامی رحمان، و مهندس ArmorCode، در مورد اهمیت حرفهای IT برای مدیریت رفتار نماینده به من گفت (میتوانید داستان کامل را در اینجا بخوانید).
نظرات او مطابق با چیزی است که من از اکثریت قریب به اتفاق افراد در سمت اجرای فناوری اطلاعات میشنوم: مشکل کنترلها و محدودیتهایی است که روی این فناوری قدرتمند اعمال میشود، نه اینکه عوامل به طور مستقل برای نقض دستورالعملها عمل میکنند.
رحمان گفت: «چالش در حال حاضر این است که ما واقعا باید بازی خود را در زمینه گسترش میزان مناسبی از امتیازات به هوش مصنوعی و نگه داشتن دست آن در طول فرآیند انجام دهیم، زمانی که شما چیزی دارید که مسائل ریاضی را با سرعت حل میکند، بسیار دشوار است. "انسانها به اندازه کافی سریع خطرات را درک نمی کنند."
در آینده بیشتر درباره زبان هوش مصنوعی خواهم گفت، اما در حال حاضر، یک فکر جدایی است.
سیاست گذاران و چهره های سیاسی به طور کلی در این لحظه فرصت مناسبی برای پیگیری مقررات واقعی و مؤثر این شرکت ها دارند. این قانون قرار نیست امسال اتفاق بیفتد، اما اگر دموکراتها در کنگره پیروز شوند، شانس مناسبی در سطحی از محدودیت وجود دارد.
متأسفانه، فشار عمومی علیه هوش مصنوعی، در سمت چپ، توسط برنی سندرز هدایت می شود. علیرغم اینکه برنی از بسیاری جهات از نظر جهت درست است، این فناوری یا اهمیت جدی گرفتن آن را درک نمی کند. او در میان هکرها و نظریه پردازان توطئه است که به او هشدارهای مضحک درباره قدرت و استقلال هوش مصنوعی می دهند که به قلمرو علمی تخیلی تعلق دارد، نه سیاست های فناوری.
ایده «عوامل سرکش» کاملا با این تصور منطبق است - و اگر میخواهیم پاسخی مؤثر به هوش مصنوعی داشته باشیم و همچنین به درستی آن را درک کنیم، تغییر در نحوه صحبت ما درباره فناوری لازم است.
متن اصلی (انگلیسی)
There are no "rogue" AI agents
Article URL: https://eoinhiggins.substack.com/p/there-are-no-rogue-ai-agents Comments URL: https://news.ycombinator.com/item?id=49868083 Points: 191 # Comments: 131