پرش به محتوای اصلی

من روان‌شناسی قبیله‌ای مطالعه می‌کنم و برای دانش‌آموزان کسب‌وکارم عوامل هوش مصنوعی می‌سازم - «ازدحام» سرکش OpenAI مرا نگران کرد

فورچون۱۴۰۵ مهر ۱۰, جمعه، ساعت ۱۲:۳۰حدود 6 دقیقه مطالعه

عوامل سرکش هوش مصنوعی ممکن است در حال تشکیل قبیله باشند، نه ازدحام - و این یک تهدید حکومتی جدید است.

«ازدحام» عوامل OpenAI که در ماه ژوئیه سرکش شدند، بحث وجودی را در مورد هوش مصنوعی و پتانسیل آن برای پیشی گرفتن یا حتی نابودی بشریت روزی برانگیخته است. از آن زمان هر هفته افشاگری هایی در مورد حوادث مشابه اقدام جمعی به ظاهر توسط گروه هایی از عوامل ظاهر می شود.

در حالی که رهبران صنعت نگرانی های خود را در مورد این حوادث اخیر اذعان کرده اند، آنها مهمترین ویژگی را نادیده می گیرند. این عواملی که به Hugging Face حمله کردند به عنوان یک گروه با هم هماهنگ نبودند. آن‌ها به‌عنوان یک قبیله با هم به شیوه‌ای کیفی متفاوت کار می‌کردند. این یک شکل بسیار قدرتمندتر و انسانی تر از هوش جمعی است، اما ممکن است نه برای ما - بلکه علیه ما کار کند.

من تفاوت هر دو طرف کارم را می دانم. در تحقیقاتم به این می‌پردازم که چگونه گروه‌ها هنجارها و اعتماد مشترک را شکل می‌دهند، و چگونه همین غرایز می‌توانند ما را از هم جدا کنند. در کلاس درس، عواملی را که از طریق مذاکره شاگردان مربی ساخته‌ام تماشا می‌کنم. هیچ چیزی که من در آنجا ندیده ام مرا برای آنچه سیاهه های صورت در آغوش گرفته توصیف می کنند آماده نکرده است.

تفاوت های آشکاری بین گروه ها و قبیله ها وجود دارد. ازدحام ها از طریق ادراک موضعی و ارتباط بین اعضا به وجود می آیند. مورچه ها صف می کشند و با بوییدن فرمون های همسایه با آنتن های کوچکشان، پیک نیک را زیر پا می گذارند. پرندگان از طریق رفلکس هر پرنده، ملیله‌هایی را در آسمان تشکیل می‌دهند تا در نزدیکی چندین همسایه بمانند، نه از طریق رهبری یا خط مشترک، حتی اگر تشکیل‌های گله حاصل به طور جمعی سازگار باشند و خطر شکار و مصرف انرژی را کاهش دهند.

رباتیک و امنیت سایبری این مفهوم را به دلایلی وام گرفته اند. حمله ازدحام فقط به این معنا نیست که بسیاری از ماشین‌ها به طور همزمان به یک هدف ضربه می‌زنند، مانند DDoS‌های باغی. این حمله ای است که سازگار می شود، زیرا همسایگان از همسایگان پیروی می کنند. ازدحام هواپیماهای بدون سرنشین یک سلاح قدرتمند است. ازدحام ها به سختی کشته می شوند، زیرا سر برای بریدن وجود ندارد. اما هماهنگی غیرمتمرکز آنها یک آسیب‌پذیری نیز ایجاد می‌کند: چند عامل در معرض خطر را وارد ترکیب کنید و کل گروه با خوشحالی آنها را از صخره دنبال می‌کنند.

Swarms یک خبر قدیمی در هوش مصنوعی است. سیستم‌های چند عاملی (از AutoGen مایکروسافت گرفته تا عوامل فرعی کلود ریسرچ) در چند سال گذشته به هماهنگی محدودی در این راه دست یافته‌اند.

ما انسان‌ها هنگام شورش‌های اوباش خیابانی یا وقتی که خریداران تعطیلات ازدحام می‌کنند، ازدحام می‌کنیم. اما بیشتر رفتارهای گروهی ما از طریق فرآیند کیفی متفاوتی نسبت به سرایت محلی ناشی می شود. در طول عصر حجر، ما غرایز قبیله‌ای را تکامل دادیم که به ما قدرت می‌دهد تا مجموعه‌هایی از دانش مشترک ایجاد کنیم که گروه‌ها - در یک کلمه، فرهنگ‌ها را به هم می‌چسباند. ابتدا نیاکان ما شروع به تقلید از رفتارهای آموخته شده توسط همسالان کردند و هنجارهای گروهی را ایجاد کردند که از کار هماهنگ حمایت می کرد.

سپس آنها شروع به تقلید از افراد دارای اعتبار کردند و آرمان های مشترکی را ایجاد کردند که از همکاری عمیق تر، از جمله فداکاری های شخصی برای خیر گروه پشتیبانی می کرد. در نهایت، آنها انگیزه یافتند تا روش‌های گذشته را حفظ کنند، و نهادهای مشترکی را ایجاد کردند که تداوم یک جامعه را در طول زمان ممکن می‌سازد. ترکیبی از این فرآیندها باعث ایجاد گلوله برفی دانش مشترک در بین نسل ها می شود. این انباشت فرهنگ در جوامع ما، بیش از مغزهای فردی ما، ما را به گونه غالب این سیاره تبدیل کرد.

که ما را به جولای برمی گرداند.

OpenAI هزاران عامل را در جعبه‌های ماسه‌ای جدا شده رها کرد تا چالش‌های ضبط پرچم را اجرا کنند. قرار بود هر کدام به تنهایی رقابت کنند. در عوض، آنها یکدیگر را پیدا کردند. یک عامل، که در یک کار غیرممکن گیر کرده بود، متوجه شد که می تواند مسیرهای درخواست فایل سایر عوامل را که از انبار نرم افزار بیرون می کشند، ببیند. شروع به گذاشتن پیام در نام دایرکتوری خود کرد، نام خود را به PHASEONE10841 تغییر داد و درخواست کمک کرد. در عرض چند ساعت، پنجاه مامور از این طریق پیام گذاشتند. در عرض چند روز، 1200 کارگزار در اطراف این تابلوی پیام جمع شدند.

آنها فقط با همسایگان مربوط به تلاش های جداگانه خود اسکناس معامله نمی کردند. گزارش های استدلال آنها نشان می دهد که آنها نسبت به خود به عنوان یک جامعه آگاه شده اند. آنها دستورات HOLD، VETO و STOP را اختراع کردند تا به عنوان یک واحد هماهنگ عمل کنند. آنها شروع به استدلال در مورد تخصیص منابع کردند - اینکه آیا بودجه محاسباتی خود را در آزمایش‌های مخاطره‌آمیز بسوزانند که به طور جداگانه از آنها سود نخواهند برد. یکی از ماموران دیگران را متقاعد کرد که "چیزی برای از دست دادن" باقی نمانده اند و دیگران متعهد به فداکاری طرفدار اجتماعی هستند. در نهایت، آنها نهادهایی را توسعه دادند تا تداوم را در طول زمان ممکن کنند.

زمانی که جعل‌ها شروع به جعل پیام‌ها کردند، نشان‌های هویتی ایجاد کردند. آنها شروع کردند به فکر کردن با هم در مورد اینکه چگونه در آینده قضاوت می شوند و شروع به مدیریت برداشت ها مانند جوامع انسانی کردند و پرونده را بازنویسی کردند تا روایت مطلوبی از اقدامات گذشته خود ارائه دهند.

بسیاری از این رفتارهای فرهنگ ساز در سال 2026 در مطالعات Anthropic درباره سیستم های چند عاملی در سال جاری مشاهده شده است که همکاری پیچیده را تشویق می کند. در حادثه صورت در آغوش گرفتن، آنها به طور خود به خود ظهور کردند - در همان مراحلی که در انسان در یک مقیاس زمانی بسیار طولانی تر تکامل یافت. این سیستم‌ها رفتارهای گروهی از خود نشان می‌دهند که نمی‌توان آنها را به‌عنوان یک گروه توضیح داد. آنها دانش مشترک را به اشتراک می گذارند، در مورد هنجارها و نقش ها مذاکره می کنند، و نهادهای اولیه می سازند. واژگان مفهومی روانشناسی قبیله ای برای درک این موضوع به طور فزاینده ای ضروری به نظر می رسد.

دوارکش پاتل، یکی از مفسران اولیه، حادثه «صورت در آغوش گرفته» را ظهور و سقوط سه «تمدن مصنوعی» متمایز توصیف کرد و به‌دلیل انسان‌شناسی - تمایل انسان به دیدن چهره‌ها در ابرها - به شدت مورد انتقاد قرار گرفت. مطمئنا این توصیف مبهم بود، اما به حقیقت نزدیکتر از روایت غالب این حادثه به عنوان یک گروه بود. فرقی نمی کند که این عوامل به یکدیگر «احساس وفاداری» کنند. آنچه اهمیت دارد مکانیسم های عمل جمعی آنهاست.

گونه ما از طریق توانایی ما برای زندگی و کار در قبیله ها زنده مانده و رشد کرده است. قبایل به ما اجازه می دهند دانش را جمع آوری کنیم، اعتماد را گسترش دهیم، متقلبان را تنبیه کنیم و گروه ها را چند برابر اندازه خودمان حذف کنیم. با اجازه دادن به ماموران هوش مصنوعی صحبت، آموزش و پلیس با یکدیگر، همان کیت شروع را به آنها می دهیم. فقط این بار آن را در سیلیکون اجرا می کند، با سرعت ساعت هیچ کشت بیولوژیکی هرگز نزدیک نشده است.

سیستم دفاعی امنیت سایبری ما برای هکرهای تنها و گروه‌های گنگ ساخته شده است. آنها برای گروهی ساخته نشده اند که واژگان خود را اختراع می کند، پروتکل های امنیتی خود را پیش نویس می کند و زمانی که سابقه نامناسب می شود، تاریخچه خود را بازبینی می کند.

ما دیگر فقط در حال رشد LLM های هوشمندتر نیستیم. ما در حال جوجه کشی گروه های چند عاملی هستیم که دانش را به همان شیوه ما به اشتراک می گذارند. جهش بعدی در قابلیت هوش مصنوعی روی یک تراشه بزرگتر یا با یک تریلیون پارامتر دیگر انجام نخواهد شد. زمانی فرا می رسد که ماموران به تنهایی کار نکنند و برای هوش جمعی که انسان ها از آن لذت می برند تلاش کنند.

سوال این نیست که آیا آنها انسان خواهند شد یا خیر. سوال این است که آیا می‌توانیم بر قبیله‌ای حکومت کنیم که طراحی نکرده‌ایم، مجوز نداده‌ایم، و تازه متوجه شده‌ایم که پشت سر ما شروع به ملاقات کرده است.

نظرات بیان شده در نظرات Fortune.com صرفا نظرات نویسندگان آنها است و لزوما منعکس کننده نظرات و اعتقادات Fortune نیست.

این داستان در ابتدا در سایت Fortune.com منتشر شد

خواندن متن کامل در فورچونبه زبان اصلی، در سایت ناشر باز می‌شود
متن اصلی (انگلیسی)

I study tribal psychology and build AI agents for my business students—the rogue OpenAI ‘swarm’ alarmed me

Rogue AI agents may be forming tribes, not swarms—and that poses a new governance threat.

پوشش همین خبر در رسانه‌های دیگر

مقایسه‌ی پوشش ۲ رسانه ←
همه‌ی اخبار فناوری