من گروهی از عوامل هوش مصنوعی را مسئول یک تیم فوتبال فانتزی قرار دادم. آنها بهتر از انسان ها نیستند - هنوز
برای آزمایش مهارتهای پیشبینی هوش مصنوعی، Codex را در یک تیم فانتزی رها کردم. در ابتدا سعی کرد ارلینگ هالند را نیمکت نشین کند، اما خیلی زود متوجه خطاهای خود شد.
من با توپ کریستالی مجهز به هوش مصنوعی خود مشورت کردهام و این به من میگوید که مدلهای مرزی در آینده نزدیک در پیشبینی بسیار بهتر خواهند شد. فقط از تیم فانتزی لیگ برتر من بپرسید. چند هفته پیش، من گروه کوچکی از عوامل هوش مصنوعی را برای ایجاد و مدیریت یک فهرست آزمایشی مستقر کردم. با توجه به گسترش عوامل هوش مصنوعی در تقریبا همه جنبه های زندگی ما، می خواستم بدانم آیا انبوهی از ربات ها می توانند یک تیم برنده را گرد هم بیاورند. من برای اولین بار چند سال پیش به پتانسیل هوش مصنوعی در اینجا نگاه کردم، با ابزاری از موسسه تورینگ بریتانیا که تیمها را بعد از مدل انتخاب میکرد.
داده های لیگ فانتزی قبلی پیشنهادات آن به طرز قابل ملاحظهای دلهرهآور بود – اطلاعات دنیای واقعی مانند مصدومیت بازیکن یا تغییر مدیریت تیم را در بر نداشت. این بار، در حالی که برای ملاقات با خانواده در پرواز بودم، از Codex کمک خواستم. ابتدا، من به مدل چند مقاله تحقیقاتی مرتبط دادم. سپس، از آن خواستم تا یک مهار (دستورالعملها و کدهایی که عوامل مختلف را در مراحل مختلف راهنمایی میکند) بسازد که اخبار اخیر را بررسی کرده و مدلی را برای پیشبینی اجرا کند. این به سرعت با تنظیمی روبرو شد که به نظر می رسید اطلاعات بیشتری را نسبت به من جمع آوری و تجزیه و تحلیل می کند.
و با این حال از اینکه چقدر پیشنهادات اولیه تیم احمقانه بودند شگفت زده شدم. ترک ارلینگ هالند روی نیمکت؟ واقعا کدکس؟ سپس از Codex خواستم تا تیمی از نمایندگان ایجاد کند که کارهای متفاوتی انجام میدهند: چندین خبر و پستهای وبلاگ را میخوانند. دیگرانی که نتایج اخیر را تحلیل کردند. بیشتر که مدل های اجرا شد. و گروهی که پیشنهادات را نقد کردند. به نظر می رسید که این به طور قابل توجهی پیشنهادات را بهبود بخشد.
من سعی کردم تعداد نمایندگان را به بیش از 100 افزایش دهم، امیدوار بودم که این سیستم را همچنان هوشمندتر کند، اما علاوه بر اجرای صورتحساب API من، تغییر زیادی نکرد. با این حال، بهبود از چند سال پیش چشمگیر بود. به گفته هایفنگ زو، دانشمند کامپیوتر در دانشگاه شیکاگو که کاربردهای هوش مصنوعی را در موقعیتهای بازار مطالعه میکند، مدلهای جدیدتر ممکن است حتی در پیشبینی بهتر عمل کنند، زیرا میتوانند حجم عظیمی از اطلاعات دنیای واقعی را مصرف کرده و تجزیه و تحلیل کنند، و میتوانند سیستمهای پیچیدهتری را برای حدسهای خود تنظیم کنند. "هوش مصنوعی در درک هوشمندتر می شود
ژو به من می گوید. اواخر سال گذشته، Xu از محبوبیت فزاینده بازارهای پیش بینی مانند Kalshi و Polymarket شگفت زده شد. او متعجب بود که چگونه بهترین مدل های تجاری ممکن است در آن بازارها کار کنند، بنابراین در کنار چندین همکار، شروع به آزمایش مهارت های پیش بینی آنها کرد. آنها مدل هایی را حدس می زدند که مثلا چه کسی قهرمان NBA خواهد شد و رئیس جمهور ترامپ با چه کسی ملاقات خواهد کرد. خو به من می گوید: «خیلی سریع متوجه شدیم که مدل ها واقعا خوب عمل می کنند.
او میگوید که این مدلها گاهی اوقات میتوانستند بدون هیچ دستورالعمل یا راهنمایی خاصی بهتر از افراد معمولی عمل کنند. در آزمایش آنها، GPT-5 بهترین در پیش بینی بود و پس از آن Grok 4، Claude Sonnet، Gemini و Llama قرار گرفتند. این تیم در ادامه پروفتر آرنا را توسعه داد، معیاری که توانایی یک مدل را برای پیشبینی اندازهگیری میکند.
این یکی از تعدادی معیار است که برای آزمایش قابلیتهای آیندهنگری هوش مصنوعی طراحی شده است. دیگری به نام Prediction Arena، از محققان دانشگاه هاروارد و شرکتی به نام Arcada Labs، اخیرا به مدلهای مرزی 10000 دلار برای شرطبندی در بازارهای پیشبینی طی 57 روز داده است. مدلها بهطور مداوم در آزمایش خود پول از دست دادند، اما محققان شواهدی از بهبود مداوم آنها در طول زمان مشاهده کردند. Xu به من می گوید که هوش مصنوعی می تواند با استفاده از یک مهار سفارشی به بهترین شکل پیش بینی کند، و خاطرنشان می کند که داشتن عواملی با وظایف منحصر به فرد - خواندن اخبار، جمع آوری داده های دیگر، و تجزیه و تحلیل کل سیستم،
به عنوان مثال - به نظر می رسد موثرترین رویکرد باشد. جالب اینجاست که هوش مصنوعی هنوز هم اغلب از کارشناسان بسیار ماهری که به عنوان ابرپیشبینیکنندگان شناخته میشوند عقب است. Xu توضیح میدهد که اگرچه انسانها نمیتوانند اطلاعات زیادی مصرف کنند، اما درک آنها از دنیای واقعی - یعنی پویایی پشت یک خبر - عمیقتر است. با این حال، شواهد فزاینده ای وجود دارد که لبه ابر پیش بینی انسان در حال فرسایش است. مسابقه ای به نام Metaculus Cup اخیرا نشان داد که هوش مصنوعی گاهی اوقات می تواند حتی بهترین پیش بینی کننده های انسانی را شکست دهد.
و معیاری به نام ForecastBench میتواند شواهد بیشتری ارائه دهد که نشان میدهد هوش مصنوعی میتواند با مهارتهای انسانی مطابقت داشته باشد، زمانی که نتایج یک مسابقه در حال انجام به زودی به پایان برسد. در واقع، من فکر میکنم میتوانیم انتظار داشته باشیم که آزمایشگاههای بزرگ توجه خود را به آینده نگری به عنوان یک روش جدید قدرتمند برای اندازهگیری پیشرفت در هوش ماشینی معطوف کنند. به نظر میرسد همه این آزمایشهای پیشبینی نشان میدهند که مانند ریاضیات، کدنویسی و قانون، صنایعی که در تجارت پیشبینی میشوند، ممکن است به زودی توسط هوش مصنوعی تغییر کنند.
شاید بهترین تاجران انسان نوع جدیدی از نقش را بر عهده بگیرند: نظارت و سازماندهی عوامل هوش مصنوعی که می توانند آینده را بسیار بهتر از آنچه می توانند پیش بینی کنند. در حال حاضر، پیشنهادات هوش مصنوعی من هنوز آنقدرها چشمگیر به نظر نمی رسد. تیم آن در هفته های گذشته از میانگین پیشی نگرفته است. من مطمئنا از هیچ یک از پیشنهادات آن در انتخاب های خودم استفاده نخواهم کرد. اما هوش مصنوعی بدون شک بهتر خواهد شد، شاید خیلی زود تسلط بر لیگ فانتزی را بسیار آسان کند. با این حال، امیدوارم که اینطور نشود، زیرا باعث از بین رفتن لذت تلاش برای به دست آوردن حق فخرفروشی با بردن همه چیز به تنهایی می شود.
این نسخه ای از خبرنامه آزمایشگاه هوش مصنوعی ویل نایت است. خبرنامه های قبلی را اینجا بخوانید.
متن اصلی (انگلیسی)
I Put a Bunch of AI Agents in Charge of a Fantasy Soccer Team. They’re Not Better Than Humans—Yet
To experiment with AI’s predictive skills, I let Codex loose on a fantasy team. It tried to bench Erling Haaland at first, but it soon learned the error of its ways.