نمایش HN: Gemini 4 Argon بازی StarCraft را بازی می کند

StarSkirmish Bench ارزیابی می کند که هر LLM با توجه به 1 ساعت زمان ساعت دیواری چقدر می تواند یک ربات StarCraft قوی بنویسد. نسخه 2 StarSkirmish Bench نسخه 1.1 را با مدل‌های پرچم‌دار OpenAI، Anthropic، Google و Meta به‌روزرسانی می‌کند که هر کدام در مهار CLI شخص اول آزمایشگاه خود اجرا می‌شوند.

امتیاز یک LLM نشان‌دهنده میزان برد آن در برابر فهرستی از ربات‌های نوشتاری انسانی و ربات‌های آزمایشی رقابتی است.

1 ساعت دویدن، در مهار CLI شخص اول آن. نمرات میانگین نرخ برد (0-100) از 5 اجرا هر مدل در برابر فهرستی از ربات‌های نوشتاری انسانی رقابتی است.

Gemini 4 Argon در بالا اجرا می شود، بالاترین تلاش استدلالی موجود برای آن. هر مدل دیگر در حداکثر اجرا می شود.

GPT-6 Astra بالاترین امتیاز StarSkirmish Bench v0.2 LLM است که یک گام واضح جلوتر از GPT-6.1 Sol در رتبه دوم است. Gemini 4 Argon، Claude Opus 5.5 و Claude Fable 5.1 از لحاظ عملکردی در پشت سر آنها قرار دارند و همگی بین 37 تا 39 امتیاز دارند.

امتیاز StarSkirmish Bench در برابر میانگین هزینه API یک ساعت اجرا. هزینه در مقیاس ورود به سیستم است.

قیمت گذاری Muse Wonder Full بر اساس قیمت گذاری API Muse Wonder است.

GPT-6.1 Sol ارزش منحصر به فرد خوبی ارائه می دهد: این تنها LLM در جذاب ترین ربع است که با کمی بیش از یک دهم هزینه GPT-6 Astra در هر اجرا رتبه دوم را کسب می کند.

قوی ترین ربات های نوشته شده توسط انسان هنوز از هر مدلی جلوتر هستند. در مقابل Stardust، PurpleWave و BananaBrain، بهترین مدل، GPT-6 Astra، تنها 7 درصد از بازی های خود را برنده می شود.

میانگین نرخ برد 5 ربات هر مدل در برابر ربات های نوشته شده انسانی برتر Stardust، PurpleWave، و BananaBrain.

محدودیت استدلال 1 ساعته یک عامل است، اما این مسابقات در سه نقشه 2 بازیکن انجام می شود. شرایط واقعی مسابقات ربات نوشته شده توسط انسان به طور قابل توجهی سخت تر است.

پرچمداران جدید گوگل و متا جایگزین نسخه 1.1 Gemini 3.8 Flash و Muse Spark 1.3: Gemini 4 Argon در رتبه سوم و Muse Wonder Full هفتم شدند. GPT-6 Astra و Claude Opus 5.5 در نسخه 0.1 پوشش داده شدند.

ردیابی عامل هر اجرا نحوه گذراندن ساعت خود را ثبت می کند. قوی‌ترین پیش‌بینی‌کننده امتیاز یک مدل، میزان تمرین آن در برابر ۷ ربات قوی فهرست است.

امتیاز StarSkirmish Bench در برابر تعداد بازی های تمرینی که میانگین دوره یک مدل در برابر 7 ربات فهرست قوی در طول یک ساعت انجام شده است. خط چین یک تناسب خطی در 9 مدل است.

GPT-6 Astra، GPT-6.1 Sol و Gemini 4 Argon در اوایل ساعت شروع به بازی با این ربات‌ها می‌کنند، در حالی که ربات‌های خودشان هنوز به آنها می‌بازند. Muse Wonder Full، Claude Haiku 5.5 و GPT-6 Luna به ندرت یا هرگز انجام نمی دهند. Claude Fable 5.1 نقطه پرت است: در حالی که تقریبا به طور کامل در برابر ربات های ضعیف تر تمرین می کند، امتیاز 37 را کسب می کند.

نرخ برد هر مدل 5 اجرا. هر نقطه ربات نهایی یک اجرا است. این خط از کمترین تا بالاترین اجرا می شود، نوار میانگین آنها (امتیاز نیمکت مدل) و باند یک انحراف استاندارد (σ) را نشان می دهد.

نتایج نیز بین اجراهای یک مدل متفاوت است. Gemini 4 Argon بسیار بیشتر از پرچمداران آزمایشگاه های دیگر متفاوت است: بهترین و بدترین اجراهای آن 18 امتیاز از هم دارند، در مقابل 9 برای GPT-6 Astra و 8 برای Claude Opus 5.5.

هر LLM یک ربات Protoss را در C++ در برابر BWAPI 4.4.0 می‌نویسد که در OpenBW بازی می‌شود. بازی ها Protoss در مقابل Protoss در سه نقشه نردبانی هستند: Heartbreak Ridge، Benzene و Destination. یک بازی زمانی به پایان می رسد که ساختمان های یک طرف همه ویران شوند. بازی‌هایی که به حداکثر 60 دقیقه (86400 فریم) می‌رسند مانند نردبان BASIL انتخاب می‌شوند: هر چه تعداد kills + razings بالاتر برنده شود.

LLM از یک ربات اسکلت شروع می شود که فقط استخراج می کند، با کد منبع سه ربات آزمایشی و دو کتابخانه استاندارد ربات: FAP، یک شبیه ساز رزمی، و BWEM، یک تحلیلگر نقشه. هر چیزی که در پوشه ربات خود در زمان پایان ساعت وجود دارد، ربات نهایی آن است، بنابراین باید ربات را در حال کامپایل نگه دارد.

LLM ابزارهایی برای کامپایل ربات خود، انجام بازی های تمرینی، و خواندن خلاصه هر بازی، رونوشت و گزارش ربات خود دارد. حریفان تمرین به لایه‌هایی دسته‌بندی می‌شوند: D (سه ربات آزمایشی)، C و B (هر کدام سه ربات نوشتاری انسانی با رتبه متوسط)، A (BananaBrain، Locutus) و S (Stardust، PurpleWave).

5 ربات نهایی هر مدل، هر یک از 13 ربات فهرستی، 10 ربات رقابتی نوشته شده توسط انسان و 3 ربات آزمایشی را، 6 بار در هر نقشه، روی دانه های تازه بازی می کنند. برخلاف نسخه 1.1، ربات‌های LLM با یکدیگر بازی نمی‌کنند.

StarSkirmish Bench نسخه 0.1 هر مدلی را در یک مهار با استدلال "بالا" اجرا کرد. نسخه 0.2 هر مدل را در مهار CLI شخص اول آزمایشگاه خود با بالاترین تنظیمات استدلالی که ارائه می دهد اجرا می کند.

نسخه 0.1 هر مدلی را در یک دسته ثالث خنثی اجرا کرد. نسخه 0.2 مدل های هر آزمایشگاه را در مهار CLI شخص اول خود اجرا می کند. هر دو نسخه به هر مدل 1 ساعت زمان می دهند.

نسخه 0.1 هر مدلی را با تلاش استدلال بالا اجرا کرد. نسخه 2.2 آنها را حداکثر اجرا می کند.

Gemini 4 Argon در بالا اجرا می شود، بالاترین تلاش پشتیبانی می شود.

هر مهار نسخه 2، زمینه مدل را در حدود 250 هزار توکن فشرده می کند. وقتی مکالمه به آن نقطه نزدیک می شود، CLI آن را فشرده می کند و مدل ادامه می دهد. برای مثال، Codex، CLI OpenAI، به مدل‌های GPT پنجره توکن پیش‌فرض 272k خود را می‌دهد و پس از پر شدن 90 درصد، فشرده‌سازی را آغاز می‌کند.

ابزارهای جستجوی وب و واکشی وب CLIها خاموش هستند و نماینده به اینترنت دیگری دسترسی ندارد. CLI قبل از شروع ساعت نصب می شود و ساعت از زمانی که عامل شروع می شود محاسبه می شود. ابزار ارسال وجود ندارد: مهار ربات را پس از اتمام زمان جمع آوری می کند.

نسخه 2.2 رتبه بندی های Elo نسخه 1 را با نرخ های برد ساده جایگزین می کند. امتیاز یک ربات، میزان برد آن نسبت به بازی‌های مسابقاتش است، و امتیاز StarSkirmish Bench یک مدل، میانگین امتیازات 5 ربات‌های آن، از 0 (هر بازی باخت) تا 100 (هر بازی برنده) است.

از آنجایی که هر ربات یک فهرست ثابت را بازی می کند، بازی های آن به سایر ربات های LLM در این زمینه بستگی ندارد. همه آنها به صورت موازی اجرا می شوند و ربات های یک مدل جدید را می توان بدون پخش مجدد ربات های دیگر امتیاز داد. فهرست ثابت همچنین نوار را در طول زمان ثابت نگه می‌دارد، بنابراین امتیازات نسل‌های مختلف مدل مستقیم‌تر از رتبه‌بندی‌های Elo در یک زمینه قابل مقایسه هستند.

StarSkirmish دیگر پربازدیدترین ارزیابی‌ها را ردیابی نمی‌کند. این به سختی با شاخص هوش آنالیز مصنوعی (ρ 0.26) حرکت می کند، جایی که GPT-6 Astra، مدل برتر اینجا، تنها با چهارمین مدل از این 9 مدل مطابقت دارد. همچنین از Terminal-Bench 4.0 که از نزدیک در نسخه 0.1 آن را ردیابی کرده بود، فاصله گرفت. Claude Sonnet 5.5 و Muse Wonder Full هر دو نزدیک به بالای Terminal-Bench 4.0 هستند اما در اینجا نزدیک به پایین هستند.

امتیاز StarSkirmish Bench هر مدل در برابر امتیازات Vals IOI و WeirdML v3، با Spearman ρ بین آنها. خط چین بهترین تناسب در خط مستقیم است.

WeirdML v3 امتیاز 7 از 9 مدل: Gemini 4 Argon و Muse Wonder Full در زمان نگارش درج نشده است.

StarSkirmish هنوز Vals IOI، مشکلات برنامه نویسی المپیاد حل شده در C++ و WeirdML، معیاری مستقل از وظایف کدنویسی یادگیری ماشین غیرعادی را دنبال می کند. یکی از خوانش‌ها این است که ارزیابی‌های شدیدا محک‌شده به اهدافی تبدیل شده‌اند که مدل‌ها برای آنها تنظیم می‌شوند، در حالی که آزمایش‌های کمتر هدفمند از افق طولانی و وظایف کدگذاری دشوار هنوز با هم حرکت می‌کنند.