یک روش جدید برای اندازه‌گیری مدل‌های هوش مصنوعی نشان می‌دهد که تهدید چین برای OpenAI و Anthropic ممکن است بیش از حد افزایش یافته باشد.

لوگوی DeepSeek در گوشی هوشمند تصویر توسط عمر مارکز/SOPA Images/LightRocket از طریق Getty Images رتبه‌بندی اصلاح‌شده «تحلیل مصنوعی» شکاف بین بهترین مدل‌های هوش مصنوعی بسته و وزن باز را افزایش داد.

بسیاری از آزمایش‌ها اکنون خصوصی هستند، اما این شرکت وظایف و نحوه وزن کردن آنها را نیز تغییر داد.

هوش مصنوعی وزن باز در کدنویسی همچنان رقابتی است. ارقام استفاده فقط نمای محدودی از تقاضا را ارائه می دهد. مدل‌های هوش مصنوعی چینی در رتبه‌بندی دقیق‌تر از رقبای آمریکایی به شدت عقب افتاده‌اند و سؤالات جدیدی را در مورد اینکه آیا تهدید ناشی از فناوری هوش مصنوعی ارزان‌تر و رایگان در دسترس اغراق‌آمیز شده است، ایجاد کرده است.

Artificial Analysis، یک شرکت مستقل برجسته که عملکرد هوش مصنوعی را اندازه‌گیری می‌کند، اخیرا سیستم آزمایشی خود را بازبینی کرده است تا نحوه استفاده مردم از این فناوری را بهتر نشان دهد.

یک تغییر مهم: بسیاری از آزمایش‌ها اکنون مخفی نگه داشته می‌شوند و آموزش مدل‌های خود را برای شرکت‌های هوش مصنوعی سخت‌تر می‌کند تا عملکرد خوبی روی آن‌ها داشته باشند.

نتایج قابل توجه بود.

به گفته آنالیز مصنوعی، بهترین مدل‌های به اصطلاح با وزن باز، در سیستم قبلی تنها سه امتیاز از پیشتازان کلی عقب‌تر بودند. تحت سیستم جدید، این شکاف به 12 امتیاز افزایش یافت.

فاصله 12 امتیازی شامل Kimi K3.1 Pro متعلق به Moonshot بود. در میان مدل‌هایی با وزن‌هایی که به صورت عمومی منتشر شده‌اند، رهبران فقط 32 امتیاز کسب کردند، در مقایسه با 58 امتیاز برای پیشرو کلی آن زمان، کلود اوپوس 5.5 آنتروپیک.

این یافته ها می تواند پیامدهای مهمی برای صنعت هوش مصنوعی داشته باشد و میلیاردها دلار سرمایه گذاران برای آن سرمایه گذاری می کنند.

شرکت‌های چینی مدل‌های هوش مصنوعی قدرتمندی را منتشر کرده‌اند که سایر کسب‌وکارها می‌توانند آن‌ها را دانلود و تطبیق دهند، که اغلب با هزینه‌های کمتر نسبت به جایگزین‌های آمریکایی است. این نگرانی را برانگیخت که شرکت‌هایی مانند OpenAI و Anthropic ممکن است برای دریافت قیمت‌های برتر برای فناوری اختصاصی خود تلاش کنند.

رتبه بندی جدید نشان می دهد که تهدید ممکن است اغراق شده باشد و به طور بالقوه زمینه سرمایه گذاری برای IPO برنامه ریزی شده Anthropic و فهرست احتمالی OpenAI در آینده را تقویت کند.

Sridhar Ramaswamy، مدیر عامل Snowflake و یکی از مدیران سابق گوگل، اهمیت این تغییر آزمایشی را برجسته کرد.

او در X نوشت: «زمانی که معیارهای روز خصوصی شدند، شکاف مدل باز از 3 امتیاز به 12 رسید. «آیا مدل‌های باز در حال پیشرفت بودند یا آزمایش لو می‌رفت؟»

"هک معیار"

نظر او: وقتی شرکت‌های هوش مصنوعی دقیقا بدانند که فناوری آنها چگونه آزمایش می‌شود، می‌توانند آن را برای برتری در آن وظایف خاص آموزش دهند. این لزوما به این معنا نیست که مدل های آنها در دنیای واقعی به همان اندازه خوب عمل می کنند.

ساتیا نادلا، مدیر عامل مایکروسافت و دیگر کارشناسان هوش مصنوعی این را "هک معیار" نامیده اند. مخفی نگه داشتن تست ها این هک ها را سخت تر می کند.

نتایج جدید نشان می‌دهد که شرکت‌های آمریکایی پیشتاز بیشتری نسبت به آنچه قبلا تصور می‌شد، دارند، به ویژه در وظایف علمی پیچیده. حتی کلود هایکو 5.5، یک مدل کوچکتر آنتروپیک، از هر مدل هوش مصنوعی با وزن هایی که به صورت عمومی منتشر شده بود، بهتر عمل کرد.

حتی طرفداران مدل‌های وزن باز اذعان کردند که احتمالا چیزی اشتباه بوده است.

ناتان لامبرت، یکی از بنیانگذاران آزمایشگاه تریلیوم، که در مورد مدل های زبان بزرگ، به ویژه مدل های وزن باز تحقیق می کند، گفت: "من فکر می کنم شاخص قبلی به شدت مدل های وزن باز را چاپلوسی می کرد."

استفاده کوچکتر

دلیل دیگری برای زیر سوال بردن تهدید مدل‌های هوش مصنوعی با وزن باز وجود دارد: واقعا مردم چقدر از آنها استفاده می‌کنند؟

Dax Raad، یکی از بنیانگذاران شرکت توسعه نرم افزار OpenCode، اخیرا ترافیک را از طریق OpenRouter، یک سرویس محبوب که به توسعه دهندگان امکان دسترسی به مدل های هوش مصنوعی ارائه دهندگان مختلف را می دهد، بررسی کرده است.

او تخمین زد که تقریبا تمام ترافیک DeepSeek روز گذشته که از طریق OpenRouter جریان می‌یابد، می‌تواند توسط یک رک از رایانه‌های قدرتمند انویدیا مدیریت شود که تقریبا ۶ تا ۷ میلیون دلار هزینه دارند.

با توجه به توجه زیادی که مدل های هوش مصنوعی چینی به خود جلب کرده اند، این مقدار به طرز شگفت انگیزی کمی از قدرت محاسباتی است.

OpenRouter تنها بخشی از بازار را نشان می دهد، بنابراین ارقام آن تمام تقاضا برای مدل های وزن باز را نشان نمی دهد.

اما نکته گسترده‌تر Raad مهم است: بیشتر سرمایه‌گذاری عظیم زیرساخت‌های هوش مصنوعی این صنعت توسط ارائه‌دهندگان بزرگی مانند OpenAI و Anthropic انجام می‌شود، نه توسعه‌دهندگان کوچک‌تر که از مدل‌های باز استفاده می‌کنند.

بیش از 1 میلیارد نفر را در نظر بگیرید که هر ماه از ChatGPT استفاده می کنند. این افراد همیشه از مدل‌های هوش مصنوعی بسته OpenAI استفاده می‌کنند – به طور بالقوه فعالیت بیشتری نسبت به سرویس‌های دروازه هوش مصنوعی مانند OpenRouter دارند.

دو سوال

در مجموع، رتبه‌بندی‌ها و ارقام استفاده دو سؤال را در مورد هوش مصنوعی با وزن باز ایجاد می‌کنند: آیا واقعا به خوبی فناوری پیشرو آمریکایی است و آیا تقاضا به همان اندازه که تبلیغات تبلیغاتی نشان می‌دهد قابل توجه است؟

هشدارهای مهمی وجود دارد.

لامبرت Trillium گفت که مدل‌های با وزن باز در زمینه‌هایی مانند توسعه نرم‌افزار بسیار رقابتی باقی می‌مانند و می‌توانند کنترل بیشتر و هزینه‌های بالقوه کمتری را به مشاغل ارائه دهند.

با این حال، شواهد جدید روایت قدرتمندی را که صنعت را شکل داده است به چالش می کشد: اینکه شرکت های چینی هوش مصنوعی به سرعت رهبران آمریکا را دستگیر کرده و مدل های تجاری آنها را تهدید می کنند.

برای سرمایه گذارانی که ارزیابی های عظیم OpenAI و Anthropic را می سنجند، این تمایز بسیار مهم است.

برای خبرنامه AI Insider در اینجا ثبت نام کنید. از طریق ایمیل به آدرس abarr@businessinsider.com با من تماس بگیرید

مقاله اصلی را در Business Insider بخوانید