Fireworks می گوید که شما پول خود را برای هوش مصنوعی هدر می دهید مگر اینکه از همه مدل ها استفاده کنید

هوش مصنوعی Fireworks با کمک به شرکت‌ها برای اجرای مدل‌های هوش مصنوعی در دیتاسنترهای خود بسیار خوب است، اگرچه راب فرگوسن معاون رئیس‌جمهور با انجام این کار مخالف است.

فرگوسن در مصاحبه‌ای به The Register گفت که در حالی که Fireworks AI، یک ارائه‌دهنده استنتاج مدیریت شده، از هوش مصنوعی اولیه پشتیبانی می‌کند، "ما سعی می‌کنیم مردم را بیشتر و بیشتر از آن دور کنیم زیرا صادقانه بگویم، این فقط جنبه اقتصادی دارد."

او معتقد است که سخت‌افزار GPU آنقدر گران است که اگر نتوانید از آن به‌طور کامل استفاده کنید، هدر دادن پول است. او گفت که ده هزار پردازنده گرافیکی نشان دهنده یک میلیارد دلار سرمایه است.

او گفت: "شما نمی خواهید آن چیزها بیکار بنشینند."

فرگوسن گفت، برای شرکت‌هایی که حجم کاری بسیار حساسی دارند، Fireworks خوشحال است که کاری را انجام دهد – سرویسی به نام Sovereign را برای همین هدف ارائه می‌کند و شرکای مانند مایکروسافت دارد که می‌توانند کمک کنند. او گفت، اما بیشتر کارهای استنتاج احتمالا به آن سطح از محافظت نیاز ندارند.

او توضیح داد: «وضعیت هنر برای همه داشتن مجموعه ای از مدل ها است. "در واقع، من فکر می کنم اکثر مردم نمی دانند که بهترین مدل در جهان Astra نیست. بهترین مدل در جهان Fable نیست. بهترین مدل به معنای واقعی کلمه یک نمونه کار است و ما می توانیم آن را ثابت کنیم. شما همیشه بهتر است بین چند مدل مسیریابی کنید تا یک مدل منحصر به فرد."

این کاری است که Fireworks از طریق Nexus و API آن در کنار رقبایی مانند Together AI، Baseten و DeepInfra انجام می دهد. به عنوان یک پلت فرم استنتاج مدیریت شده، هوش مصنوعی Fireworks وظایف استنباط را به هر مدلی، اشتراک مدل مرزی یا API که برای انجام آنها مناسب تر است، هدایت می کند.

اما این شرکت فقط مسیریابی ساده لوحانه ای مانند دروازه هوش مصنوعی انجام نمی دهد. این ارزیابی وظایف به محض ورود آنها و هدایت آنها به مدل بهینه است.

فرگوسن توضیح داد: «ما روترهای سفارشی می‌سازیم. "مدل خودکار ما به طور مداوم در حال به روز رسانی است به طوری که ما واقعا از طریق آن می گذریم و سختی کار را درجه بندی می کنیم و می بینیم که آیا شباهت هایی وجود دارد که مدل ها دارند، مانند Kimi در جاوا اسکریپت کمی بهتر از Python است، چیزهایی مانند این."

او معتقد است که مزیت رقابتی این شرکت، تیم مهندسی کرک آن است که از کار بنیانگذاران آن بر روی PyTorch، یک کتابخانه یادگیری ماشین منبع باز پر استفاده است.

او توضیح داد: «ما هم در بخش آموزش و هم در بخش استنباط کارشناس عملکرد هستیم. "افرادی که فکر می‌کنم نمی‌دانند مثلا اعداد چقدر مهم است. بنابراین وقتی از یک مدل استفاده می‌کنید، همیشه ترکیبی از متخصصان نامیده می‌شود - یک متخصص ماشین متفاوتی است.

"و بنابراین شما همه این ماشین‌های مختلف را دارید. در واقع زمانی که در حال آموزش هستید مهم است که دقیقا به ماشین مناسب برگردید، زیرا اگر این کار را نکنید، ماشین دیگر همچنان به این سوال پاسخ می‌دهد، اما به روشی کمی متفاوت پاسخ می‌دهد. بنابراین ما باید بدانیم که چگونه توپولوژی بسازیم تا داده‌ها را به فضای مناسب بازگردانیم. ما باید دقت ممیز شناور را درک کنیم که می‌توانیم همه اینها را انجام دهیم. مسیریابی از طریق یک پارچه پیچیده از طریق به طور بالقوه بیش از یک ارائه دهنده بسته به اینکه همه چیز وجود دارد.

بنابراین ما واقعا متخصص سیستم هستیم."

او استدلال می‌کند که هایپرمقیاس‌کننده‌ها به شما یک GPU می‌دهند، اما این مسئولیت شماست که از آن استفاده کنید. مزیت آتش بازی شامل توانایی به حداکثر رساندن استفاده در مقیاس و حفظ دقت و سرعت مدل است.

فرگوسن گفت هوش مصنوعی به اقتصاد بازمی گردد.

"مردم فقط سعی می کنند چیزهای بیشتری را برای استفاده از هوش مصنوعی بیابند و [برای پاسخ به سوالاتی مانند] چقدر بیشتر می توانم به مدل های حافظه پنهان ارسال کنم، چقدر بیشتر می توانم به مدل های باز ارسال کنم، چه زمانی به این تخصص نیاز دارم؟" او گفت. بنابراین ما دائما با مشتریان کار می کنیم تا به آنها کمک کنیم تا معیارهای ارزیابی خود را ارائه دهند.»

فرگوسن توضیح داد که یکی از دلایل این امر این است که شرکت های مدل مرزی در مورد نرخ های ذخیره سازی خود شفاف نیستند. او گفت Fireworks با یک شرکت علم داده کار می کرد و حدود 90 درصد از وظایف را در حافظه پنهان ذخیره می کرد.

او گفت: «ما به Opus [آنتروپیک] نگاه کردیم و 30 درصد مواقع در حال ذخیره بود. "این کار به طور مداوم دوباره کار با هوش مصنوعی انجام می داد. و با هوش مصنوعی، دوباره کاری تا حد زیادی بزرگترین هزینه شما است. اگر به حافظه پنهان نمی رسید، پس هزینه های شما کاملا دیوانه کننده است. بنابراین هزینه توکن هزینه واقعی نیست. هزینه هر کار است. و آنها این را از شما پنهان می کنند. بنابراین ما همیشه به مشتریان خود می گوییم که هزینه هر کار را دنبال کنند، زیرا این همان است."

فرگوسن پیشنهاد کرد یکی دیگر از عواملی که شرکت‌ها باید در محاسبات هزینه‌های خود در نظر بگیرند، ارزش داده‌هایشان است و اینکه آیا آنها این داده‌ها را برای آموزش ارائه می‌دهند یا خیر.

او گفت: "من فکر می کنم مردم ارزش داده های خود را به شدت دست کم می گیرند."

Fireworks AI یک سیاست حفظ داده صفر دارد، "اما بسیاری اوقات،" فرگوسن گفت، "این شرکت‌های دیگر [این کار را نمی‌کنند، و شما باید برای داده‌های خود پول دریافت کنید. هیچ‌کس در ابتدای این دوره کنونی واقعا نمی‌دانست که این مدل‌ها حافظه‌دهنده هستند. اما اکنون شواهد زیادی وجود دارد که این مدل‌ها هستند. بنابراین اگر می‌خواهید از داده‌های شما استفاده کنید، باید از آن استفاده کنید."

اما این فقط در مورد هزینه نیست. فرگوسن گفت سرعت مورد توجه قرار نگرفته است.

او گفت: "سرعت چیزی است که مردم اغلب نمی دانند می توانند آن را بخواهند." این یک تغییر دهنده بازی برای من است و نحوه کار من با هوش مصنوعی بسیار متفاوت است وقتی که پاسخ‌ها به همان سرعتی که من از آنها می‌پرسم برمی‌گردند.

مزیت مجموعه مدل چیست، زیرا این شرکت به فعالیت های مسیریابی مدل خود اشاره می کند؟ فرگوسن ادعا می کند که صورتحساب حداقل 50 درصد کوچکتر است.

او گفت: «بنابراین می گوییم شش تا هشت برابر ارزان تر است. "واقعیت این است که از آنجایی که بسیاری از افراد در ابزارسازی خود اولویت دارند، ما به نوعی تضمین می‌کنیم که در مواردی که هنوز از ترکیبی از مدل‌های بسته و باز استفاده می‌کنید، همیشه می‌توانیم تضمین کنیم که صورت حساب شما بلافاصله به نصف کاهش می‌یابد. همانطور که ما در مورد آن مطمئن هستیم. و سپس سوال این است که آیا می‌توانیم شما را به استفاده از چیزهای بیشتری تشویق کنیم؟" ®