پایان گروه مرزهای هوش مصنوعی مایکروسافت ریسرچ

در سال 2023 پس از انتشار ChatGPT، برای من واضح بود که تحقیقات برای موفقیت باید سازماندهی بیشتری از آنچه در تحقیقات مایکروسافت وجود دارد انجام شود. میزان حمایت و تمرکزی که سایر گروه‌های تحقیقاتی به کار می‌بردند به اندازه‌ای بود که حتی با ایده‌ای هوشمندانه که توسط یک نفر دنبال می‌شد، احتمالا دیر و قانع‌کننده نبود، زیرا یک نفر نمی‌توانست به اندازه کافی سریع حرکت کند و خطوط پایه‌ای که یک نفر می‌توانست جمع‌آوری کند آنقدر قوی نبود که واقعا نشان دهد که یک ایده ارزش پرواز را دارد.

چندین نفر دیگر نیز به همین ترتیب فکر کردند و ما سازماندهی شدیم تا سازمان فرعی AI Frontiers را در MSR ایجاد کنیم.

در AI Frontiers، ما فعالانه تلاش کردیم تا تلاش‌های تحقیقاتی منسجمی را سازماندهی کنیم. این دقیقا «بالا به پایین» یا «پایین به بالا» نبود، بلکه بیشتر جایی در وسط آشفته بود. البته اختلاف نظرهایی وجود داشت و حل آنها گاهی اوقات بسیار چالش برانگیز بود. در دسترس بودن محاسبات نیز یک تنگنای اغلب شدید بود. اما در سطح بالا این تصور عمومی برای من وجود داشت که سازمان در انجام کارهای پیشگامانه موفق بوده است، به ویژه با توجه به اندازه کوچک AIF (حدود 50 نفر) و نسبت به آنچه قبلا می توانستیم انجام دهیم.

بخش عمده ای از کار AIF این بود که چگونه عوامل را وادار به کار کنند، به عنوان مثال چارچوب ارکستراسیون Autogen و عامل استفاده از رایانه فارا. با این حال، در نیویورک، چندین نفر از ما علاقه مند به توسعه قابلیت های اساسی جدید مانند هدف نهفته بعدی بودیم که برون یابی را امکان پذیر می کند، Dion3 که یک میون بهینه/بهبود یافته ایجاد می کند، یا ترانسفورماتور با پهنای باند کامل که به طور موثر مدل ها را از طریق بازگشت به طور قابل توجهی قدرتمندتر می کند.

ما همچنین به طور فعال سعی کردیم با بقیه MSR به اشتراک بگذاریم. به عنوان مثال، AIF تصمیم گرفت یک monorepo توسعه دهد که به طور پیش فرض با تمام تحقیقات مایکروسافت به اشتراک گذاشته شد. به عنوان مثال، در این monorepo پایه کد پیش‌آموزشی مقیاس لبه با قابلیت اثبات شده بود که ماه گذشته در سخنرانی اصلی COLM درباره آن صحبت کردم. این ممکن است جزییات جزئی به نظر برسد، اما مقدار تلاش لازم برای ایجاد یک خط لوله ایجاد مدل به خوبی شکل گرفته، قابل توجه است و من از حداقل 4 تلاش (3 مورد دیگر که در مخازن عمومی در MSR نیستند) در تلاش برای توسعه خطوط لوله ساخت مدل آگاه هستم.

در اوایل سپتامبر ما دوباره به هوش مصنوعی مایکروسافت تبدیل شدیم. در ظاهر این می‌تواند منطقی باشد، زیرا کنار هم قرار دادن دو سازمان هوش مصنوعی فرصت‌هایی برای تمرکز بهتر تلاش ایجاد می‌کند، و مکان‌هایی وجود داشت که AIF از MAI جلوتر بود و البته بالعکس (MAI بسیار بزرگتر است). در عمل، مسائل اساسی وجود دارد، زیرا فلسفه رهبری عطف سابق MAI ناسازگار است. فلسفه اصلی در آنجا مقیاس بندی است، و نه تحقیق تهاجمی.

این ممکن است برخی از افرادی را که طبیعتا فکر می‌کنند روش ساخت مدل‌های بهتر از طریق تحقیق است شوکه کند، اما شواهد زیادی وجود دارد که مدل‌های بزرگ‌تر مدل‌های بهتری هستند تا جایی که کیفیت پیش‌بینی‌هایی که انجام می‌دهند و از منظر تجاری، بازگشت به مقیاس بسیار قابل پیش‌بینی‌تر از بازگشت به تحقیق است. البته در یک محیط فقط مقیاس‌بندی، تلاش اولیه بر روی بدست آوردن/ساخت/تصفیه داده‌ها است، که کاملا یک قدم با آنچه ما روی آن کار می‌کردیم فاصله دارد. جدای از تمرکز ناسازگار، شواهد زیادی وجود داشت که نشان می‌داد آنها واقعا ما را نمی‌خواستند.

موقعیت سختی است که در آن قرار بگیرید. به نظر من تمرکز صرفا مقیاس‌پذیری هم نادرست است و هم سرگرم‌کننده نیست. این یک حالت شکست قابل درک است - مقیاس‌بندی ساده است و برای افراد معمول است که با اتخاذ کوته‌بینانه یکی از آنها و کنار گذاشتن ایده‌آل‌های رقیب چندگانه (مانند نوآوری و اندازه) از معاوضه بین چند ایده‌آل رقیب صرف نظر کنند. اما بازگشت به تحقیق واقعی و قابل توجه است.

برای مثال، آزمایش‌های Bytedance نشان می‌دهد که یک نوع از ترانسفورماتور با پهنای باند کامل ممکن است با مدلی با اندازه دو برابر قابل مقایسه باشد، که دلالت بر صرفه‌جویی قابل توجهی در آموزش و استنتاج برای همان قابلیت دارد. آیا حساب کنید – با توجه به اینکه صنعت سرمایه‌گذاری‌های نزدیک به یک تریلیون دلار دارد، ارزش نصف کردن هزینه آموزش و استنباط چقدر است؟

بنابراین من افرادم را تا جایی که می توانستم قرار دادم و رفتم. من کاملا خوش شانس هستم که بسیاری از افراد دیگر در جهان هستند که می توانند ارزش تحقیق و نوآوری را که مرکز ذاتی من است، ببینند. به نظر می رسد که سایر اعضای تیم رهبری موسس AIF به نتیجه مشابهی رسیده اند.

این یک سوال ایجاد می کند: چرا به MSR برنگردید؟ من کمی با مردم چت کردم اما نتوانستم از دو مانع جدی دور شوم. اولین مورد این است که من راحت نیستم در شرکتی باشم که تحقیقاتی که انجام می دهم راهی برای استفاده واقعی ندارد. زمانی که در MAI بودم نمی‌توانستم نوآوری را مورد استفاده قرار دهم (یا حتی به طور جدی در نظر بگیرم)، بنابراین چشم‌انداز موفقیت از MSR بسیار کوچک به نظر می‌رسد. دوم این است که می ترسم در MSR یک شکست وجود داشته باشد: انجام کار خوب و اتفاقات خوب. تا آنجا که من می توانم بگویم ما کار خوبی انجام دادیم و به طور غیر توافقی دوباره سازماندهی شدیم.

متأسفانه، من تعجب نخواهم کرد که ببینم چنین اتفاقی ادامه می یابد تا زمانی که رهبری MSR اراده ای برای سازماندهی مؤثر برای دیدار با لحظه ایجاد کند.

بنابراین AI Frontiers به ​​پایان رسیده است. متأسفم که می گویم در سال آینده با افرادی که در آنجا کارآموزی می کنند، کارآموزی وجود نخواهد داشت - من در موارد زیادی از کار با کارآموزان لذت بردم. و بهترین آرزوها را برای مردمی که پشت سر گذاشتم. تصور یک مایکروسافت آینده که اگر افراد تحت کنترل بتوانند کمی خرد بیشتر توسعه دهند، برای تحقیق دوباره جذاب نمی شود، سخت نیست.