اطلاعات بیشتر در مورد پیوندک Anthropic که از Mononoke جدا می شود

به‌روزرسانی: Nick G. از Anthropic به Hacker News پاسخ داده است و به پست وبلاگ آنتروپیک اسناد کافی اضافه شده است. من روی نوشته هایم تا زمانی که آنها را نوشتم پایبندم.

در پاسخ به پست دیروز در مورد حذف Scion Anthropic از Mononoke، تعدادی سوال و نگرانی دریافت کردم. در اینجا یک پیگیری برای پاسخ به موارد بزرگ وجود دارد.

این یک ریپوف بود. پست دیروز من با توجه به آنچه می‌دانستم سعی می‌کردم تا حد امکان خیرخواهانه باشد، و به ویژه اینکه شباهت به Mononoke عمدتا غیرعمدی بود و کمبود اعتبار نتیجه عدم دقت کافی بود. با این حال، پس از انتشار پست، من به طور خصوصی تأیید دریافت کردم که Scion عمدا و آشکارا Mononoke را پاره کرده است، و به ویژه اینکه در پرسنل همپوشانی وجود دارد. هیچ شانسی وجود ندارد که این یک ادای احترام ناخواسته بوده باشد. این چیزی است که من در مورد آن حدس داشتم، اما دیروز با توجه به چیزهایی که در آن زمان می دانستم راحت نبودم.

این شباهت بسیار عمیق تر از مفهوم داده های مشتق شده است. برخی از افراد اشاره کردند که داده های مشتق شده فقط یک شاخص است که یک مفهوم شناخته شده است. من می خواهم روشن کنم که داده های مشتق شده صرفا قابل توجه ترین شباهت بودند. بسیار عمیق تر از آن است و به کل مدل داده و همچنین تعدادی از ساختارهای ساخته شده در اطراف آن گسترش می یابد.

در اینجا نحوه توصیف Anthropic تغییرات Scion آمده است:

Mononoke نیز همین مفهوم را دارد. ما آن را تغییر مجموعه بونسای می نامیم. در همان مواد اکسید از سال 2022، در اینجا نحوه توصیف آنها است:

آنها دقیقا مشابه هستند. حتی نام "Scion" هجاهای "بونسای" را برعکس می کند و "B" را حذف می کند! این ممکن است تصادفی باشد یا نه.

برای داده‌های مشتق‌شده، من همچنین می‌خواستم توجه را به انواع شاخص‌هایی که ساخته می‌شوند جلب کنم، مانند سرزنش. نیاز به انجام این کار نتیجه طبیعی مدل داده بونسای است، بنابراین تعجب آور نیست که شاخص ها باید ساخته شوند. من توجهم را به شباهت قابل توجه در اصطلاحات و قاب بندی جلب کردم، زیرا واقعا در زمان من در تیم کنترل منبع متا به آن فکر می کردیم.

مجموعه دیگری از شباهت ها در API سمت سرور برای انجام پرس و جوها و جهش های کنترل نسخه است. این در Mononoke پیاده‌سازی شد، اما من معتقدم که سیستم‌های دیگر قبل از Mononoke نیز آن را داشتند، بنابراین من ادعای تازگی ندارم. اما اگر کاری که شما انجام دادید این باشد که کلود را به سمت Mononoke بگیرید و از آن بخواهید که آن را بازسازی کند، احتمالا چیزی بسیار مشابه طراحی می کنید.

مدل داده‌های بونسای کاملا متضاد است. من می خواهم تأکید کنم که حکمت غالب در کنترل منبع، مدل های داده مانند Git است. ساختن یک مرکل DAG به سبک ثبت پیش‌نویس بسیار دور از کاری بود که هر کس دیگری در سال 2018 انجام می‌داد، و نیازمند حل چندین مشکل سخت در طول مسیر بود، مانند نحوه انجام بازیابی‌های سمت سرور (تا آنجا که من می‌دانم یکی از چندین الگوریتم جدید در Mononoke). در حالی که من در سال 2018 تلاش تیمی برای طراحی و پیاده‌سازی مدل را رهبری می‌کردم، شخصا مجبور شدم آن را به چندین لایه مدیریت در متا توجیه کنم.

بسیار نادر است که سطوح پرش برای بحث در مورد مدل داده سیستم به طور عمیق وارد شوند.

مدل داده بونسای نیز بسیار موفق است. در این مرحله، تقریبا یک دهه بعد، این مدل بسیار فراتر از پارامترهای طراحی اولیه خود کشیده شده است و هنوز هم در حال پیشرفت است. تلاش تیمی برای ساخت آن یکی از افتخارآمیزترین دستاوردهای حرفه ای من است. با توجه به همپوشانی پرسنل، هیچ راهی منطقی وجود ندارد که تیم Scion از این موضوع مطلع نباشد. (به همین دلیل است که آنها کاملا منطقی آن را کپی کردند!) این ما را به نکته بعدی من می رساند:

مشکل در انتساب است نه کپی کردن. من این را در پست اصلی خود ذکر کردم، اما با کپی شدن ایده های خوب کاملا خوب هستم. من با حذف تصادفی شماره سریال ها خوب نیستم، و مطمئنا با حذف عمدی آنها خوب نیستم.

اعتبار نهال برای "درس های سخت به دست آمده" کافی نیست. چندین نفر اشاره کردند که Mononoke بخشی از اکوسیستم Sapling است. مشکل اینجاست که Sapling می تواند به معنای کلاینت VCS (sl، که در اصل از hg جدا شده است) یا سیستم به عنوان یک کل باشد. اگر قبلا در تیم کنترل منبع متا بودید، کاملا تفاوت بین این دو را می دانید. علاوه بر این، شباهت بسیار بسیار عمیق تر از صرفا "درس های به دست آمده" است. Lore VCS می تواند ادعا کند که از Mononoke الهام گرفته است، اما از جهات مختلفی نیز متفاوت است.

شباهت Scion به Mononoke فراتر از این است، و صرفا اعتبار دادن به Sapling (نه حتی Mononoke) با "درس های سخت به دست آمده" غیر صادقانه است. (و به طور خاص، من انتظار دارم که بخش تغییرات Scion تغییرات Bonsai را به عنوان چیزی که از آن کپی شده است ذکر کند.)

این باعث می شود که دستاورد Anthropic به طور قابل توجهی کمتر چشمگیر باشد. هرکسی که یک سیستم توزیع شده را وارد تولید کرده باشد می داند که در طول فرآیند تولید چه تعداد از مشکلات ظاهر می شود. «LLM ما این چیز را ساخت، تولید کرد و با تمام چالش‌های همراه در طول 5 ماه مقابله کرد» روایتی به‌طور قابل‌توجهی قانع‌کننده‌تر از «تیم کنترل منبع در متا 10 سال برای ساخت و تولید این سیستم بود و ما توانستیم LLM خود را به سمت آن سوق دهیم و آن را در 5 ماه بازسازی کنیم».

... و با این حال، هنوز هم یک دستاورد است. توانایی اشاره به یک سیستم موجود و بازسازی آن در این مدت کوتاه هنوز بسیار خیره کننده است. برای من تکان دهنده است که آنتروپیک فقط نگفت که Mononoke را کپی کرده و آن را در 5 ماه بازسازی کرده است. این هنوز قابل توجه است، حتی اگر آنقدرها هم بزرگ نباشد. مطمئنا آنها می دانستند که فراخوانده خواهند شد؟

همیشه خوب است که کار خود را در زمینه بزرگتر قرار دهید. همه ما روی شانه های غول ها ایستاده ایم! قرض گرفتن و تطبیق کار موجود با زمینه های جدید هیچ اشکالی ندارد - این اکثریت کاری است که من به عنوان یک مهندس انجام می دهم. وقتی کار خود را به عنوان مشتق قرار می دهید، کارهایی را که قبل از شما آمده اند تصدیق می کنید، همانطور که امیدوارید توسط کسانی که بعد از شما می آیند تصدیق شوید.

بدون تیم هیچ چیز وجود ندارد. در یک یادداشت شخصی، سال ها از زمانی که روی Mononoke کار کردم می گذرد. تیمی وجود دارد که در تمام این سال‌ها هنوز مشعل را به جلو می‌برد و مشکلات جدید و موجود را حل می‌کند، از جمله بسیاری از آنها که مطمئنم تقصیر من است. پاره‌کردن مدل داده‌های بونسای به‌شدت به من ضربه زد، اما اکنون برای تیمی که روی آن کار می‌کند فکر نکن: کسانی که مستقیما سرقت ادبی داشتند. تصور کنید که آنها باید چه احساسی نسبت به کارهایشان داشته باشند که عمدا به صورت عمده کپی شده و عمدا به عنوان اثر شخص دیگری معرفی شده است.

دو روز از اولین پستی که در این مورد در Bluesky و Linkedin گذاشتم می گذرد و هنوز به روز رسانی پست اصلی را ندیده ام. این نمونه شرم آور دیگری از شرکت های بزرگ هوش مصنوعی است که مشترکات را تصاحب می کنند و کار دیگران را به عنوان کار خود معرفی می کنند. من نمی‌دانم برای بازسازی پل‌ها از اینجا به چه چیزی نیاز است، اما فرض پیش‌فرض من اکنون این است که ارائه‌های مهندسی عمومی Anthropic تا حد زیادی ریپوف‌های بد ایمان هستند. این شرم آور است