پس از 600 آزمایش، این چیزی است که من در مورد مدل های جهانی JEPA کشف کردم

حل کارهای افق بلند بدون هیچ آموزش اضافی

در حال حاضر یک بحث بزرگ در هوش مصنوعی در مورد اینکه یک مدل جهانی باید باشد وجود دارد. بیشتر توجه به مدل‌های جهان مولد است که با تولید آن، معمولا به صورت پیکسل، آینده را پیش‌بینی می‌کنند. بسیاری از دانشمندان، از جمله Yann LeCun، استدلال می کنند که این تلاش بیهوده است. اکثر پیکسل ها برای تصمیم گیری در مورد اینکه چه کاری انجام دهید اهمیتی ندارند و بسیاری از آنها را اصلا نمی توان پیش بینی کرد. [1]

جایگزین پیشنهادی JEPA، معماری پیشگوی مشترک تعبیه شده است. این دارای سه بخش است: یک رمزگذار، یک پیش بینی و یک برنامه ریز. رمزگذار هر فریم مشاهده را به یک جاسازی آموخته شده تبدیل می کند، یک بردار فشرده که صحنه را توصیف می کند. پیش‌بینی‌کننده آن جاسازی را به اضافه یک عمل می‌گیرد و جاسازی فریم بعدی را پیش‌بینی می‌کند. سپس برنامه‌ریز صدها دنباله عمل را در داخل پیش‌بینی‌کننده امتحان می‌کند و یکی را انتخاب می‌کند که حالت پایانی پیش‌بینی‌شده آن نزدیک‌ترین دنباله به جاسازی هدف باشد.

کل حلقه در فضای تعبیه شده اجرا می شود، بنابراین مدل فقط باید قسمت هایی از صحنه را که برای تصمیم گیری در مورد اقدامات مهم هستند، یاد بگیرد.

امسال تیمی از جمله LeCun LeWM [2] را منتشر کردند، یک مدل جهانی JEPA که معیار اصلی آن Push-T [3] است، شبیه‌سازی که در آن یک ربات یک بلوک خاکستری T شکل را روی یک میز فشار می‌دهد تا زمانی که T در موقعیت هدف سبز نشان داده شده در تصویر هدف قرار گیرد. من در چند ماه گذشته 600 آزمایش روی آن انجام داده ام.

اولین چیزی که می‌خواستم بدانم این بود که LeWM تا چه حد توسط پیش‌بینی‌هایش متوقف می‌شود، بنابراین با جایگزین کردن پیش‌بینی‌کننده با فیزیک کامل شبیه‌ساز شروع کردم، در حالی که بقیه موارد را ثابت نگه داشتم. سپس به هر دو نسخه وظایف افق بلند دادم، با هدف 75 قدم دورتر، همراه با همان اهداف فرعی: فریم هایی از یک نمایش تخصصی، هر 25 قدم یکی. Vanilla LeWM در 78٪ موارد موفق شد. نسخه با فیزیک واقعی 77 درصد موفق شد. پیش‌بینی‌های LeWM در امتداد انواع مسیرهایی که در آن آموزش داده شد، از قبل به خوبی فیزیک کامل برای برنامه‌ریزی هستند.

این بدان معناست که دستاوردهای بعدی برای یک مدل جهانی JEPA از نحوه استفاده از معماری آموزش‌دیده حاصل می‌شود، و این جایی است که بیشتر 600 آزمایش من انجام شده است.

بدون اینکه یک بار مدل را بازآموزی کنم، چهار روش برنامه ریزی جدید پیدا کردم. دو مورد اول با هم، میزان موفقیت LeWM را در کارهای افق بلند از 22% به 85% رساندند، تقریبا مشابه برنامه ریزانی که اهداف فرعی ایده آل را از یک نمایش متخصص دریافت می کنند. دو روش دیگر LeWM را به اهداف سخت‌تر تعمیم می‌دهند، و یکی از آنها، یک تغییر واحد در نحوه به ثمر رساندن گل، نرخ موفقیت را 60 امتیاز افزایش داد، سه برابر بیشتر از تعویض در فیزیک کامل.

با استفاده دقیقا همانطور که منتشر شده است، LeWM در 22٪ از کارهای افق طولانی، جایی که هدف 75 قدم دورتر است، موفق می شود. [2] هنگامی که هدف 25 قدم دورتر باشد، 89.7٪ مواقع به آن می رسد، در یک نقطه از نسخه دقیق فیزیک در 90.5٪.

بنابراین، این مدل بیش از 25 مرحله دقیق است و بیش از 75 مرحله مبارزه می کند. توضیح معمول این است که خطاهای پیش بینی کوچک در یک برنامه طولانی ترکیب می شوند، که نیاز به مدل بهتری دارد. من آن را در برابر جایگزین روی همان 250 کار افق بلند آزمایش کردم.

فیزیک دقیق 20 امتیاز اضافه کرد. با تقسیم کار به بخش‌های 25 مرحله‌ای، طول هرکدام از آن‌ها تقریبا به‌خوبی انجام می‌شود، نزدیک به 60 مرحله اضافه می‌شود. افق برنامه‌ریزی مفید LeWM حدود 25 مرحله است، بنابراین واضح بود که راه بیشتر این است که بخش‌هایی با آن طول را به هم زنجیر کنیم.

این یک برنامه ریزی سلسله مراتبی است: یک سطح بالا اهداف فرعی را انتخاب می کند و یک سطح پایین به آنها می رسد. این به طور گسترده‌ای یکی از اصلی‌ترین مشکلات باز برای مدل‌های جهانی در نظر گرفته می‌شود، و در Push-T سه برابر ارزش تعویض آن در فیزیک کامل است.

جستجوی اضافی جایگزین آن نمی شود. اجرای برنامه‌ریز چهار بار و حفظ کم‌هزینه‌ترین طرح، چهار برابر محاسبه طول می‌کشد و کمتر از یک امتیاز به آن اضافه می‌شود، زیرا این چهار اجرا تقریبا همیشه با هم موفق یا ناموفق بوده‌اند.

اهداف فرعی در این آزمایش از یک نمایش تخصصی بدست آمدند که ربات مستقر آن را نخواهد داشت. روش دوم این وابستگی را از بین می برد.

LeWM بر روی نمایش های متخصص این کار آموزش دیده است، و رمزگذار آن می تواند هر فریم از آنها را جاسازی کند، و حدود 460000 حالت تعبیه شده را ارائه می دهد که من به یک نمودار متصل کردم. هر ایالت در تظاهرات خود به حالت‌هایی که از آن پیروی می‌کنند، و در تظاهرات‌های دیگر که از نظر فضای تعبیه‌شده نزدیک هستند، پیوند دارد. برای حل یک کار افق بلند، برنامه ریز این نمودار را برای مسیری از وضعیت فعلی به هدف جستجو می کند و از حالت های موجود در آن مسیر به عنوان اهداف فرعی استفاده می کند.

این فقط در صورتی کار می کند که فاصله در فضای تعبیه شده به معنای فیزیکی باشد، و این کار را می کند. یک هدف فرعی را در نظر بگیرید که ربات می تواند در 25 مرحله به آن برسد و یکی نمی تواند، و فاصله تعبیه شده توسط LeWM، هدف را در 87٪ موارد نزدیکتر می کند. بنابراین فضای تعبیه شده به عنوان نقشه ای از آنچه ربات می تواند به آن برسد، دو برابر می شود.

نسخه اول یک ایراد داشت. هزینه یک جهش بین ایالت های مجاور در دو نمایش مختلف به اندازه یک گام واقعی است، بنابراین جست و جو با هم به مسیرهایی می رود که بلوک هرگز نمی توانست دنبال کند (318 طرح از 1015 طرح سعی داشتند از شش پرش یا بیشتر استفاده کنند). راه حل اضافه کردن هزینه در هر جهش بین نمایش در نمودار بود. با استفاده از چیزی جز تعبیه‌های خود LeWM از نمایش‌های گذشته، موفقیت در همان 250 کار افق بلند (هدف 75 قدم دورتر) از 62% به 85% رسید که همان امتیازی است که برنامه‌ریز با استفاده از اهداف فرعی متخصص دریافت می‌کند. خیلی بهتر از این نمیشه، درسته؟

اخطار این است که آزمایش استاندارد یک نمایش را انجام می‌دهد، ربات را نیمه راه آن را شروع می‌کند و تعداد ثابتی از مراحل را در طول همان نمایش هدف را تعیین می‌کند. این یک طراحی معقول است، اما در Push-T هر نمایشی با بلوک در همان مکان به پایان می رسد. بنابراین هر هدف آزمایشی در مسیری قرار می گیرد که تظاهرات از قبل طی می کنند و به سمت نقطه ای می روند که همه در آن به پایان می رسند. برای 84 درصد از اهداف آزمون استاندارد، نمودار حافظه قبلا وضعیت تقریبا یکسانی از نمایش دیگری داشت.

نمونه معمولی نیز کوچک است. در 50 قسمت رسمی، LeWM در 68٪ مواقع با هدف 50 قدم فاصله داشت. در 250 قسمت تازه که به همین ترتیب کشیده شده اند، تنها 44 درصد موفق بوده است. با تغییر چیزی جز بذر تصادفی برنامه ریز، 38 قسمت از 250 قسمت بین موفقیت و شکست تغییر کرد.

آنجا بود که تصمیم گرفتم یک آزمایش سخت‌تر بسازم، جایی که هر کار از یک نمایش شروع می‌شود و هدفش از دیگری، بنابراین ربات باید بین حالت‌هایی حرکت کند که هیچ نمایش واحدی به آن‌ها متصل نمی‌شود. تنها زمانی موفقیت محسوب می شود که بلوک در 10 مرحله آخر روی هدف باقی بماند. بر اساس این قوانین، برنامه ریز گراف حافظه 75 درصد در کارهای استاندارد و 45 درصد در کارهای جدید موفق می شود. روش سوم و چهارم که من پیدا کردم روی آن شکاف کار می کند.

یک نمودار حافظه فقط به اندازه پوشش آن خوب است. هنگامی که من هر وضعیت ذخیره شده نزدیک به هدف را حذف کردم، موفقیت از 93٪ به 32٪ کاهش یافت.

Push-T در اینجا تقارن مفیدی دارد. اگر کل جدول را جابجا کنید، بچرخانید یا آینه کنید، فیزیک هل دادن یک بلوک تغییر نمی کند. بنابراین وقتی نمودار هیچ حالتی نزدیک به هدف نداشته باشد، می‌تواند بخش‌های نمایشی را از جای دیگر بگیرد، آن‌ها را به تناسب شکاف تغییر دهد و از میان آن‌ها برنامه‌ریزی کند. با این بخش های تغییر یافته، موفقیت به 85٪ بازگشت. آنها همچنین یک حافظه کوچک را تا حد زیادی گسترش می دهند (گرافی که از 1% نمایش ها به اضافه نسخه های تبدیل شده ساخته شده است و همچنین یک نمودار ساخته شده از 10%).

پر کردن شکاف در حافظه با تظاهرات دگرگون شده

بلوک به هدف خود رسید، 250 کار با افق بلند (هدف 75 قدم دورتر)

در آزمون سخت‌تر، بخش‌های تبدیل‌شده موفقیت را از 45 درصد به 56 درصد افزایش می‌دهند و در جایی که نمایش‌ها نازک‌ترین هستند، به بیشتر کمک می‌کنند. هنگامی که هدف در جهت جریان نمایش ها باشد، برنامه ریز نمودار حافظه قبلا در 69٪ مواقع موفق می شود. وقتی برعکس باشد، حافظه ساده 27 درصد و حافظه تبدیل شده 46 درصد می شود.

من همچنین یک نسخه نمایشی تعاملی ساختم که می توانستم بلوک را در هر جایی قرار دهم و هر هدفی را انتخاب کنم. یک گل باید یک تصویر باشد و یک تصویر از صحنه باید هل دهنده را در جایی نشان دهد، بنابراین من هل دهنده را درست پشت دروازه قرار دادم. در یک اجرا، ربات بلوک را تا 14 پیکسل از هدف هل داد، به اندازه ای نزدیک که به عنوان حل شده حساب شود. سپس بلوک را از دروازه دور کرد و مدام هل دهنده را به سمت جایی که فشار دهنده در تصویر گل قرار داشت حرکت داد.

اهداف در آزمون سخت‌تر، فریم‌هایی از نمایش‌های متخصص هستند، بنابراین هر یک همچنین نشان می‌دهند که در آن لحظه، هل‌کننده متخصص کجا بوده است. برنامه‌ریزی که پیش‌بینی خود را با کل تصویر هدف مقایسه می‌کند، تلاش می‌کند تا فشار دهنده را نیز در آنجا قرار دهد.

برای سنجش میزان اهمیت این موضوع، مدل را از موضوع خارج کردم. من برنامه ریز فیزیک دقیق را دو بار روی همان 50 کار از آزمون سخت تر اجرا کردم، و تنها تفاوت این بود که آیا هزینه آن شامل موقعیت هل دهنده و همچنین موقعیت بلوک می شود.

30 کار از شکست به موفقیت رسید وقتی که هل‌کننده کنار گذاشته شد، و هیچ‌کدام برعکس نشد. انشعاب مانند آن به طور تصادفی در حدود دو بار در یک میلیارد اتفاق می افتد. فیزیک در اینجا از شبیه ساز واقعی است، پیش بینی نشده است، بنابراین 4 برابر موفقیت از نحوه ایجاد هدف حاصل می شود.

برنامه ریز که گلزن را به ثمر رساند دقیقا همان کاری را که از او خواسته شد انجام داد. در 30 وظیفه ای که برگردانده شد، فشار دهنده را به نیم پیکسل از جایی که تصویر هدف قرار داده بود رساند و در راه بلوک را از دست داد. قرار دادن T و هلنده در موقعیت دقیق هدف مشکل بسیار سخت تری برای حل آن است.

اما نمی توان به سادگی به LeWM گفت که فشار دهنده را نادیده بگیرد. با فاصله بین دو جاسازی طرحی را به دست می‌آورد، و تعبیه یک تصویر گل، بلوک و هل‌کننده را در کنار هم نگه می‌دارد، بدون اینکه قسمتی با عنوان "فشار" مشخص شود. بنابراین، به‌عنوان یک آزمایش، اندازه‌گیری کردم که یک برنامه‌ریز با جست‌وجو بر روی فشاردهنده چقدر فاصله می‌گیرد. هر پیش‌بینی را با 16 نسخه از تصویر گل مقایسه می‌کند، همه با بلوک در یک مکان و فشار دهنده به موقعیت‌های گرفته شده از نمایش‌های ذخیره‌شده حرکت می‌کند و نزدیک‌ترین مسابقه را حفظ می‌کند. این امر موفقیت LeWM را در آزمون سخت‌تر دو برابر کرد، از 11% به 23% بدون آموزش مجدد.

این برای هر روباتی صدق می‌کند، زیرا هدف باید فقط مجموعه‌ای از حالت‌های پایانی باشد، نه یک کپی از یک تصویر. «فنجان را در قفسه بگذارید» هر جا که بازوی ربات به پایان می رسد حل می شود، اما یک تصویر هدف یک موقعیت بازو را انتخاب می کند و باعث می شود برنامه ریز با آن مطابقت داشته باشد. یک هدف خوب، هر حالت پایانی را که کار را حل می‌کند، می‌پذیرد، و همچنان شامل مواردی است که کار از ربات نیاز دارد، مانند استراحت کردن در پایان.

خبر خوب این است که مجموعه‌های بزرگی از نمایش‌ها در حال حاضر شامل بسیاری از فریم‌های واقعی از یک شی در یک مکان هستند که هر کدام با ربات در جایی متفاوت هستند. به ثمر رساندن یک برنامه در برابر نزدیکترین آن اهداف، امکان برنامه ریزی برای مجموعه بزرگتری از وضعیت های نهایی معتبر را فراهم می کند.

هیچ یک از این چهار کشف وزن مدل را تغییر نمی دهد. آنها همانطور که منتشر شده است برای LeWM اعمال می‌شوند و باید به مدل‌های بزرگ‌تر جهانی JEPA که به همان روش برنامه‌ریزی می‌کنند، بدون هیچ هزینه آموزشی اضافی منتقل کنند.

بزرگترین مشکل باز باقی مانده تعمیم دادن به کارهایی است که نمایش کاملی ندارند. در آزمون Push-T سخت‌تر، بهترین برنامه‌ریز بلوک را در 56 درصد مواقع روی هدف نگه می‌دارد و بیشتر شکست‌های باقی‌مانده اهدافی هستند که خلاف جهت داده‌ها هستند. از بین بردن این شکاف به سطح بالاتری نیاز دارد که بتواند اهداف فرعی خود را فراتر از تظاهرات مطرح کند و بهتر از سلسله مراتب های آموخته شده امروزی مانند H-JEPA [4] که تا کنون با LeWM مسطح در Push-T مطابقت دارد یا کمی شکست داده است، انجام دهد.

با ورود، تصور می‌کردم پیش‌بینی‌های LeWM گلوگاه خواهد بود، اما یک JEPA به اندازه‌ای کوچک که بتواند در چند ساعت تمرین کند، همین‌طور خود شبیه‌ساز را پیش‌بینی می‌کند، و چندین دستاورد وجود دارد که می‌توان به سادگی با تغییر روش برنامه‌ریزی آن به دست آورد. چیزی که هنوز نمی تواند انجام دهد این است که اهداف فرعی خود را انتخاب کند که در آن هیچ تظاهراتی وجود نداشته است. این چیزی است که من در حال حاضر روی آن کار می کنم، و اگر می خواهید بیشتر ببینید، ابتدا در مورد آن در X، @haddyalchaer پست خواهم کرد.