جمینی 4 آرگون برای رباتیک

Gemini 4 Argon یک تغییر گام در درک فیزیکی، تولید کد، و استدلال بصری- معنایی را نشان می‌دهد - جریان‌های کاری جدید را در پشته روباتیک باز می‌کند و پیشرفت به سمت AGI فیزیکی را تسریع می‌کند.

شما می‌توانید این جهش در قابلیت را در معیار استدلال تجسمی (ERQA) مشاهده کنید، که توانایی مدل را برای درک و حل مشکلات فیزیکی و فضایی در محیط‌های سه‌بعدی آزمایش می‌کند. با استفاده از استدلال محض، آرگون 87 درصد را به دست می‌آورد، بهتر از هر مدل مرزی دیگر.

به عنوان یک مدل استدلال فیزیکی همه منظوره، آرگون را می توان در کل چرخه زندگی رباتیک اعمال کرد. در این پست، ما درخواست‌های نماینده آرگون را در چهار حوزه کلیدی به اشتراک می‌گذاریم:

آرگون یک Boston Dynamics Spot® چهارپا (پاهای 12-DoF + بازوی 6-DoF) را کنترل می کند تا یک مهارت جدید بیاموزد: پا گذاشتن روی سطل زباله پدالی برای دور انداختن قوطی های نوشابه. آرگون یک دوقلوی دیجیتالی مفصلی MuJoCo از یک سطل زباله پدالی ایجاد می کند تا حرکات خود را قبل از پا گذاشتن روی پدال فیزیکی و انداختن قوطی های نوشابه در سطل باز تمرین کند.

متأسفیم، مرورگر شما از پخش این ویدیو پشتیبانی نمی کند

آرگون یک بازوی رباتیک ساده را کنترل می کند تا یک لیوان افتاده را به صورت عمودی قرار دهد و دستمال مچاله شده را داخل آن قرار دهد. دلیل آرگون با مهار مختصات بصری و اقدامات اولیه برای انجام این کار در چندین نوبت است.

آرگون ربات‌ها را در مدل جهان جمینی Omni هدایت می‌کند تا پنج کاشی اسکربل پراکنده (G، R، A، N، O) را در یک ردیف تمیز با املای A - R - G - O - N مرتب کنند. به جای تعیین یک اعلان ایستا، آرگون در یک حلقه بصری بسته هدایت می شود. درخواست‌های عملکرد مهر زمانی را می‌نویسد، فریم‌های کلیدی عرضه میانی را بازرسی می‌کند و درخواست‌های آن را اصلاح می‌کند.

آرگون یک اپیزود واقعی ربات از راه دور را مشاهده می کند و یک دوقلو دیجیتال ایجاد می کند. دارایی‌های شبیه‌سازی را به‌دست می‌آورد یا ایجاد می‌کند که در تماس با دست‌های ماهر مانند اشیاء واقعی به نظر می‌رسند و رفتار می‌کنند. آرگون دارایی ها و صحنه ها را برای تطبیق تصاویر سیم کارت و رویدادهای تماس با داده های ثبت شده واقعی در یک حلقه استدلال بصری تکراری تنظیم می کند.

با توجه به یک ویدیوی انسانی خودمحور از یک کار دستکاری، آرگون اشیاء مربوط به کار را شناسایی می‌کند، جعبه‌های مرزی خام را با مش‌های ترکیبی تجزیه شده محدب برای ظروف مقعر جایگزین می‌کند، و مسیر حرکت دست انسان را روی یک انسان‌نمای دو دستی 76 DoF با تماس با 22-DoF MuphysioJsCo در دست‌های پنج انگشتی هدف قرار می‌دهد.

با استفاده از آرگون، یک توسعه‌دهنده می‌تواند از یک طرح قلم و کاغذ خشن عکس بگیرد - که نشان می‌دهد انسان‌نمای آپولو 2 توپی را در امتداد یک قوس سهموی پرتاب می‌کند تا پشته‌ای از جعبه‌های 3-2-1 روی یک میز را واژگون کند - و Argon به طور خودکار بدنه mujoco_warp شتاب‌دهنده GPU را بسازد، صحنه‌ی پنج‌گانه پرتاب‌فن را ترکیب کند. ناک داون هدف 6/6 را در فیزیک حلقه بسته تأیید کنید و یک رندر Blender 4.5 Cycles را صادر کنید.

آرگون درک فیزیکی دقیقی از دستکاری ماهرانه دارد و می تواند تقسیم بندی دقیق و برچسب گذاری متن را از ویدیو ارائه دهد. آرگون قادر به شناسایی بخش‌های دستکاری ضعیف مانند مکث، گرفتن ناپایدار و لکنت است. با توجه به ویدئویی از یک ربات دو دستی ALOHA 2 که یک ورق کاغذ مربعی را به شکل یک روباه اوریگامی در مدت 136 ثانیه تا می‌کند، Argon یک سلسله‌مراتب حاشیه‌نویسی 4 سطحی هم‌تراز با زمان تولید می‌کند: هدف قسمت (G1)، 6 زیرکار معنایی پیوسته (G2، و 17 تماس خودکار، Quatmle 17) وزن دهی مجدد کنترل (QC) که پیشرفت کار را ثابت نگه می دارد d

uring دست و پا می زند و دوباره تلاش می کند.

برای بازآفرینی پازل کلاسیک ترازو 12 توپی با روبات‌ها، آرگون یک محیط دو دستی Franka FR3 MuJoCo با 12 توپ استخر از نظر بصری یکسان (یکی به طور مخفیانه سنگین‌تر یا سبک‌تر) و یک ترازو تعادل دو تشتی روبروال مفصل‌دار می‌سازد. سپس یک حل‌کننده حلقه بسته فقط بینایی می‌نویسد که توپ‌های دوربین‌های RGB استریو را مثلث می‌کند، به صورت بصری شیب ترازو را بعد از هر وزن‌سنجی می‌خواند، و توپ عجیب و غریب را در سینی سنگین (قرمز) یا سبک (آبی) در عرض 3 وزن جدا می‌کند.

آرگون یک تابع ارزش کلی برای کارهای روباتیک است. آرگون که بر روی یک اپیزود مرتب‌سازی حلقه‌ای دو دستی 60 ثانیه‌ای از مجموعه داده‌های UMI انسانی ارزیابی می‌شود، به‌طور مکرر تغذیه‌های دوربین همگام‌سازی شده سر، گیره چپ و راست را در اطراف انتقال‌های تماس بررسی می‌کند تا پیش‌بینی‌های عملکرد ارزش متراکم/پیشرفت کار را ایجاد کند و مسیر را به 28 بخش و پیشرفت خنثی مثبت، منفی، خنثی تجزیه کند.

آرگون می‌تواند داده‌های جدیدی را در شبیه‌سازی برای بهبود عملکرد مدل‌های بینایی-زبان-عمل عمومی (VLA) تولید کند. با شروع از یک عکس RGB از میز واقعی، Argon به طور مستقل یک شبیه‌سازی MuJoCo کالیبره‌شده را می‌سازد، وظایف جدیدی را تعریف می‌کند و یک ژنراتور حرکتی حلقه بسته را برای جمع‌آوری بیش از 4500 قسمت تصادفی دامنه در شبیه‌سازی، افزایش می‌دهد و ربات فیزیکی واقعی را از 5% کاهش می‌دهد و زمان را از 5% به 7 کاهش می‌دهد. 35 تا 24 ثانیه

در یک بازوی ساده 6-DoF، آرگون به طور مکرر هم سرعت اجرا و هم دقت قرار دادن را در یک کار انتخاب و مکان از طریق آزمایش و بازتاب خود بهبود می بخشد.

با یک درخواست در هر مقاله، آرگون یک دستنوشته کنترل رباتیک و هر نقطه بازرسی منتشر شده را می خواند، مدل فیزیک و کنترل کننده حلقه بسته (از جابجایی سلسله مراتبی شبکه 7 در DeepLoco و بازیگران PPO 50 هرتز در HUSKY تا Web Worker iLQR در مرورگر Whole-Body-MPCA و MumbJo Self-Body) را به داخل می‌برد. آنها را در Chromium بدون سر تأیید می کند.

کدگذاری پل های آرگون، ادراک بصری، شبیه سازی فیزیک و کنترل تجسم ربات. آرگون با استدلال بومی بر روی ویدئوی چند نما، هندسه سه بعدی، مکانیک تماس و تله متری عمقی، نه تنها متوجه می شود که اشیاء در یک صحنه چه هستند، بلکه نحوه تعامل فیزیکی آنها با عوامل برای انجام وظایف ماهرانه کل بدن را درک می کند. Gemini 4 Argon نقطه عطف مهمی است که مسیر را به سمت AGI فیزیکی تسریع می کند. با ساختن این هوش اصلی، هدف ما فعال کردن روباتیک است که بتواند در کنار انسان ها برای حل چالش های پیچیده کار کند.

امروز می‌توانید با Gemini 4 Argon ساخت و ساز را در پلتفرم‌های توسعه‌دهنده Google شروع کنید: