من آینده رباتیک را در یک اردک مجازی دیدم که گربه ام را تعقیب می کند

با استفاده از OpenAI's GPT-6 Sol، به نسخه مجازی Microduck - یک ربات زیبا از Pollen Robotics و Hugging Face - آموزش دادم تا در یک اتاق قدم بزند و گربه های بنگالی را در مجاورت آن شناسایی کند. (کلیپ بالا ربات را در حال حرکت به سمت گربه هدف نشان می دهد؛ نمای چشمی آن بالا سمت راست نشان داده شده است.) من هنوز صبورانه منتظر یک Microduck فیزیکی هستم - لطفا عجله کنید و آن را ارسال کنید، بچه ها - اما رفتار شبیه سازی شده نسبتا ساده است، بنابراین باید به چیز واقعی منتقل شود.

من قصد دارم از ربات بخواهم به طور خودکار برای حیوان خانگی من بنگال، لئونا، خوراکی بفرستد، شاید با خم کردن سرش برای رها کردن آن از یک محفظه ذخیره سازی سر نصب شده با چاپ سه بعدی. من توانستم ربات مجازی را فقط در چند ساعت کدنویسی و آموزش دهم که رک و پوست کنده باورنکردنی است. قبلا، این نوع چیزها ممکن بود هفته ها طول بکشد تا بفهمم.

این امکان پذیر بود زیرا آخرین مدل‌های OpenAI در درک و دستکاری بازنمایی‌های سه‌بعدی دنیای فیزیکی و سپس تبدیل آن به کدهای مفید، اقدامات عاملی و آموزش روبات‌ها بسیار خوب هستند. روباتیک‌های واقعی از جدیدترین مدل‌ها برای انجام کارهای شگفت‌انگیز استفاده می‌کنند. هنگامی که OpenAI در سپتامبر گذشته Astra را منتشر کرد، کن گلدبرگ، استاد دانشگاه کالیفرنیا، برکلی و شاگردانش نمایش‌هایی را دیدند که توانایی آن را در ارائه تصاویر سه‌بعدی نشان می‌داد. آنها تعجب کردند که آیا این می تواند به شبیه سازی های مورد نیاز برای آموزش انواع مختلف ربات ها کمک کند.

این شبیه‌سازی‌ها باید بسیار دقیق و فوق‌العاده دقیق باشند تا اطمینان حاصل شود که رفتار پیچیده - یک انسان نما که می‌تواند برقصد یا یک دست رباتی که می‌تواند درک کند - صادقانه به دنیای واقعی منتقل می‌شود. یکی از اعضای آزمایشگاه گلدبرگ به آسترا اجازه دسترسی به ابزار انویدیا به نام نیوتن را داد، یک کلیپ ویدیویی از یک روبات واقعی در حال عمل را به آن نشان داد و از او پرسید که آیا می‌تواند شبیه‌سازی صحنه را ایجاد کند. گلدبرگ می‌گوید: «چیزی که همه ما را متحیر کرد این بود که ظرف یک ساعت یک شبیه‌سازی سه بعدی کامل با تمام پارامترها - موقعیت دوربین، نور، پس‌زمینه، همه مواد تولید کرد.

من گلدبرگ می‌گوید Astra همچنین می‌تواند بسیاری از مشقت‌های مربوط به آموزش یک ربات در شبیه‌سازی را با اجرای آزمایش‌ها و بررسی نتایج، خودکار کند. این دقیقا همان چیزی است که هنگام آموزش Microduck مجازی پیدا کردم. همراه با GPT-6 Sol، من از یک مهار عامل از Nous Research به نام هرمس و یک Nvidia DGX Spark، یک کامپیوتر شخصی که حاوی یک تراشه هوش مصنوعی قدرتمند است، استفاده کردم. قبلا در مورد استفاده از عوامل و مدل‌های کدنویسی برای پیکربندی، برنامه‌نویسی و اشکال‌زدایی روبات‌های فیزیکی نوشته‌ام.

به طور معمول، این نوع کار به تخصص قابل توجهی نیاز دارد. مدل‌های کدنویسی مدرن آن را به یک چالش تبدیل می‌کنند. اما جدیدترین مدل OpenAI بسیار فراتر از نوشتن کد بود. این نرم‌افزار از یک نرم‌افزار انویدیا به نام Isaac Sim برای ارائه دستورالعمل‌ها به مدلی استفاده کرد که ربات مجازی را کنترل می‌کرد، ویدیوهای آن را در حال تماشا برای ارزیابی عملکرد خوب کارها و پیشنهاد تغییراتی در رژیم آموزشی آن. این روند به من اجازه داد تا Microduck را آموزش دهم تا بدون سرنگونی در اطراف راه برود.

در ابتدا سعی کردم GPT-6 Sol را به ربات بیاموزم تا راه رفتن در ماه را به ربات آموزش دهد - یک GIF از مایکل جکسون که روی صحنه سرخورده بود به او دادم، که سعی کرد آن را کپی کند - اما پس از ساعت ها تلاش، تنها به یک دویدن به سمت عقب بسیار شادی آور منجر شد. (روبات‌ها هنوز ما را کاملا شکست نداده‌اند.) جیم فن، محقق انویدیا که با گلدبرگ همکاری کرده است، می‌گوید روشی که هوش مصنوعی اکنون می‌تواند ربات‌ها را کنترل کند، نحوه عملکرد عوامل نرم‌افزار را منعکس می‌کند.

LLMS می‌تواند از مدل‌های آموزش‌دیده برای کنترل کنش‌های فیزیکی - مدل‌های عملکرد زبان بصری (VLA) - درست همانطور که به نرم‌افزارهای مختلف روی رایانه دسترسی دارند، استفاده کند. این هفته، فن، گلدبرگ و دیگران یک چارچوب عاملی برای روبات‌ها به نام Aspire تهیه کردند که به ربات اجازه می‌دهد مهارت‌های جدید را کشف و استفاده کند. یک مثال: GPT-6 Astra متوجه شد که چگونه از یک جفت بازوی ربات برای حل مکعب روبیک استفاده کند. فن می‌گوید: «آن را برمی‌دارد، سعی می‌کند آن را بپیچاند، اما زاویه‌اش اشتباه است.

سپس برای مدت بسیار بسیار طولانی استدلال می کند، اما در نهایت قادر به حل آن است زیرا مهارت ها را در طول زمان یاد می گیرد. در کنفرانس یادگیری ربات (CoRL)، که در آستین، تگزاس، این هفته برگزار شد، فن یک سخنرانی کلیدی ارائه کرد که در آن درباره این درک باورنکردنی صحبت کرد که مدل‌های هوش مصنوعی می‌توانند بسیاری از کارهای مورد نیاز برای انجام کارهای پیچیده را به صورت خودکار انجام دهند. فن دمویی را به نمایش گذاشت که در آن آسترا کنترل یک بازوی روباتی را در اختیار داشت و به آن گفته شد که تصویری از پل گلدن گیت بکشد.

با استفاده از مقداری رنگ و برس در نزدیکی، کار را به درستی انجام داد. البته، کارکرد قابل اعتماد و کارآمد ربات ها همچنان بسیار دشوار است و به تخصص مهندسی قابل توجهی نیاز دارد. سیستم بینایی در اردک ربات من به اندازه کافی خوب کار نمی کند تا در یک محصول واقعی مستقر شود. با این حال، سهولت و سرعت آموزش ربات‌ها با هوش مصنوعی به زودی می‌تواند تأثیر زیادی بر تولید و تجارت الکترونیک داشته باشد و گلدبرگ می‌گوید تعدادی از شرکت‌های رباتیک صنعتی و اتوماسیون به این رویکرد علاقه نشان داده‌اند. درست مانند کدنویسی vibe چند سال پیش، ممکن است شاهد پیشرفت‌هایی در v

ibe robotics" همانطور که علاقمندان و مهندسان متوجه می شوند که برنامه ریزی و آموزش ربات ها چقدر آسان است.

این نسخه ای از خبرنامه آزمایشگاه هوش مصنوعی ویل نایت است. خبرنامه های قبلی را اینجا بخوانید.