انحصاری: در رقابت برای داده‌های آموزشی ربات‌ها، استارت‌آپ محققان سابق متا به کارگرانی با دوربین روی می‌آورد.

Memories.ai به مردم پول می دهد تا به روبات ها نشان دهد که چگونه کارهای خود را انجام دهند. استارت‌آپ سانفرانسیسکو داده‌های ویدیویی اول شخص را برای آموزش ربات‌ها فراهم می‌کند، با دوربین‌هایی که جزئیات عملی تهیه غذا، انبار کردن قفسه‌ها و تعمیر تجهیزات را ثبت می‌کنند.

این شرکت در حال راه‌اندازی Memories Upload است، یک پلتفرم جهانی کنسرت که در آن مشارکت‌کنندگان وظایف ضبط ویدیویی پولی را برای کمک به آموزش روبات‌ها انجام می‌دهند. دوربین پوشیدنی LUCI Pin آن که توسط Memories.ai توسعه یافته است، کمتر از 45 گرم وزن دارد و به صورت مغناطیسی به پایه‌هایی که روی سر، سینه یا مچ دست فرد استفاده می‌شود، متصل می‌شود. این فیلم ویدئویی POV از مشارکت کنندگان در حال انجام وظایف مختلف می گیرد. دو دوربین را می توان برای ضبط استریو جفت کرد و نماهایی را ارائه کرد که به تخمین عمق کمک می کند.

Memories.ai می‌گوید شبکه‌اش بیش از 1 میلیون ساعت ویدیوی اول شخص را در ماه اول پلتفرم به صورت بتا ضبط کرده است و قصد دارد تا مارس 2027 بیش از 10 میلیون ساعت را جمع‌آوری کند. این شرکت توسط محققان سابق متا Shawn Shen و Ben Zhou تأسیس شده است. این شرکت در جولای 2025 یک دور اولیه 8 میلیون دلاری به رهبری Susa Ventures با سرمایه گذارانی از جمله Samsung Next اعلام کرد.

استارت‌آپ رباتیک انسان‌نما Figure و Physical Intelligence، استارت‌آپی که «مغز» نرم‌افزار هوش مصنوعی را می‌سازد که می‌تواند انواع مختلف ربات‌ها و دستگاه‌های هوش مصنوعی را کنترل کند، هر دو در حال بررسی چگونگی یادگیری ربات‌ها از فیلم‌های ویدئویی POV هستند. پلتفرم Figure’s Index به افراد پول می دهد تا کارهای روزمره را برای مدل های Helix AI خود ثبت کنند. هوش فیزیکی ترکیب ویدیوی انسانی با داده‌های عملیات از راه دور را آزمایش کرده است، که در هنگام کنترل ربات‌ها از راه دور توسط افراد ضبط می‌شود و نشان می‌دهد که چگونه می‌توان کارها را تکمیل کرد یا با اشیاء و محیط‌های ناآشنا برخورد کرد.

سرگئی لوین، یکی از بنیانگذاران هوش فیزیکی، در یک پست وبلاگی نوشت که ویدئوی انسانی و سایر داده های تکمیلی می تواند "منبع دانشی در مورد آنچه می تواند در دنیای واقعی اتفاق بیفتد" فراهم کند، که مکمل داده های جمع آوری شده توسط خود ربات ها است.

برای رباتی که یاد می گیرد قهوه درست کند، این ضبط ها می توانند نشان دهند که چگونه فردی فنجانی را گرفته، آن را زیر آسیاب قرار می دهد و بدون ریختن آن حرکت می دهد. فیلم از آشپزخانه‌ها، ابزارها و روش‌های مختلف کار می‌تواند مدل‌ها را در معرض طیف وسیع‌تری از وظایف و محیط‌ها قرار دهد. توسعه دهندگان هنوز در حال بررسی چگونگی ترجمه این حرکات مشاهده شده به اقدامات مناسب با بدن خود ربات هستند.

ریک ژوانگ، مدیر محصول و مهندسی Cosmos در انویدیا که با Memories.ai کار می‌کند، به فورچون گفت: «تشخیص یک فعالیت با درک اینکه دقیقا چگونه یک ابزار را می‌گیرد، یک شی را حرکت می‌دهد یا یک مرحله را کامل می‌کند، متفاوت است، به‌خصوص زمانی که دوربین در حال حرکت است و اشیا تا حدی پنهان هستند.

یافتن این جزئیات در مجموعه رو به رشد فیلم بخشی از مشکلی است که Memories.ai در تلاش برای حل آن است. این شرکت از ابزارهای جستجو و خلاصه سازی ویدیوی متروپلیس انویدیا برای بهینه سازی جریان و پردازش ویدیو استفاده می کند. مدل زیرنویس ویدیویی آن از Cosmos، خانواده مدل‌های Nvidia برای درک دنیای فیزیکی به‌خوبی تنظیم شده است، و همچنین از مدل‌های مبتنی بر کیهان برای برچسب‌گذاری اقدامات استفاده می‌کند. این شرکت بیشتر به Cosmos آموزش می دهد تا ویدیوی انتخاب شده برای وظایف خاص مشتریان را آموزش دهد، فرآیندی که به عنوان پس از آموزش شناخته می شود.

توضیحات به دست آمده به لحظات خاصی گره خورده است، و به توسعه دهندگان اجازه می دهد بدون تماشای ساعت ها ضبط، یک اقدام را جستجو کنند و نمونه های مرتبط را بازیابی کنند. ژوانگ در مورد Memories.ai گفت: «آنچه برجسته است، تمرکز بر جستجوی تجربیات روزمره انسانی و مفید برای یادگیری ربات است.

این شرکت می‌گوید که مشتریانش شامل سه آزمایشگاه از پنج آزمایشگاه برتر هوش مصنوعی مرزی هستند، در کنار توسعه‌دهندگان روباتیک که داده‌های آموزشی اول شخص آن را خریداری می‌کنند، اگرچه این شرکت با استناد به توافق‌نامه‌های عدم افشا از نام بردن این مشتریان خودداری کرد. شاون شن، یکی از بنیانگذاران و مدیرعامل، به فورچون گفت که مشتریان به طور فزاینده ای به دنبال فیلمی هستند که طیف وسیع تری از محیط های کاری، وظایف و زوایای دوربین را پوشش دهد. او گفت که دو نفر که در آشپزخانه‌های مختلف قهوه درست می‌کنند، می‌توانند تنوع مفیدی را ارائه دهند، حتی زمانی که یک کار را انجام می‌دهند.

توسعه دهندگان همچنین برای مشاهده فعل و انفعالاتی که ممکن است دوربین روی سر شخصی از دست بدهد، فیلمی در سطح مچ درخواست می کنند، مثلا زمانی که دست یک شی را لمس می کند.

آدام اسکرابا، رئیس اکوسیستم هوش مصنوعی فیزیکی انویدیا برای عوامل بینایی، به فورچون گفت که طیف گسترده ای از وظایف تخصصی در صنایع سنگین، همراه با نیاز به مدل‌های بسیار دقیق، یکی از سخت‌ترین چالش‌های این حوزه است.

او گفت: "مجموعه داده آموزشی برای Vision AI و تجزیه و تحلیل ویدئو، اساسا برای همه راه حل های هوش مصنوعی فیزیکی بسیار مهم است. توسعه دهندگان باید نمونه های گوشه ای مناسب را پیدا کنند، به برچسب های آنها اعتماد کنند و هر حاشیه نویسی را تا لحظه ای که توضیح می دهد ردیابی کنند."

به گفته ژوانگ، تولید برچسب‌هایی که توسعه‌دهندگان به آن‌ها اعتماد کنند، زمانی که دست‌ها حرکات ظریفی انجام می‌دهند، اشیاء تا حدی پنهان هستند یا مرز بین دو عمل نامشخص است، بسیار دشوار است. این موارد بررسی و ارزیابی انسانی را ضروری می کند. وی افزود که ویدئوی انسانی در کنار نمایش و شبیه سازی ربات بسیار مفید است و به توسعه دهندگان کمک می کند تا مشاهدات کار انسان را به اقداماتی که یک ربات می تواند انجام دهد متصل کنند.

پرداخت به پیمانکاران انسانی برای ارائه ویدیو به این روش می تواند نگرانی هایی را در مورد حفظ حریم خصوصی ایجاد کند. ضبط ها به طور بالقوه می توانند همکاران، رهگذران و اطلاعات حساس را ضبط کنند. Memories.ai گفت کسانی که دوربین دارند و همکارانی که مرتبا ظاهر می شوند باید قبل از ضبط فرم های رضایت نامه را امضا کنند. قبل از خروج فیلم از کشوری که در آن ضبط شده است یا به دست مشتریان می رسد، تیم های شرکت از ابزارهای خودکار برای پنهان کردن سایر افراد در قاب و پوشاندن جزئیات شناسایی مانند نشان ها، صفحه نمایش ها و پلاک ها استفاده می کنند.

همچنین به صورت دستی نمونه ای از فریم ها را از هر دسته بررسی می کند تا بررسی کند که این جزئیات حساس تار یا مبهم شده اند.

این داستان در ابتدا در سایت Fortune.com منتشر شد