نمایش HN: یک مدل متن به تصویر مناسب با 20 هزار دلار آموزش دیده (وزن آپاچی 2.0)

من و برادرم یک آزمایشگاه 2 نفره اداره می کنیم که مدل های ویدیویی تولیدی خودمان را از ابتدا آموزش می دهد. هدف نهایی مجموعه ای از ابزارهای خلاقانه است که ساخت انیمیشن را برای هر کسی آسان تر می کند. مدل‌های ویدیویی امروزه بسیار کند/گران هستند و فاقد کنترل‌های کافی هستند. خلاقیت یک فرآیند تکراری است. شما درست می کنید، اصلاح می کنید، بهتر می شوید. به نظر ما، آنها هنوز برای داستان سرایی قابل استفاده نیستند. وقتی شروع به ساخت Linum v3 (مدل ویدیوی بعدی ما) در اوایل سال جاری کردیم، هدف اصلی کاهش هزینه استنتاج به میزان قابل توجهی بود.

اگر مدل ما سریع و ارزان است، اولین قدم (از بین بسیاری) به سمت ابزارهای خلاقانه مفید است. به طور معمول، "مدل های انتشار پنهان" را مشاهده می کنید. یک VAE (Variational Autoencoder) داده های ورودی را در یک "فضای پنهان" کوچکتر فشرده می کند و مدل انتشار یاد می گیرد که چگونه در این زیرفضا تولید کند. در چند ماه گذشته، ما کار خود را در مورد مدل‌های انتشار فضای پیکسلی کارآمد منتشر کرده‌ایم.

اینها VAE را دور می اندازند و مدل انتشار یک فضای نهفته را برای کار دقیق خود بهینه می کند. این 3 هدف را دنبال می کند: 1) معماری ساده (بدون آموزش مدل 2 مرحله ای) 2) همگرایی سریعتر (11 برابر همگرایی سریعتر در مقابل همتای انتشار نهفته ما) 3) استنتاج ارزان‌تر (4 برابر کاهش توکن تهاجمی‌تر در پنجره‌های زمینه توجه، بدون کاهش قابل توجه کیفیت) در ماه گذشته، آخرین معماری خود (Pyramid-JiT) را با آموزش یک مدل متن به تصویر طولانی تر از آزمایش یکباره معمولی آزمایش کردیم.

به طور خاص، ما آن را با 20 هزار دلار در 660 میلیون نمونه آموزش دادیم. ما از کیفیت نتایج شگفت زده شدیم، بنابراین فکر کردیم که آن را به عنوان وزن باز برای جامعه منتشر کنیم (Apache 2.0). خود تحقیق قبلا در وب سایت ما عمومی است. برای ما، این یک پله بزرگ به سمت مدل‌های ویدیویی ارزان‌تر است، زیرا تقریبا همه مدل‌های ویدیویی به عنوان مدل‌های تصویری شروع می‌شوند. ما دوست داریم بگوییم این مدل ها قبل از اینکه افعال را یاد بگیرند باید اسم ها را یاد بگیرند.

آدرس نظرات: https://news.ycombinator.com/item?id=50368208

امتیاز: 264

# نظرات: 28