EmbeddingGemma 2 را به یک مدل گفتار به متن تبدیل کردیم

EmbeddingGemma 2 گوگل یک مدل جاسازی است. ما آن را به یک مدل گفتار به متن تبدیل کردیم: یک ساعت صدا در حدود 13 ثانیه در MacBook Air پایه، کاملا روی دستگاه.

EmbeddingGemma 2 یک مدل تعبیه چندوجهی است: متن، تصاویر، صدا و ویدئو در یک فضای مشترک. یک کلمه را با صدای بلند بگویید و صدای آن نزدیک به کلمه نوشته شده است.

بنابراین سعی کردیم کلمات را مستقیما از آن فضا بخوانیم.

فقط خواننده آموزش دیده است: کمتر از دو ساعت در ساعت 8 × H100، در گفتار انگلیسی با مجوز آشکار. مدل پایه هرگز برای گفتار به متن آموزش داده نشد.

× زمان واقعی: ثانیه صدا در هر ثانیه پردازش. ردیف‌های 1 تا 2: آزمایش‌های ما روی همان پایه مک‌بوک ایر M3. ردیف های 3 تا 5: معیارهای منتشر شده FluidAudio در مک های بزرگتر، جدیدتر و صدای متفاوت. یک راهنمای تقریبی، نه رتبه‌بندی مشابه.

نرخ خطای کلمه آن در حال حاضر حدود 5٪ است، در مقابل 2-3٪ برای مدل های گفتاری پیشرو. ما معتقدیم که یک خواننده آموزش دیده بهتر می تواند این شکاف را برطرف کند. این تکرار بعدی است.

یک فایل صوتی را رها کنید، یا گزینه Right Option را نگه دارید، صحبت کنید و رها کنید تا به هر برنامه ای دیکته کنید. این بر روی موتور عصبی مک اجرا می شود. صدای شما هرگز از دستگاه خارج نمی شود.