Dessa: معتبرترین مدل گفتار تمام دوبلکس که تا کنون ساخته شده است

ما معتقدیم صدا طبیعی ترین راه برای تعامل با هوش است، بنابراین ما Dessa را ایجاد کردیم، معتبرترین مدل گفتاری تمام دوبلکس که تاکنون ساخته شده است. صحبت کردن با آن مانند صحبت کردن با یک فرد است ... پر از احساسات، نکات ظریف، مکث ها، و آهنگ طبیعی.

تعامل با هوش مصنوعی صوتی فعلی می‌تواند به سادگی مضحک باشد. صدای شما را به متن تبدیل می کند و حجم باورنکردنی اطلاعاتی را که متن به تنهایی نمی تواند حمل کند دور می اندازد. قدرتمندترین هوش مصنوعی های جهان نمی توانند احساس شما را بشنوند. ما فکر می کنیم که این مضحک است، منجر به تجربه بدتری می شود، و به طور بالقوه خطرناک است.

ما دسا را ​​از ابتدا روی چیزی جز مکالمه انسانی آموزش دادیم. صداها! بدون متن، بدون مدل های از پیش آموزش دیده. یاد گرفت که یک مکالمه در زمان واقعی را به سادگی با گوش دادن برگزار کند. تا آنجا که می دانیم، Dessa اولین هوش مصنوعی در جهان است که می توانید با آن یک مکالمه زنده واقع گرایانه داشته باشید که فقط از طریق گفتار انسان آموزش داده شده است.

دسا مرز مدل های یادگیری عمیق را پیش می برد و دسته بندی متفاوتی با رفتارهای کاملا جدید و جالب برای محققان ایجاد می کند. آنها چقدر زبان و حقایق را در مقایسه با متن یاد می گیرند؟ چقدر می توانند زبان های جدید را یاد بگیرند؟ آنها چه نوع یادگیری درون زمینه ای را می توانند انجام دهند؟

هر کلیپ زیر یک ضبط زنده از صحبت شخصی با دسا است. کسی آن را هدایت نمی کند. دسا انتخاب می کند که چه چیزی بگوید، چه زمانی آن را بگوید و چگونه بگوید، به صدا و شخصیت خودش. بعد از آن زیرنویس اضافه شد.

در لحظه ای که چیزی خنده دار است، در وسط جمله، به روشی که مردم انجام می دهند، می خندد. مدل‌های دیگر منتظر می‌مانند تا شما کار را تمام کنید، سپس به صورت بی‌سابقه بخندید. از او بخواهید که صحبت کند و صدایش بلندتر می شود. هیچکس اینو بهش یاد نداد

شخص روی عنوان فیلم خالی می شود. دسا جمله را تمام می کند. همچنین با توجه به هر واقعیتی که از صدای خام ناشی شده است، مقدار شگفت انگیزی می داند.

یه سورپرایز دسا زیر لب نفس می‌کشد: «وای خدای من»، سپس با چیزی شبیه تشکر گریه‌آمیز پاسخ می‌دهد.

در این نسخه ی نمایشی، دسا با GPT-Live-1، یک مدل هوش مصنوعی شخص ثالث صحبت می کند. هر دو صدا توسط هوش مصنوعی تولید می شوند. توسعه‌دهنده GPT-Live-1 به Block وابسته نیست و Dessa را بررسی یا تأیید نکرده است.

ورود صدا، خروج صدا. دسا یک مدل گفتار به گفتار واقعی است و هر آنچه می داند از گفتار انسان سرچشمه گرفته است. تمام دوبلکس است، بنابراین مانند شما به طور همزمان گوش می دهد و صحبت می کند. از مکالمه واقعی یاد گرفت، بنابراین می‌داند چه زمانی باید وارد کانال شود و چه زمانی به پشت کانال ("آره!"، "من متوجه شدم"، "اوه") تا نشان دهد که با شماست. استنتاج سریع‌تر از زمان واقعی اجرا می‌شود، بنابراین انتظار ناخوشایندی وجود ندارد. و به صورت محلی روی MacBook Pro M4 Max یا بهتر اجرا می شود.

به طور بومی احساسات، طعنه، خنده، آهی ناامید، صدایی که از غم در می‌آید می‌شنود و می‌گوید. گفتار را از طریق متن اجرا کنید و همه اینها از بین می‌رود، به همین دلیل است که بیشتر هوش مصنوعی صوتی ضعیف، کند و از همه بدتر، آزاردهنده است.

LLM ها به حجم بسیار زیادی از متن نیاز دارند. دسا زبان را از صدها بار کمتر کلمات یاد گرفت (انصافا، LLM ها همچنین باید C++ و هر چه انگولار است را یاد بگیرند).

و باید خیلی بیشتر از زبان یاد می گرفت. لهجه‌ها، مکث‌ها، تنفس، کنایه، طنز، عطف، احساسات، زمان کوتاه کردن: هر یک معنای کسی را تغییر می‌دهد. با صدای بلند بگویید «من نگفتم که او کد CUDA من را دزدیده است» و هر بار روی کلمه متفاوتی تاکید کنید. کلمات یکسان، هر بار معنای متفاوت.

گفتار هرگز تکرار نمی شود. یک جمله را دو بار بگویید، دقیقا به همان روش، و داده ها همچنان متفاوت هستند. متن بدون توجه به اینکه چه کسی آن را تایپ می کند یکسان است. و یک کلمه گفتاری هزاران بار بیشتر از همان کلمه در متن طول می کشد. مردم آنقدر راحت حرف زدن را یاد می گیرند که فراموش می کنیم چقدر سخت است. برای دستگاهی بدون متن برای تکیه کردن، بی‌رحمی است.

اما، ما آن را فهمیدیم. و ما متوجه شدیم که چگونه Dessa را فقط با یک NVIDIA GB200 NVL72 آموزش دهیم.

سه دلیل: کنجکاوی (معروف به سرگرمی)، درک بهتر بین انسان و هوش مصنوعی، و ایمنی. نوزادان یاد می گیرند که حرف بزنند بدون اینکه حتی یک کلمه نوشته شده را ببینند. می خواستیم ببینیم آیا یک مدل هم می تواند. می تواند. فقط خیلی سخته

گفتار طبیعی ترین رابط برای هر هوشی، فوق العاده یا غیره است، و هوش مصنوعی صدای امروزی آن را هدر می دهد. آنچه را که می‌گوییم به متن تبدیل می‌کند و نمی‌تواند با زمان‌بندی انسانی همگام شود.

هوش مصنوعی به قدرت و استقلال خود ادامه می دهد و هنوز نسبت به احساسات در صدای ما ناشنوا است. تصور کنید در حالی که یک هوش مصنوعی صوتی هیچ ایده ای ندارد و فقط به کار خود ادامه می دهد، درد شدیدی دارید. مشکل ایمنی همینه دسا گامی در جهت رفع آن است.

ما یک آزمایشگاه تحقیقاتی هوش مصنوعی (بسیار) کوچک در Block هستیم که توسط اعضای سابق Dessa، استارت‌آپ یادگیری عمیق تورنتو تأسیس شده است. ما از سال 2012 مدل های یادگیری عمیق و بیش از هشت سال مدل های گفتار مولد ساخته ایم. ما مشکلات مرزی را که دیگران نادیده می‌گیرند تعقیب می‌کنیم و مستقیما به جک دورسی، یکی از بنیانگذاران، رئیس و رئیس بلاک گزارش می‌دهیم.

مدلی که یاد گرفته تنها از روی صدا صحبت کند، قلمرو جدیدی است و ما می‌خواهیم چشم‌های بیرونی روی آن باشد. ما به گروه کوچکی از محققان ایمنی هوش مصنوعی دسترسی زودهنگام می‌دهیم تا خطراتی را که پیش‌بینی نکرده‌ایم بیابند. اگر شما هستید، تماس بگیرید.