هدفون های ترجمه واقعا چگونه کار می کنند؟

در اینجا آنچه آنها انجام می دهند و آنچه شما می توانید واقع بینانه انتظار داشته باشید آمده است.

یک روز، برای داشتن یک مکالمه روان با یک ژاپنی، نیازی به درک زبان ژاپنی یا مترجم انسانی ندارید. یک زبان برای برقراری ارتباط با جهان کافی است. این وعده بزرگ اکثر پروژه‌های هدفون ترجمه است و پیشرفت‌های اخیر در هوش مصنوعی این هدف را از همیشه نزدیک‌تر کرده است.

در ظاهر، هدفون های ترجمه مانند یک فناوری ساده به نظر می رسند. برای مثال، با Apple AirPods Pro، تنها کاری که باید انجام دهید این است که به آیفون خود متصل شوید، زبان‌ها را در برنامه Translate انتخاب کنید و ترجمه زنده را روشن کنید. سپس، همانطور که گوینده صحبت می کند، هدفون های هدفون شما در عرض چند ثانیه صحبت های خود را به زبان شما ترجمه می کنند. برخی دیگر از شما می خواهند که یک جوانه را به گوینده دیگر بسپارید.

فراتر از سطح، هدفون های ترجمه مجموعه پیچیده ای از فرآیندها را برای تبدیل ماندارین به انگلیسی انجام می دهند. هدفون ترجمه در سه مرحله اصلی کار می کند: اول، تشخیص گفتار. سپس، ترجمه ماشینی (پردازش صوتی)؛ و در آخر، سنتز متن به گفتار.

اول، تشخیص گفتار. با استفاده از میکروفون، هدفون های ترجمه صدای گوینده را می گیرند. هدفون های ترجمه پیشرفته از راه حل های مختلفی برای جداسازی صدا از نویز پس زمینه استفاده می کنند. به عنوان مثال، Soundcore Liberty 5 Pro از هشت میکروفون، دو حسگر رسانایی استخوانی و یک مدل تخصصی هوش مصنوعی برای جداسازی صداها استفاده می کند. برخی دیگر از میکروفون های دوتایی یا شکل دهنده پرتو برای دستیابی به نتایج مشابه استفاده می کنند.

پس از ضبط صدا، مرحله بعدی پردازش صدا است. در این مرحله، صدا یا در تلفن متصل، در فضای ابری یا هر دو پردازش می‌شود. اینکه دقیقا چه اتفاقی می افتد بر اساس برند متفاوت است. پس از دانلود بسته های زبان، همه پردازش های Apple AirPods Pro روی آیفون اجرا می شوند. Google Pixel Buds ترجمه را در فضای ابری پردازش می‌کند و به اتصال اینترنت نیاز دارد. در طول پردازش، تشخیص گفتار صدا (صدای گوینده) را به متن تبدیل می کند، سپس آن متن به زبان مقصد ترجمه می شود.

NLP (پردازش زبان طبیعی) در این مرحله برای درک معنی و زمینه جمله استفاده می شود. برخی از هدفون های ترجمه نیز از LLM هایی مانند ChatGPT برای بهبود این زمینه استفاده می کنند.

بعد، سنتز متن به گفتار. هنگامی که گفتار گوینده درک و ترجمه شد، صدا با صدای مصنوعی تولید می شود. آن صدا به گوشی شما بازگردانده می‌شود و گوشی شما آن را از طریق بلوتوث به هدفون شما می‌فرستد که به نوبه خود صدای ترجمه شده را برای شما پخش می‌کند. برخی از هدفون‌های ترجمه، از جمله Apple AirPods Pro و Galaxy Buds Pro، می‌توانند کل فرآیند ترجمه را به صورت آفلاین اجرا کنند، در حالی که برخی دیگر ممکن است به اتصال اینترنت ثابت نیاز داشته باشند، بنابراین اگر برای شما مهم است، قبل از خرید آن را تأیید کنید.

در مقایسه با روزهای اولیه خود، هدفون های ترجمه بسیار بهتر از گذشته کار می کنند. اما دقت 95 یا 99 درصدی که با شادی تبلیغ می شود چیزی جز تبلیغات بازاریابی نیست (حداقل در حال حاضر). بله، بسیاری از هدفون های ترجمه می توانند 99 درصد دقیق باشند، به طوری که خود نادرست نیست، اما شرایط برای آن باید تقریبا عالی باشد، که به ندرت در خارج از آزمایشگاه سازنده وجود دارد.

با گذشتن از آن، یکی از مشکلات رایج هدفون ترجمه سرعت و دقت است. در شرایط مساعد، کل فرآیند ضبط گفتار تا پردازش صدا و سنتز متن به گفتار، زمانی که شرایط ایده‌آل نیست، چند ثانیه یا بیشتر طول می‌کشد. و این تأخیر می تواند مکالمه را بکشد. سپس نادرستی های گاه به گاه وجود دارد. ترجمه را می توان با گفتار نامشخص از گوینده، لهجه های مبهم، زبان عامیانه، همنام ها، اصطلاحات و سر و صدای شدید پس زمینه اشتباه گرفت. همچنین، هر چه جفت زبان محبوبیت کمتری داشته باشد، نادرستی های "گاه به گاه" بیشتر می شوند.