Компания Яндекс не боится внедрять новые технологии в свои продукты – только так и можно сохранять их привлекательность и актуальность. И в некоторых аспектах Яндекс может даже предложить своим пользователям то, чего лишены более именитые программы-аналоги. Так, в 2021 году в фирменном Яндекс Браузере с очередным обновлением появилась очень интересная и востребованная функция. Она позволяет автоматически переводить и на русском языке озвучивать видео на различных популярных платформах, например, на том же YouTube.
На каких языках работает автоматический перевод видео в Яндекс Браузере?
Изначально переводить можно было только с английского языка. С тех пор, сервис развивался и теперь он поддерживает перевод на русский уже с 8 языков:
- английский;
- немецкий;
- испанский;
- итальянский
- французский;
- китайский;
- корейский,
- японский.
Об этом полезном функционале Яндекс Браузера знают немногие, а ведь возможность очень удобная. Приложение можно установить хотя бы для того, чтобы пользоваться именно этим переводчиком видео. Озвучка с помощью нейронных сетей хорошо себя показывает при онлайн-просмотре презентаций. Все же субтитры отвлекают, мешая параллельно с прослушиванием выполнять другие задачи.
Изначально функция была применима только к отобранным видео, но сейчас она успешно справляется и с прямыми онлайн трансляциями. Самое интересное, что переводчик отличает пол одного спикера от другого, для этого используются разные мужские и женские синтезированные голоса.
Как работает синхронный перевод видео Яндекса и как лучше пользоваться этой функцией?
Как работает автоперевод видео на русский язык в Яндекс Браузере?
Чтобы реализовать эту функцию, Яндексу пришлось задействовать не только технологии сервиса «Переводчик», но еще и синтез речи, биометрию. Для озвучивания видео используются возможности сразу шести нейросетей, а не одной, как могло бы показаться.
Первая нейросеть идентифицирует язык, на котором говорит спикер. Если язык поддерживается, то в браузере появится окошко с предложением осуществить перевод видео на русский.
Вторая нейросеть отвечает за перевод речи в текст. Формируется модель с аудиодорожкой, в которой алгоритмы выявляют и удаляют лишние звуки. Эта же нейросеть вычищает слова-паразиты, делая итоговый результат чище.
Третья нейросеть отвечает за приведение текста к воспринимаемому виду, расставляет требуемые знаки препинания. На входе эта нейросеть получает просто набор переведенных слов. Из них требуется с помощью пунктуации создать грамотные предложения, сохранив при этом изначальный смысл. Нейросеть получает еще и выделенный контекст, чтобы она понимала, о чем вообще в ролике идет речь. Этот вектор помогает расставить слова на нужные места и обеспечить их смысловую связь. Иногда на это требуется дополнительное время. Но в случае стрима небольшая задержка – неизбежный компромисс для обеспечения качества.
Разработчики говорят, что если нет уверенности в том, как надо разбивать речь на предложения в конкретном случае, то можно подождать нового материала, новых слов. Это поможет-таки определиться с разбиением или же превысит ограничения по контексту и заставит нейросеть формировать фразы с определенной, пусть и не со стопроцентной, долей уверенности.
Четвертая нейросеть определяет, сколько человек вообще говорит, какой их пол и какими местоимениями они пользуются. Алгоритм определяет, мужской голос или женский, за счет частоты звучания. У мужчин она составляет 80-150 Гц, а у женщин 150-250 Гц.
Пятая нейросеть уже непосредственно переводит текст на русский язык.
Последняя, шестая нейросеть, отвечает за синтез речи и ее синхронизацию с роликом. Именно она вставляет паузы, когда замолкает спикер, следует его темпу речи, то замедляясь, то ускоряясь.
Как Яндекс автоматически переводит прямые (онлайн) видео трансляции?
Обрабатывать стрим намного сложнее, чем готовый ролик. Ведь это видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. В случае с готовым роликом имеется для обработки готовая аудиодорожка, тогда как со стримом все сложнее. Нейросети вынуждены осуществлять синхронный перевод прямо «на лету» создаваемой дорожки.
Такое отличие заставляет выбирать разные технологии, но в целом языковые модели все равно используются одни и те же. Если Яндекс работает со стримом, то дополнительно задействуется третья нейросеть, которая помогает нормализовать речь. Алгоритмы выявляют начало и конец предложения, выделяют вводные слова, сложносочиненные предложения и так далее.
А после расстановки нейросетью знаков препинания система уже формирует законченные по смыслу предложения и направляет их для перевода.
В результате задержка в ходе прямых трансляций может составлять от 20 до 50 секунд.
Это можно считать хорошим результатом, который позволяет все же не отставать от темпа происходящего.
Приятно удивляет возможность системы работать с разными голосами. Кажется, что это появилось относительно недавно. Ведь изначально перевод предлагал только два голоса: мужской и женский. Теперь же каждый из них получил дополнительные варианты.
Как включить автоперевод видео на русский язык в Яндексе?
Эта функция работает на разных операционных системах: Windows, macOS, Android, iOS, но только в приложениях Яндекс или Яндекс Браузер.
Чтобы запустить перевод, вам надо просто открыть видео на одной из популярных платформ: YouTube, Rutube, Vimeo или им подобных.
В мобильной версии браузера:
Запустите воспроизведение и нажмите на небольшую кнопку с буквой «Y», чтобы раскрыть панель инструментов. Для перевода видео нажмите «Перевести и озвучить».
Для того чтобы изменить язык перевода или включить субтитры, нажмите на значок с тремя вертикальными точками.
В компьютерной версии браузера:
Кнопка «Перевести и озвучить» появляется автоматически.
Для вызова панели с дополнительными настройками (язык перевода, громкость оригинального аудио, субтитры), нажмите кнопку с тремя вертикальными точками.
Если ролики мелкие, то процесс перевода займет пару секунд. Если же речь идет о трансляциях, то придется подождать 15-20 секунд в случае с новым стримом. Если же он уже какое-то время идет, то понадобится куда меньше – та же пара секунд.
Польза от функции автоматического перевода видео на русский язык в Яндекс.Браузере
Не секрет, что многие иностранные видео на русском языке посмотреть не получится. Немногие блогеры могут позволить себе дубляж. А вот автоперевод в Яндекс Браузере без проблем решает эту проблему. Всего пара кликов – и вы уже смотрите видео на русском языке, не отвлекаясь даже на субтитры. Вниманию ничто не мешает, а озвучка достаточно качественная, чтобы передавать суть.
Можно лишь посетовать на отсутствие у озвучки живых ноток. Хочется слышать больше интонаций, соотносящихся с речью спикера. Пока же упор сделан на качество перевода, а не на естественность речи. Да и не со всеми стримами функция работает так, как от нее ожидаешь. Но в скором времени Яндекс наверняка это исправит, ведь проект постоянно развивается.
🔥 Смотрите также:
- Как появилось слово Спам (Spam): удивительная история происхождения термина.
- Обзор Ideogram, или как бесплатно генерировать очень реалистичные картинки с нейросетью.
- MagicQuill — простой бесплатный онлайн-фоторедактор с нейросетями.
