Перевод видео на русский язык в реальном времени от Яндекса: как включить и пользоваться
Компания Яндекс не боится внедрять новые технологии в свои продукты – только так и можно сохранять их привлекательность и актуальность. И в некоторых аспектах Яндекс может даже предложить своим пользователям то, чего лишены более именитые программы-аналоги. Так, в 2021 году в фирменном Яндекс Браузере с очередным обновлением появилась очень интересная и востребованная функция. Она позволяет автоматически переводить и на русском языке озвучивать видео на различных популярных платформах, например, на том же YouTube.
Читайте «Яблык» в Telegram и смотрите в YouTube. Подписывайтесь!
На каких языках работает автоматический перевод видео в Яндекс Браузере?
Изначально переводить можно было только с английского языка. С тех пор, сервис развивался и теперь он поддерживает уже 5 языков:
- английский;
- немецкий;
- испанский;
- французский;
- китайский.
Об этом полезном функционале Яндекс Браузера знают немногие, а ведь возможность очень удобная. Приложение можно установить хотя бы для того, чтобы пользоваться именно этим переводчиком видео. Озвучка с помощью нейронных сетей хорошо себя показывает при онлайн-просмотре презентаций. Все же субтитры отвлекают, мешая параллельно с прослушиванием выполнять другие задачи.
Изначально функция была применима только к отобранным видео, но сейчас она успешно справляется и с прямыми онлайн трансляциями. Самое интересное, что переводчик отличает пол одного спикера от другого, для этого используются разные мужские и женские синтезированные голоса.
Как работает синхронный перевод видео Яндекса и как лучше пользоваться этой функцией?
Как работает автоперевод видео на русский язык в Яндекс Браузере?
Чтобы реализовать эту функцию, Яндексу пришлось задействовать не только технологии сервиса Переводчик, но еще и синтез речи, биометрию. Для озвучивания видео используются возможности сразу шести нейросетей, а не одной, как могло бы показаться.
Первая нейросеть идентифицирует язык, на котором говорит спикер. Если язык поддерживается, то в браузере появится окошко с предложением осуществить перевод видео на русский.
Вторая нейросеть отвечает за перевод речи в текст. Формируется модель с аудиодорожкой, в которой алгоритмы выявляют и удаляют лишние звуки. Эта же нейросеть вычищает слова-паразиты, делая итоговый результат чище.
Третья нейросеть отвечает за приведение текста к воспринимаемому виду, расставляет требуемые знаки препинания. На входе эта нейросеть получает просто набор переведенных слов. Из них требуется с помощью пунктуации создать грамотные предложения, сохранив при этом изначальный смысл. Нейросеть получает еще и выделенный контекст, чтобы она понимала, о чем вообще в ролике идет речь. Этот вектор помогает расставить слова на нужные места и обеспечить их смысловую связь. Иногда на это требуется дополнительное время. Но в случае стрима небольшая задержка – неизбежный компромисс для обеспечения качества.
Разработчики говорят, что если нет уверенности в том, как надо разбивать речь на предложения в конкретном случае, то можно подождать нового материала, новых слов. Это поможет-таки определиться с разбиением или же превысит ограничения по контексту и заставит нейросеть формировать фразы с определенной, пусть и не со стопроцентной, долей уверенности.
Четвертая нейросеть определяет, сколько человек вообще говорит, какой их пол и какими местоимениями они пользуются. Алгоритм определяет, мужской голос или женский, за счет частоты звучания. У мужчин она составляет 80-150 Гц, а у женщин 150-250 Гц.
Пятая нейросеть уже непосредственно переводит текст на русский язык.
Последняя, шестая нейросеть, отвечает за синтез речи и ее синхронизацию с роликом. Именно она вставляет паузы, когда замолкает спикер, следует его темпу речи, то замедляясь, то ускоряясь.
Как Яндекс автоматически переводит прямые (онлайн) видео трансляции?
Обрабатывать стрим намного сложнее, чем готовый ролик. Ведь это видео нельзя заранее проанализировать и понять, как лучше сделать озвучку. В случае с готовым роликом имеется для обработки готовая аудиодорожка, тогда как со стримом все сложнее. Нейросети вынуждены осуществлять синхронный перевод прямо «на лету» создаваемой дорожки.
Такое отличие заставляет выбирать разные технологии, но в целом языковые модели все равно используются одни и те же. Если Яндекс работает со стримом, то дополнительно задействуется третья нейросеть, которая помогает нормализовать речь. Алгоритмы выявляют начало и конец предложения, выделяют вводные слова, сложносочиненные предложения и так далее.
А после расстановки нейросетью знаков препинания система уже формирует законченные по смыслу предложения и направляет их для перевода.
В результате задержка в ходе прямых трансляций может составлять от 20 до 50 секунд.
Это можно считать хорошим результатом, который позволяет все же не отставать от темпа происходящего.
Приятно удивляет возможность системы работать с разными голосами. Кажется, что это появилось относительно недавно. Ведь изначально перевод предлагал только два голоса: мужской и женский. Теперь же каждый из них получил дополнительные варианты.
Как включить автоперевод видео на русский язык в Яндексе?
Эта функция работает на разных операционных системах: Windows, macOS, Android, iOS, но только в приложениях Яндекс или Яндекс Браузер.
Чтобы запустить перевод, вам надо просто открыть видео на одной из популярных платформ: YouTube, Rutube, Vimeo или им подобных. Запустите воспроизведение, вскоре автоматически появится кнопка перевода ролика. Вам надо просто на нее нажать.
Если ролики мелкие, то процесс перевода займет пару секунд. Если же речь идет о трансляциях, то придется подождать 15-20 секунд в случае с новым стримом. Если же он уже какое-то время идет, то понадобится куда меньше – та же пара секунд.
Польза от функции автоматического перевода видео на русский язык в Яндекс.Браузере
Не секрет, что многие иностранные видео на русском языке посмотреть не получится. Немногие блогеры могут позволить себе дубляж. А вот автоперевод в Яндекс Браузере без проблем решает эту проблему. Всего пара кликов – и вы уже смотрите видео на русском языке, не отвлекаясь даже на субтитры. Вниманию ничто не мешает, а озвучка достаточно качественная, чтобы передавать суть.
Можно лишь посетовать на отсутствие у озвучки живых ноток. Хочется слышать больше интонаций, соотносящихся с речью спикера. Пока же упор сделан на качество перевода, а не на естественность речи. Да и не со всеми стримами функция работает так, как от нее ожидаешь. Но в скором времени Яндекс наверняка это исправит, ведь проект постоянно развивается.
�� Смотрите также:
- Как появилось слово Спам (Spam): удивительная история происхождения термина.
- ТОП 100 самых населенных стран мира. На каком месте Россия, Япония, США, Китай и т.д.
- Как превратить нарисованные от руки каракули в полноценные рисунки при помощи нейросети.
�� Мы в Telegram и YouTube, подписывайтесь!
В «Яндекс.Браузере» появился синхронный перевод онлайн-трансляций
Любитель научной фантастики и технологического прогресса. Хорошо сочетает в себе заумного технаря и утончённого гуманитария. Пишет про IT и радуется этому.
Что случилось
Разработчики «Яндекс Браузера» добавили бета-версию функции онлайн-перевода прямых эфиров. Пока доступно ограниченное количество каналов и лишь некоторые из иностранных языков — английский, итальянский, испанский, немецкий и французский.
Функцию включили только в версии браузера для Windows и macOS, а в мобильной версии планируют добавить позже. Скачать и протестировать браузер можно на официальном сайте «Яндекса».
Как это работает
Летом 2021 года «Яндекс» анонсировал прототип автоматического перевода видео. На тот момент функция работала только с видео на английском языке и не поддерживала прямые эфиры. И тогда архитектура закадрового перевода выглядела совершенно иначе, потому что у нейросети был полный контекст происходящего.
В работе с онлайн-переводом команда «Яндекс.Браузера» использовала четыре нейросети. Одна нейросеть распознаёт аудио и конвертирует его в текст, вторая — распознаёт пол спикера по биометрии. Третья нейросеть отвечает за знаки препинания и выделение из текста смысловых фрагментов — отдельных законченных предложений. И последняя нейросеть переводит сгенерированный текст на русский язык.
Нейросети похожи на синхронных переводчиков, которые не ждут окончания фразы спикера, а начинают переводить предложения сразу же.
Всё вместе это выглядит так:
Функция синхронного перевода прямых трансляций. Источник: Youtube-канал «Академии Яндекс»
Читайте также:
- 6 «проклятых» вопросов о карьере от джунов
- Карьерный дайджест #4: вакансии в IT для начинающих программистов без опыта работы
- Какие базы данных существуют и для чего их используют: SQL, NoSQL, OLAP
Яндекс ПЕРЕВОДЧИК ВИДЕО. Как Включить и Отключить перевод видео в браузере Яндекс
Как включить переводчик видео и фильмов в режиме реального времени легко и бесплатно. Как переводить видео с английского на русский. как переводить фильмы, переводчик фильмов У меня на канале интересный и разнообразный контент. ✔ Жми палец на вверх! 😉 ✔ Оставляй своё мнение в комментариях! ✔ Подписывайся и нажимай на колокольчик! МОЛОДЕЦ �� �� ССЫЛКИ НА МОИ СОЦ. СЕТИ�� ✅Мы будем вам благодарны, если вы подпишитесь на наш канал: https://www.youtube.com/channel/UC9zxbYNS39c-e9IFSiHCFtw?sub_confirmation=1 ✅По желанию вы можете поддержать наш проект: https://www.donationalerts.com/r/ilya12345678258
Показать больше
Войдите , чтобы оставлять комментарии
Протестировал нейросеть Яндекса, которая синхронно переводит видео голосом. Теперь смотрю только так
В закладки
В 2021 году Яндекс Браузер получил крупное обновление, в котором добавилась функция автоматического перевода и озвучки видео на популярных платформах, вроде YouTube.
На старте был доступен только английский язык. С тех пор прошло 2 года, а список поддерживаемых языков вырос до пяти:
• английский
• немецкий
• испанский
• французский
• китайский
И вот только недавно я открыл для себя этот мощный функционал и понял, насколько он удобен. Решил посмотреть WWDC 2023 с помощью нейроозвучки, чтобы не пропустить ничего важного.
Да, всегда есть субтитры, но к ним у меня особое отношение. Ими удобно пользоваться, но при этом тебя эта функция буквально притягивает к экрану, ты не можешь отвлечься, если не знаешь языка или тебе нужно выполнять параллельно другие задачи.
С тем же WWDC мне требовалось писать большое число статей одну за другой, а на слух английский язык я воспринимаю далеко не идеально. Поэтому гораздо удобнее, когда кто-то синхронно переводит презентацию: пишешь текст и одновременно слушаешь, что рассказывают .
Если на старте функция позволяла озвучивать на русском языке только отобранные видео, то сейчас она спокойно справляется и с прямыми трансляциями, что очень удобно. Причем ты даже можешь отличить одного спикера от другого — им подбираются разные синтезированные голоса.
Как вообще устроен синхроперевод и как им пользоваться? Разбираемся.
Как работает автоперевод видео в Яндекс Браузере
Для реализации функции Яндекс использовал технологию сервиса Переводчик, речевые технологии и биометрию. Примечательно, что в озвучке видео принимает участие не одна, а сразу шесть нейросетей.
Первая. Определяет язык говорящего. Если он говорит на поддерживаемом языке, то браузер предложит перевести содержимое на русский.
Вторая. Переводит речь в текст. В полученной модели создается аудиодорожка, из которой нейронка удаляет лишние звуки. Она же удаляет слова-паразиты, делая итоговый текст «чище».
Третья. Нормализует текст и расставляет знаки препинания.
То есть она получает набор переведенных слов, составляет из него грамотные предложения и занимается пунктуацией, сохранив изначальный смысл.
Нейросети передается определенный выделенный контекст, чтобы она могла лучше понять, о чем идет речь в ролике. А затем она сама расставляет все по смыслу. Но иногда требуется чуть больше времени. В случае стриминга это будет компромиссом между качеством и задержкой.
Если мы не уверены, нужно ли разбивать на предложения в данном месте, то можем подождать чуть дольше, пока не придут новые слова. Тогда мы либо лучше определимся с разбиением, либо превысим ограничение по контексту и будем вынуждены разбивать там, где почти уверены.
Четвертая. Определяет количество спикеров, их пол и применяемые местоимения. Вычисляется тип голоса (мужской или женский) по частоте звучания: у мужчин — 80—150 Гц, у женщин — 150—250 Гц.
Пятая. Занимается переводом текста на русский язык.
Шестая. Синтезирует речь и синхронизирует её с роликом. Она делает паузы одновременно с говорящим человеком, а также соблюдает его темп речи, иногда ускоряясь или замедляясь.
Как работает автоперевод трансляций
Схема работы переводчика
Понятное дело, что стрим — это не уже готовый ролик. Его нельзя заранее проанализировать и наложить озвучку.
Если в первом случае нейросеть получает уже целую аудиодорожку и работает с ней, то во втором такого запаса времени нет. Приходится работать в режиме синхронного перевода по создающейся дорожке.
По этой причине технологии немного отличаются, но языковые модели используются те же самые. В случае с трансляциями на помощь приходит третья нейросеть, ответственная за нормализацию речи. Она распознает начало и конец предложения, выделяет вводные слова, определяет сложносочиненные предложения и так далее.
Как только нейросеть расставит все знаки препинания, система определяет предложения с законченными мыслями и отправляет уже их на перевод.
Задержка при переводе прямых трансляций может составлять от 20 до 50 секунд. Неплохой результат, чтобы сильно не отставать от происходящего.
Особенно меня порадовало и то, что система умеет озвучивать разные голоса. И это, по всей видимости, появилось относительно недавно. Потому что на старте было доступно всего два голоса: один мужской и один женский. Теперь у каждого из них есть несколько вариаций звучания.
Как включить автоперевод видео
Функция перевода доступна на iOS, Android, Windows и macOS в приложении Яндекс или Яндекс Браузер.
Для запуска функции достаточно открыть любое видео на популярных платформах, вроде YouTube, Rutube, Vimeo и так далее. После включения ролика кнопка перевода появится автоматически. Останется только нажать на неё.
Для обычных роликов процесс запуска переводчика занимает пару секунд. А для трансляций обычно приходится сначала подождать около 15-20 секунд, если стрим только начался. А если он уже идет, то те же пару секунд.
Попробуйте, это очень полезная функция
Многие зарубежные видео недоступны на русском языке. Лишь редкие блогеры заказывают себе дубляж.
С помощью автоперевода в Яндекс Браузере эта проблема решается на раз-два. В пару кликов я уже смотрю ролик на русском языке и даже не мучаюсь от субтитров. Ничто не отвлекает, озвучка работает хорошо.
Единственное, лично мне не хватает «живости» самой озвучки. Хочется больше слышать похожих с оригиналом интонаций. Ну и пока функция работает далеко не со всеми стримами. Надеюсь, это исправят в скором времени.
(37 голосов, общий рейтинг: 4.70 из 5)
�� Хочешь ещё? Читай больше в Telegram
�� Ищешь ответ на вопрос? Приходи на Форум
В 2021 году Яндекс Браузер получил крупное обновление, в котором добавилась функция автоматического перевода и озвучки видео на популярных платформах, вроде YouTube. На старте был доступен только английский язык. С тех пор прошло 2 года, а список поддерживаемых языков вырос до пяти: • английский • немецкий • испанский • французский • китайский И вот только.
Артём Баусов
Главный по новостям, кликбейту и опечаткам. Люблю электротехнику и занимаюсь огненной магией. По всем вопросам пишите в Telegram: @TemaBausov