Google разработала новую технологию синхронного перевода устной речи — Translatotron. Алгоритм напрямую переводит сказанное, минуя этап конвертации в текст.
Обычно для перевода устной речи с одного языка на другой системы используется каскадная модель. Она распознаёт речь и преобразует ее в текст, затем переводит полученный текст и снова конвертирует его в аудиозапись. Такой метод используется в том числе в Google Translate.
Новый алгоритм принимает спектрограмму исходной аудиозаписи с голосом и синтезирует спектрограмму с речью на другом языке. Затем алгоритм создает аудиофайл.
Translatotron умеет сохранять интонации в речи и даже копировать голос говорящего при переводе. При сохранении исходного голоса перевод немного отличается, поскольку такая версия нейросети обучена на меньшем количестве данных.
Специалисты Google проверили алгоритм. Они переводили устную речь с испанского на английский язык. Пока Translatotron уступает каскадной модели. Однако это первая технология, которая способна напрямую переводить речь с одного языка на другой, отмечают в компании.
В будущем алгоритм позволит увеличить скорость перевода, сократить число ошибок в распознавании речи и при переводе слов, которые не нужно переводить (например, имён). Примеры переводов алгоритма можно послушать здесь.
Сейчас даже самые лучшие машинные переводчики все же уступают человеку и допускают ошибки. Если хотите учить язык при помощи самых передовых технологий, записывайтесь на бесплатное занятие в онлайн-школу английского Skyeng.
Занятия в школе проходят на удобной интерактивной платформе один на один с преподавателем. Вам не понадобятся учебники, так как все уроки доступны онлайн.
условия соглашения