Новости В Яндекс Браузере появился автоматический перевод с китайского языка - «Новости»

[Новости]

​

Нейросети Яндекс Браузера научились переводить видео с китайского языка и автоматически накладывать русскую озвучку.


Технология уже работает на YouTube, а чуть позже появится поддержка популярной китайской видеоплатформы Bilibili.

Реклама: 2Vtzqxi7Yrq
Как работает автоматический перевод с китайского в Яндекс Браузере



Яндекс Браузер сам предлагает перевести видео с китайского на YouTube сразу после того, как пользователь его откроет. Нужно просто нажать на кнопку «Перевести видео».

Основные тонкости технологии:

• Уникальный датасет. Разработчики Яндекса с нуля собрали собственный датасет. С помощью специального алгоритма они обработали 1,5 миллиона видео и выбрали 100 тысяч с качественными субтитрами на севернокитайском языке. Соответствие аудио и субтитров важно, потому что именно по ним нейросеть учится понимать речь.
  
• Понимание письменности. Чтобы превращать речь в текст, нейросети браузера выучили тысячи иероглифов. Каждый из них читается как слог. Чтобы нейросеть научилась их понимать, весь необходимый для работы с китайским словарь разработчики закодировали в виде 10 000 токенов.
  
• Тоны и контекст. На изучение и распознавание четырёх тонов, определяющих смысл сказанного в китайском языке, у нейросети заняло месяц. Ещё в китайском много омофонов — слов, которые звучат одинаково, но пишутся по-разному и обладают разным значением. Чтобы различать их, нейросети Яндекс Браузера умеют учитывать контекст.
  

Кроме того, у Яндекса появилась достаточная технологическая база для работы с другими сложными языками. Например, корейским и японским.


Ранее в Яндекс Браузере появились интерактивные субтитры для видео на четырёх языках.