«Яндекс браузер» научился создавать субтитры для видео и трансляций на русском языке спомощью встроенной нейросети. Новая функция работает на любых сайтах: от видеохостингов и социальных сетей до страниц телеканалов и загруженных в облачные хранилища роликов — достаточно нажать всего одну кнопку, и браузер начнёт показывать субтитры. Это пригодится в ситуациях, когда нужно соблюдать тишину, а наушников под рукой нет, или когда в помещении слишком шумно. Кроме того, автоматическая генерация субтитров поможет комфортно просматривать видео людям с нарушениями слуха.
Обычно включить субтитры в видеоплеере сайта можно только когда владелец веб-ресурса или автор видео предусмотрел такую возможность. «Яндекс браузер» снимает это ограничение при просмотре русскоязычных роликов.
Разрабатывая технологию, специалисты «Яндекса» решили сложную задачу: значительно сократили объём оперативной памяти компьютера пользователя, которая потребляется при генерации субтитров. Исходная версия нейросети использовала 800 МБ и создавала слишком большую нагрузку на вычислительные ресурсы компьютера. После оптимизации потребление памяти удалось сократить до 150 МБ. Это позволило запускать нейросеть прямо в браузере, даже на обычных ПК с невысокой мощностью.
Генерация субтитров работает в «Яндекс браузере» для Windows и Linux, в macOS новая функция появится до конца сентября. В настройках функции можно выбрать размер шрифта и изменить прозрачность фона, чтобы субтитры не сливались с изображением на заднем плане.
«Просмотр видео с субтитрами — растущий сценарий, особенно важный для работы и потребления контента в шумных местах, но не только. Мы провели исследование и выяснили, что около 40% пользователей включают субтитры просто потому, что им так удобнее. Для глухих и слабослышащих людей это и вовсе один из немногих способов ознакомиться с содержанием звуковой дорожки роликов. Пока «Яндекс браузер» генерирует субтитры только для видео на русском, но мы уже работаем над тем, чтобы добавить больше языков и сделать технологию доступной на мобильных устройствах», — сказал Илья Шибанов, руководитель «Яндекс браузера».
Генерация субтитров дополняет набор технологий «Яндекс браузера» для удобной работы с видео. В нём уже есть режим «Картинка в картинке», позволяющий совмещать просмотр роликов с веб-сёрфингом, и перевод роликов с шести иностранных языков с многоголосой закадровой озвучкой на русском.