Автоматические субтитры с ИИ: перевод и дубляж для ваших клипов

Что такое автоматические субтитры с ИИ и где они в BINAI?

Генератор субтитров с ИИ слушает речь в видео, расшифровывает её с таймингами и выводит на экран. В BINAI это не отдельное приложение: субтитры встроены в «Нарезку по ссылке», инструмент, который превращает длинное видео в короткие клипы. Когда вы запускаете задачу по ссылке на YouTube, Twitch или X либо из загруженного файла MP4 или WebM, последним шагом перед стартом идёт раздел «Субтитры» с тремя вариантами:

• «Субтитры»: на том языке, на котором уже говорят в видео.
• «Перевод»: субтитры, переведённые на другой язык, а исходный звук остаётся как есть.
• «Дубляж»: переведённые субтитры и новая голосовая дорожка на этом языке.

Получается, что субтитры можно сделать к любому видео, которое можно нарезать. Чтобы субтитровать выступление целиком, а не резать его на моменты, выделите фрагмент и выберите вариант, который делает из выделения один клип: он вернётся одним видео с субтитрами.

Как BINAI создаёт субтитры?

Сначала речь расшифровывается с отметкой времени для каждого слова, в многоязычном режиме, который охватывает английский, испанский, французский, немецкий, хинди, русский, португальский, японский, итальянский и нидерландский. Если в видео говорят на другом языке, расшифровка может оказаться почти пустой, поэтому сначала попробуйте короткий фрагмент.

Затем слова собираются в строки: новая строка начинается там, где говорящий делает паузу от полсекунды, или когда строка вышла бы за 42 символа либо примерно за три секунды. У каждого слова своё время, поэтому произносимое слово подсвечивается в момент, когда звучит.

Наконец, каждой строке дают время на чтение. Она держится на экране не меньше 0,7 секунды и достаточно долго, чтобы прочитать её со скоростью 21 символ в секунду, растягиваясь на паузу после неё, но никогда не заходя на следующую строку. Если строке всё равно не хватает времени, она объединяется со следующей, когда обе помещаются вместе. Субтитры попадают в проект клипа отдельным слоем, а не впечатываются в изображение.

Как выглядят субтитры?

Новые клипы начинаются со стиля Scroll: высокие узкие заглавные буквы поднимаются по одному–три крупных слова за раз, а произносимое слово горит жёлтым цветом BINAI. Там, где это подходит по смыслу, добавляется эмодзи. В редакторе есть ещё шесть стилей: Pop, Bold, Neon, Boxed, Bubble и Clean, от жирных заглавных с обводкой до спокойного белого текста.

Можно ли перевести субтитры видео?

Да. Выберите «Перевод» и язык: английский, итальянский, испанский, французский, немецкий или португальский. Перевода на русский среди них нет, зато русскую речь можно субтитровать и перевести на любой из этих языков. Перевод идёт по пронумерованным строкам, и каждая строка возвращается ровно одной переведённой строкой: ничего не склеивается, не делится и не получает новых таймингов, поэтому субтитры не расходятся с речью. Модель просят держать строки короткими, оставлять имена, числа и названия брендов как есть и сохранять разговорный тон там, где он разговорный.

Звук не трогается: зритель слышит исходный голос и читает перевод. Переведённая строка может оказаться длиннее оригинала за то же время, особенно на немецком, поэтому перед публикацией прогоните переведённый клип через проверку.

Как работает дубляж видео с ИИ в BINAI?

Выберите «Дубляж» и язык. BINAI переводит субтитры, как описано выше, затем голос ИИ читает каждую переведённую строку по одной, и она ставится туда, где начиналась исходная. Строка, которая наехала бы на следующую, ускоряется, максимум на 30 процентов; короткую строку никогда не замедляют.

Учтите два момента. Дубляж заменяет исходный звук клипа, так что голоса говорящего больше не слышно. Кроме того, озвучивает клип стандартный голос ИИ, а не копия голоса говорящего, поэтому послушайте результат перед публикацией.

Можно ли править стиль, текст и тайминги?

Каждый клип открывается в редакторе, где у субтитров своя панель:

• Стиль: любой из семи, для всего клипа.
• Цвет произносимого слова: автоматически или один из восьми цветов.
• Размер: крупнее или мельче небольшими шагами.
• Эмодзи: добавить по всему клипу или убрать все.
• Строки: каждую строку можно переписать в текстовом поле. Исправьте неверно услышанное имя, уберите слово-паразит, сдвиньте начало или конец строки на десятую долю секунды или удалите её.

Единой настройки скорости нет. Скорость зависит от того, сколько текста приходится на сколько времени, и меняется она построчно: сократите текст или дайте строке больше времени. При скачивании можно взять видео с вшитыми субтитрами или версию без них.

Скажет ли проверка, что субтитры слишком быстрые?

Да. В проверке контента есть измеряемый пункт «Субтитры можно прочитать». Он не пропускает видео, если какая-то строка быстрее 21 символа в секунду, а это примерно предел комфортного чтения, или держится на экране меньше двух третей секунды, и сообщает, сколько строк слишком быстрые. Не пройдёт и видео, где кто-то говорит, а субтитров нет, потому что многие смотрят первые секунды без звука. Для клипов проверка также учитывает субтитры среди того, что отличает ваш монтаж от повторной загрузки чужого видео: см. как YouTube относится к повторно используемому контенту.

Проверка снижает риск проблемы, которой можно избежать. Насколько далеко разойдётся публикация, всегда решает платформа.

Сколько это стоит и какой тариф нужен?

Субтитры входят в «Нарезку по ссылке», которая есть на всех платных тарифах: Solo, Pro, Business и Studio. Без платного тарифа можно осмотреться, но нельзя запустить задачу. Нарезка расходует около 40 кредитов за минуту готового клипа, включая субтитры; перевод и дубляж добавляют немного за каждый клип. Перед стартом вы видите оценку, а списывается то, что задача реально израсходовала. На тарифе Solo у скачанных видео есть небольшая пометка «made with binai.it», начиная с Pro её нет. Что входит в каждый тариф, смотрите в разделе цены.

Какие есть ограничения?

• Субтитры создаются в ходе нарезки. Отдельного инструмента, чтобы загрузить готовое видео и просто добавить субтитры, нет.
• Перевод и дубляж доступны на шести языках: английском, итальянском, испанском, французском, немецком и португальском. Язык выбирается при запуске задачи.
• Одна задача охватывает не больше четырёх часов видео, а выделение должно длиться не меньше десяти секунд.

Что делать с клипами дальше, читайте в статьях о том, как превратить длинное видео в шортсы, как переупаковать подкаст, как делать клипы с Twitch с помощью ИИ и как часто публиковать.