Аудио и видео в текст

Распознавание работает на модели Vosk, собранной на основе Kaldi: она умещается в 46 мегабайт и запускается в браузере через WebAssembly. Звук из файла раскладывается в одноканальный сигнал с частотой 16 килогерц, режется на короткие окна, и по каждому окну модель оценивает вероятности звуков, а языковая часть модели складывает их в слова. Так распознаётся и голосовое из мессенджера, и дорожка из видео: из ролика берётся только звук.

Абзацы инструмент режет по паузам дольше секунды: модель отдаёт поток слов без знаков, и пауза — единственный сигнал о границе. Метки времени берутся из того же потока, поэтому кнопка у абзаца перематывает запись точно на его начало. Память тратится на раскодированный звук: час записи занимает около 600 мегабайт, и на телефоне длинные файлы лучше делить.

Точность зависит от записи сильнее, чем от модели: один голос в микрофон даёт 85–95 процентов верных слов, разговор нескольких человек в шумной комнате — заметно меньше. Редкие имена и термины модель заменяет похожими по звучанию словами, потому что в её словаре их нет.

Качество текста закладывается при записи: микрофон ближе к говорящему, окно закрыто, телефон не на столе рядом с чашкой. Голосовые из мессенджеров уже сжаты, и с ними ничего не сделать, но диктофонную запись стоит вести в WAV или M4A на высоком битрейте. Если запись готовится для расшифровки, говорите по одному: наложение реплик — главная причина потерь.

После распознавания правьте в таком порядке: сначала имена и термины, их модель искажает предсказуемо и одинаково по всему тексту, поэтому замена по всему документу закрывает половину правок. Потом знаки препинания внутри абзацев, потом цифры, которые модель пишет словами. Метки времени включайте для интервью: по ним удобно вернуться к спорному месту.

Длинную запись на телефоне делите на части по 20–30 минут. Диктовать напрямую в микрофон с выбором языка удобнее в речи в текст, записать голос во вкладке — в диктофоне, а достать звук из видео отдельным файлом — в конвертере аудио.