1. Введение

Предыдущая статья праваМодель преобразования текста в речь ChatTTSОбъясняются принципы и практика,В шестой раз занял первое место в горячем списке🏆. сегодня,Поделитесь своей функцией симметрии (голос к тексту) Модель: Whisper. Whisper разработан OpenAI и опубликован Открытым исходным кодом.,Минимальный размер параметра — 39 МБ.,Максимум 1550М,Поддерживает несколько языков, включая китайский. Благодаря низкой стоимости ресурсов и высококачественному эффекту выживания.,Он широко используется в различных сценариях преобразования текста в текст, таких как распознавание музыки, чат личных сообщений, синхронный перевод и взаимодействие человека с компьютером.,И это будет дорого после коммерциализации. Поделитесь им со всеми бесплатно сегодня,Больше не тратьте деньги на услуги идентификации по голосу!

2. Принцип модели Whisper

2.1 Архитектура модели

Whisper — это типичная структура преобразователя кодировщика-декодера, которая выполняет многозадачную (многозадачную) обработку речи и текста соответственно.

​

2.2 Обработка голоса

Обработка голоса шепотом：на основе680000часы аудиоданных для обучения,Включая английский, другие языки, конвертированные в английский, неанглийские и другие языки. Преобразование аудиоданных в мел-спектрограмму,После прохождения двух сверточных слоев он отправляется в модель трансформатора.

2.3 Обработка текста

Обработка текста шепотом：текстtokenВключать3добрый：special токены (токены отметок), текст токены (текстовые токены), метка времени токены (временные метки), основанные на метках, управляют началом и концом текста на основе временной метки Токены выравнивают время речи с текстом.

Просто опишите принципы Whisper простым языком.,Если вы хотите узнать глубже,Пожалуйста, обратитесь кОфициальный документ OpenAI Whisper。

3. Практика модели шепота

3.1 Установка среды

Эта статья основана на библиотеке трансформеров HuggingFace.,Используйте конвейерный метод для чрезвычайно простой практической реализации Модели.,специфическийpipelineи другиеtransformersМодель Как его использовать, можно посмотреть в моем предыдущемстатья。

Итак, вам нужно только установить библиотеку трансформеров.

pip install transformers

В настоящее время голос часто ассоциируется с другими медиа, такими как видео, поэтому я рекомендую вам, кстати, установить инструмент обработки мультимедиа ffmpeg. Библиотеки pip не предусмотрено, поэтому для ее установки можно полагаться только на apt-get.

sudo apt-get update && apt-get install ffmpeg

3.2 Загрузка модели

Модель будет загружена автоматически в зависимости от конвейера. Конечно, если скорость вашей сети недостаточна, замените HF_ENDPOINT внутренним изображением.

os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

transcriber = pipeline(task="automatic-speech-recognition", model="openai/whisper-medium")

Количество параметров модели, многоязычная поддержка, требуемый существующий размер и скорость вывода разных размеров следующие:

3.3 Модельное обоснование

Для функции вывода требуется всего две строки, что очень просто. Создайте экземпляр объекта модели на основе конвейера и передайте аудиофайл для преобразования в объект модели:

def speech2text(speech_file):
    transcriber = pipeline(task="automatic-speech-recognition", model="openai/whisper-medium")
    text_dict = transcriber(speech_file)
    return text_dict

3.4 Полный код

Запустите полный код:

python run_whisper.py -a output_video_enhanced.mp3 

Полный код выглядит следующим образом:

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"
os.environ["TF_ENABLE_ONEDNN_OPTS"] = "0"

from transformers import pipeline
import subprocess

def speech2text(speech_file):
    transcriber = pipeline(task="automatic-speech-recognition", model="openai/whisper-medium")
    text_dict = transcriber(speech_file)
    return text_dict

import argparse
import json
def main():
    parser = argparse.ArgumentParser(description="голос к тексту")
    parser.add_argument("--audio","-a", type=str, help="Путь к выходному аудиофайлу")

    args = parser.parse_args()
    print(args) 

    text_dict = speech2text(args.audio)
    #print("Текст в видео:\n" +  text_dict["text"])
    print("Текст в видео:\n"+ json.dumps(text_dict,indent=4))

if __name__=="__main__":
    main()

Здесь argparse используется для обработки параметров командной строки. После ввода аудиофайла в формате mp3 он обрабатывается функцией преобразования речи в текст voice2text и возвращается соответствующий текст:

3.5 Развертывание модели

Если вы хотите развернуть эту службу как службу API распознавания голоса,Вы можете обратиться к предыдущемуСтатья, связанная с FastAPI。

4. Резюме

Эта статья является продолжением предыдущей статьи о чате. Поскольку я научил вас преобразовывать текст в речь, я должен научить вас преобразовывать речь в текст, чтобы техническая система была завершена. Сначала я кратко опишу принцип модели Whisper, а затем реализую вывод модели Whisper на основе двух строк кода в библиотеке конвейеров преобразователей. Надеюсь, это поможет всем. Кодирование непростое. Если вам понравилось, жду вашего внимания + 3 голоса подряд.