pip install tensorflow librosa soundfile

import tensorflow as tf
import librosa
import numpy as np
import os

# Загрузите и разархивируйте набор данных LJSpeech.
url = "https://data.keithito.com/data/speech/LJSpeech-1.1.tar.bz2"
data_dir = tf.keras.utils.get_file('LJSpeech-1.1', origin=url, extract=True)

# Определите функции загрузки и предварительной обработки звука.
def load_audio(path, sr=22050):
    audio, _ = librosa.load(path, sr=sr)
    return audio

def preprocess_audio(audio, sr=22050):
    audio = librosa.resample(audio, orig_sr=sr, target_sr=16000)
    return audio

# Пример: загрузка и предварительная обработка звука
audio_path = os.path.join(data_dir, 'LJSpeech-1.1/wavs/LJ001-0001.wav')
audio = load_audio(audio_path)
processed_audio = preprocess_audio(audio)
print(f"Original audio shape: {audio.shape}")
print(f"Processed audio shape: {processed_audio.shape}")

from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, LSTM, Dense

# Строительство Такотрона 2Модель
def build_tacotron2_model(input_shape):
    inputs = Input(shape=input_shape)
    x = LSTM(256, return_sequences=True)(inputs)
    x = LSTM(256, return_sequences=True)(x)
    outputs = Dense(80)(x)  # 80 Спектр Вермеера
    model = Model(inputs, outputs)
    return model

# Пример: модель сборки
input_shape = (None, 256)  # Предположим, что входные данные представляют собой 256-мерный объект.
tacotron2_model = build_tacotron2_model(input_shape)

# Скомпилировать модель
tacotron2_model.compile(optimizer='adam', loss='mean_squared_error')

# Просмотр структуры модели
tacotron2_model.summary()

from tensorflow.keras.utils import Sequence

class AudioDataGenerator(Sequence):
    def __init__(self, audio_paths, batch_size=32):
        self.audio_paths = audio_paths
        self.batch_size = batch_size

    def __len__(self):
        return len(self.audio_paths) // self.batch_size

    def __getitem__(self, idx):
        batch_x = self.audio_paths[idx * self.batch_size:(idx + 1) * self.batch_size]
        audios = [preprocess_audio(load_audio(path)) for path in batch_x]
        return np.array(audios), np.array(audios)  # Вход и выход одинаковы

# Пример: создание генератора данных
audio_paths = [os.path.join(data_dir, f'LJSpeech-1.1/wavs/LJ001-{i:04d}.wav') for i in range(1, 101)]
train_generator = AudioDataGenerator(audio_paths)

# Модель обучения
tacotron2_model.fit(train_generator, epochs=10)

# Построить модель WaveGlow
def build_waveglow_model(input_shape):
    inputs = Input(shape=input_shape)
    x = LSTM(256, return_sequences=True)(inputs)
    x = LSTM(256, return_sequences=True)(x)
    outputs = Dense(1)(x)  # Выход — одноканальный звук
    model = Model(inputs, outputs)
    return model

# Пример: модель сборки
input_shape = (None, 80)  # Предположим, что введено 80. Спектр Вермеера
waveglow_model = build_waveglow_model(input_shape)

# Скомпилировать модель
waveglow_model.compile(optimizer='adam', loss='mean_squared_error')

# Просмотр структуры модели
waveglow_model.summary()

# Пример: создание генератора данных преобразования голоса
mel_spectrograms = [librosa.feature.melspectrogram(y=audio, sr=16000, n_mels=80) for audio in processed_audio]
train_generator = AudioDataGenerator(mel_spectrograms)

# Модель преобразования обучающего голоса
waveglow_model.fit(train_generator, epochs=10)

# Пример: Оценка модели синтеза голоса
test_audio_path = os.path.join(data_dir, 'LJSpeech-1.1/wavs/LJ001-0101.wav')
test_audio = preprocess_audio(load_audio(test_audio_path))

# Предсказать мел-спектр
predicted_mel_spectrogram = tacotron2_model.predict(np.expand_dims(test_audio, axis=0))

# Пример: Оценка модели преобразования голоса
predicted_audio = waveglow_model.predict(predicted_mel_spectrogram)

# Визуализируйте результаты
import matplotlib.pyplot as plt

plt.figure(figsize=(10, 5))
plt.subplot(2, 1, 1)
plt.title('Original Audio')
plt.plot(test_audio)
plt.subplot(2, 1, 2)
plt.title('Predicted Audio')
plt.plot(predicted_audio[0])
plt.show()