Так называемое акустическое эхоподавление призвано решить такую ​​проблему в VoIP (передача голоса по интернет-протоколу): A и B разговаривают на стороне A, чтобы улавливать голос A и воспроизводить голос B соответственно. и динамики на стороне B. Они используются для улавливания голоса B и воспроизведения голоса A соответственно. Очевидно, что из-за особенностей распространения звука микрофон на конце A используется для улавливания голоса A. В то же время также собирается звук из B, воспроизводимый динамиком A. То есть звук, собранный A, является смешанным звуком. Когда этот звук отправляется в B через сеть, B может не только слышать. Голос А, но также и собственный голос Б, услышанный несколько секунд назад, означает услышать собственное эхо Б в точке Б. Точно так же собственное эхо А также можно услышать в точке А. Очевидно, это не то, что нам нужно.

Акустическое эхоподавление обычно может быть реализовано с помощью аппаратного и программного обеспечения. В настоящее время аппаратная реализация относительно проста, а программная реализация сложна. Трудность здесь не означает, что алгоритм эхоподавления сложен, а проблема синхронизации в реальном времени при его применении. алгоритм сложен. В настоящее время Microsoft должна иметь лучшую реализацию программного обеспечения, но, похоже, у нее также есть требования к конфигурации оборудования и операционной системе. Speex предоставляет библиотеку алгоритмов акустического эхоподавления. В этой статье Speex просто используется для эхоподавления записи. Конечно, это не обрабатывается в реальном времени.

API эхоподавления в Speex инкапсулирован в API обработки речи. В последней версии Speex API, связанные с обработкой речи, независимо упакованы в libspeexdsp.

Процесс применения API эхоподавления Speex прост: включите соответствующие файлы заголовков - создайте состояние эхокомпенсатора - выполните эхоподавление в каждом кадре - уничтожьте состояние эхокомпенсатора. Обычно может использоваться с препроцессором в Speex.,Были достигнуты лучшие звуковые эффекты.,Процесс применения API препроцессора также очень прост: включить соответствующие файлы заголовков – создать состояние препроцессора – выполнить предварительную обработку каждого кадра – уничтожить состояние препроцессора. Конечно, вы можете установить состояние препроцессора,Здесь мы используем настройки по умолчанию. Вы можете видеть, что эти два процесса одинаковы.,Поэтому он записывается как класс CSpeexEC.,Это эхоподавитель с открытым исходным кодом.,Сделаны небольшие изменения в двух вызовах функций.。Посмотреть исходный текстhttp://www.360doc.com/content/11/1008/18/11192_154383516.shtml,Версия speex, использованная в оригинальной статье, — 1.1.9.,Мы используем speex-1.2beta3-win32.,Обновлены функции, выполняющие предварительную обработку и эхоподавление.

1、speexEC.h

#ifndef SPEEX_EC_H
#define SPEEX_EC_H

#include 
  
   
#include 
   
    
/*Установите каталог include и каталог библиотеки каталога VC++ в свойствах проекта, чтобы включить и lib в библиотеке speex соответственно. Я использовал speex-1.2beta3-win32*/.
#include 
    
     
#include 
     
      

class CSpeexEC
{
public:
	CSpeexEC();
	~CSpeexEC();
	void Init(int frame_size=160, int filter_length=1280, int sampling_rate=8000); 
	void DoAEC(short *mic, short *ref, short *out);

protected:
	void Reset();

private:
	bool      m_bHasInit;
	SpeexEchoState*   m_pState;
	SpeexPreprocessState* m_pPreprocessorState;
	int      m_nFrameSize;
	int      m_nFilterLen;
	int      m_nSampleRate;
	spx_int32_t*      m_pfNoise;
};

#endif

Семейное ведро Jetbrains 1 год 46, стабильная послепродажная гарантия

2、speexEC.cpp

#include "stdafx.h"
#include "SpeexEC.h"

CSpeexEC::CSpeexEC()
{
	m_bHasInit   = false;
	m_pState   = NULL;
	m_pPreprocessorState  = NULL;
	m_nFrameSize   = 160;
	m_nFilterLen   = 160*8;
	m_nSampleRate   = 8000;
	m_pfNoise   = NULL;
}

CSpeexEC::~CSpeexEC()
{
	Reset();
}

void CSpeexEC::Init(int frame_size, int filter_length, int sampling_rate)
{
	Reset(); 

	if (frame_size<=0 || filter_length<=0 || sampling_rate<=0)
	{
		m_nFrameSize  =160;
		m_nFilterLen  = 160*8;
		m_nSampleRate = 8000;
	}
	else
	{
		m_nFrameSize  =frame_size;
		m_nFilterLen  = filter_length;
		m_nSampleRate = sampling_rate;
	}

	m_pState = speex_echo_state_init(m_nFrameSize, m_nFilterLen);
	m_pPreprocessorState = speex_preprocess_state_init(m_nFrameSize, m_nSampleRate);
	m_pfNoise = new spx_int32_t[m_nFrameSize+1];
	m_bHasInit = true;
}

void CSpeexEC::Reset()
{
	if (m_pState != NULL)
	{
		speex_echo_state_destroy(m_pState);
		m_pState = NULL;
	}
	if (m_pPreprocessorState != NULL)
	{
		speex_preprocess_state_destroy(m_pPreprocessorState);
		m_pPreprocessorState = NULL;
	}
	if (m_pfNoise != NULL)
	{
		delete []m_pfNoise;
		m_pfNoise = NULL;
	}
	m_bHasInit = false;
}


void CSpeexEC::DoAEC(short* mic, short* ref, short* out)
{
	if (!m_bHasInit)
		return;

    /*Функции, используемые в версии 1.1.9*/
	//speex_echo_cancel(m_pState, mic, ref, out, m_pfNoise);
	//speex_preprocess(m_pPreprocessorState, (__int16 *)out, m_pfNoise);
	/*Функция, используемая в версии 1.2beta3-win32. Из параметров видно, что в последней версии нет параметра m_pfNoise, поэтому элемент данных m_pfNoise можно удалить в CSpeex*/.
	/*Эта статья все еще сохраняется для проверки разницы между двумя версиями. Судя по результатам, человеческое ухо, по крайней мере, не способно уловить большую разницу*/.
	speex_echo_cancellation(m_pState, mic, ref, out);
	speex_preprocess_run(m_pPreprocessorState, (__int16 *)out);

}

3. Тестовый файл драйвера echocancel.cpp.

#include "stdafx.h"
#include "speexEC.h"
#include 
  
   
#include 
   
    

#define NN 160
void main()
{
	FILE *ref_fd;
	FILE *mic_fd;
	FILE *out_fd;
	short ref[NN];
	short mic[NN];
	short out[NN];
	
	ref_fd = fopen("FarEnd.pcm", "r+b");
	mic_fd = fopen("NearEnd.pcm", "r+b");
	out_fd = fopen("out.pcm", "w+b");


	CSpeexEC ec;
	ec.Init();

	while (fread(mic, 1, NN*2, mic_fd))
	{
		fread(ref, 1, NN*2, ref_fd);  
		ec.DoAEC(mic, ref, out);
		fwrite(out, 1, NN*2, out_fd);
	}

	fclose(ref_fd);
	fclose(mic_fd);
	fclose(out_fd);
}

Программа требует два файла FarEnd.pcm и NearEnd.pcm в качестве входных данных и выводит файл out.pcm — это звук воспроизведения на дальнем конце, который является опорным файлом эха, который необходимо исключить. NearEnd.pcm — это собранный звук. ближним микрофоном. Смешанный звук человеческой речи и эха, out.pcm — это файл после эхоподавления NearEnd.pcm. Мы используем Matlab для линейного добавления чистой речи в FarEnd.pcm для создания NearEnd.pcm с частотой дискретизации 8 к Гц, так что FarEnd и NearEnd строго синхронизированы. Обратите внимание, что это линейное сложение, и FarEnd можно умножить на амплитуду. . Затем добавьте это к чистой речи. Судя по графикам и результатам прослушивания ниже, эхоподавление работает хорошо при полной синхронизации.

FarEnd-8kHz.pcm

NearEnd-8kHz.pcm

out-8kHz.pcm

Однако в реальном VoIP человеческий голос, улавливаемый микрофоном, и звук, воспроизводимый динамиком, не представляют собой простые линейные смеси. С одной стороны, из-за реверберации в помещении они ближе к сверточному микшированию; звук, собранный микрофоном. Воспроизведение и эталонное воспроизведение не синхронизированы строго, то есть сигнал FarEnd.pcm Сигнал FarEnd воспроизведения в EarEnd.pcm не синхронен и обычно имеет задержку в несколько кадров. Это связано с тем, что FarEnd.pcm извлекается непосредственно со звуковой карты, а сигнал FarEnd воспроизведения в NearEnd.pcm воспроизводится через звук. карта и динамик. Затем захватывается микрофоном.

Для этого выбираем песню как FarEnd.pcm, запускаем запись во время воспроизведения FarEnd.pcm и генерируем NearEnd.pcm. Результаты эхокомпенсации, выполняемой программой, следующие:

FarEnd1-8kHz.pcm

NearEnd1-8kHz.pcm

out1-8kHz.pcm

Судя по картинке выше и результатам прослушивания, эффект эхоподавления не идеален при отсутствии синхронизации. Обратите внимание, что эталонная амплитуда воспроизведения FarEnd.pcm больше, чем амплитуда воспроизведения, записанная NearEnd.pcm. Это связано с тем, что звук будет затухать в процессе распространения.

Результаты, показанные на рисунке выше, были получены при частоте дискретизации 8 к Гц. Интересный феномен заключается в том, что при увеличении частоты дискретизации эффект, по-видимому, улучшается. С этой целью мы преобразовали частоту дискретизации звука в 44,1 к Гц и соответствующим образом изменили частоту дискретизации в программе. Результат показан на рисунке ниже:

out2-44.1kHz.pcm

По картинке выше кажется, что эффект не стал лучше, но по слуховому эффекту эхо действительно стало меньше. Это должно быть связано со сходимостью алгоритма эхоподавления, поскольку частота дискретизации становится больше и точек дискретизации становится больше в секунду. Частота дискретизации составляет 8 к Гц, длина кадра 160 соответствует 20 мс, частота дискретизации составляет 44,1 к Гц, а длина кадра 160 соответствует примерно 3,6 мс, поэтому это может быть связано с размером кадра. Я не придумал хорошего объяснения конкретной причины.

Вышеупомянутое является простым применением эхоподавления на основе Speex. Эффект хорош, когда можно обеспечить синхронизацию, но эффект становится хуже, когда она не синхронизирована. Частота дискретизации может быть соответствующим образом увеличена (frame_size остается неизменным), чтобы улучшить обработку. эффект.

Заявление об авторских правах: Содержание этой статьи добровольно предоставлено пользователями Интернета, а мнения, выраженные в этой статье, представляют собой только точку зрения автора. Этот сайт предоставляет только услуги по хранению информации, не имеет никаких прав собственности и не принимает на себя соответствующие юридические обязательства. Если вы обнаружите на этом сайте какое-либо подозрительное нарушение авторских прав/незаконный контент, отправьте электронное письмо, чтобы сообщить. После проверки этот сайт будет немедленно удален.

Издатель: Лидер стека программистов полного стека, укажите источник для перепечатки: https://javaforall.cn/234916.html Исходная ссылка: https://javaforall.cn