1. 背景

在《基于ESP32的人工智能语音教具》项目中，已经将语音识别、语音合成、文字对话、语音对话及自然语言处理融合到一起，成为一个多功能系统，但在硬件方面采用按钮按下的触发，来进行录制语音并发送，过于机械化。本项目希望采用语音活动检测（Voice Activity Detection,VAD）来进行语音的判断，从而做一个自动语音对话系统。

2. 硬件

在《基于ESP32的人工智能语音教具》项目中采用的是嵌入式系统与云端服务器进行结合，在嵌入式系统上进行的是数据传输的工作，复杂的操作可以在服务器端实现，如搭建自主实现的语音识别功能和实现更智能的对话功能等。
在《在树莓派上实现基于VAD的自动语音对话系统》项目中，由于现有的语音及文字对话系统比较成熟，本项目决定采用现有的API，如灵云的语音识别/语音合成和图灵机器人的文字对话API，重点将在如何实现自动的语音对话系统。这里选用树莓派3B+，具有较强性能，拓展起来方便，且资料丰富。

3. 软件

3.1 树莓派环境搭建

• Raspberry Pi 3B+ 及 配套电源线
• 读卡器 及 Micro SD卡 8G及以上
• 显示屏 及 HDMI线
• USB键盘 及 USB鼠标（无线键鼠也可）
• 安装Win32 DiskImager
• 下载RASPBIAN系统

给树莓派安装RASPBIAN系统，从官网(https://www.raspberrypi.org/downloads/raspbian/)下载，下载ZIP解压成.img文件。

用Win32 DiskImager将.img写入对应Micro SD卡中。

写入成功后，插入HDMI连接显示屏，开机配置WiFi账号密码。在左上角蓝牙标志的边上有网络连接，点击选择无线网络，并输入密码。当出现WIFI标志时，即连接成功，如下图。

打开terminal软件，在下图所示位置。

使用命令行安装pyaudio库（用于语音处理）：

sudo apt-get install portaudio.dev
sudo apt-get install python3-pyaudio	
sudo apt-get install pulseaudio

使用webrtcvad库进行语音活动检测，webrtcvad采用的是GMM模型（可参考WebRTC之VAD算法这篇博文）：

sudo pip3 install webrtcvad

3.2 接口封装

3.2.1 语音识别与语音合成

选用一个平台的语音识别服务，本项目选用的是灵云(http://www.hcicloud.com/)，在开发者平台上注册账号和选择语音识别和语音合成功能。申请成功后，如下图所示。
下面是根据官方开发文档所编写的语音识别类和语音合成类。
语音识别类使用16k.pcm，识别结果为北京科技馆的音频作为测试。

# -*- coding: utf-8 -*-
#ASR
import urllib.parse, urllib.request
import time
import json
import hashlibclass LinyunAsrMode(object):def __init__(self):self.appkey = "545d5467"self.capkey = "asr.cloud.freetalk"self.audioformat = "pcm16k16bit"self.developerkey = "4811cb1e437414777250201c0d9b854a"self.url = "http://api.hcicloud.com:8880/asr/Recognise"self.nowdate = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())      def get_linyun_text(self, voicedata):#voicedata is binary content，saved in bytesbody = voicedatax_config = "capkey={0},audioformat={1},identify={2},index={3},addpunc=yes".format(self.capkey, self.audioformat, self.nowdate, "-1")x_checksum_content = self.nowdate + self.developerkeyx_checksum = hashlib.md5(x_checksum_content.encode('utf-8')).hexdigest().upper()x_header = {"x-app-key": self.appkey,'x-sdk-version': "5.0",'x-request-date': self.nowdate,'x-session-key': x_checksum,"x-task-config": x_config,"x-udid": "101:1234567890","x-result-format": "json","content-type": "application/x-www-form-urlencoded"}req = urllib.request.Request(url = self.url,data = body,headers = x_header, method = 'POST')result = urllib.request.urlopen(req)result = result.read().decode('utf-8')json_data = json.loads(result)json_ResponseInfo = json_data['ResponseInfo']json_Result = json_ResponseInfo['Result']json_Score = json_Result['Score']if 0 != int(json_Score):return json_Result['Text']else:print(json_ResponseInfo)return None# %% main function
if __name__ == '__main__':f = open("16k.pcm", 'rb')file_content = f.read()linyun = LinyunAsrMode()Asr_result = linyun.get_linyun_text(file_content)if Asr_result != None:print(Asr_result)

# -*- coding: utf-8 -*-
#TTS
import time
import hashlib
import urllib.request
import urllib.parse
from pyaudio import PyAudio, paInt16def writeFile(file, content):with open(file, 'wb') as f:f.write(content)f.close()class LingyunTtsMode(object):def __init__(self):self.developerkey = "4811cb1e437414777250201c0d9b854a"self.appkey = "545d5467"self.audioformat = "pcm16k16bit"self.speed = "5"self.volume = "10"self.url ="http://test.api.hcicloud.com:8880/tts/SynthText"self.nowdate = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())def GetAudioType(self, type):return{1:"tts.cloud.xiaokun",2:"tts.cloud.haobo",3:"tts.cloud.xixi",4:"tts.cloud.cartoonjing",5:"tts.cloud.diaoxiong",6:"tts.cloud.jiangman",7:"tts.cloud.liangjiahe",8:"tts.cloud.shenxu",9:"tts.cloud.wangjing.v9",10:"tts.cloud.xiaokun.v9",11:"tts.cloud.xumengjuan",12:"tts.cloud.zhaqian",13:"tts.cloud.zhangnan",}.get(type, "tts.cloud.wangjing")'''#	 * 为语音合成http通讯方法#	 * byteResult这个返回的就是 16K16Bit PCM数据        #	 * type : 需要合成的文本  整形#	 * 第二个参数需要填 合成的声音类型 如女生 男生等#	 * 中文女声  ---0#	 * 中文女声  ---1#	 * 中文男声  ---2#	 * 女童声      ---3#	 * 卡通女声  ---4#	 * 幽默男声  ---5#	 * 利落女声  ---6#	 * 呆萌女童声  ---7#	 * 利落男声  ---8#	 * 知性女声  ---9#	 * 舒缓女声  ---10#	 * 嗲柔女声  ---11#	 * 成熟女声  ---12#	 * 嘹亮女声  ---13#	 * 其他就是默认是 0#	 * #	 * return : 返回的就是 16K16Bit PCM数据  '''           def lingyun_tts(self, content, type):body = content.encode('utf8')capkey = self.GetAudioType(type)x_config = "capkey={0},audioformat={1},speed={2},volume={3}".format(capkey, self.audioformat, self.speed, self.volume)x_checksum_content = self.nowdate + self.developerkeyx_checksum = hashlib.md5(x_checksum_content.encode('utf-8')).hexdigest().upper()x_header = {"x-app-key": self.appkey,'x-sdk-version': "5.0",'x-request-date': self.nowdate,'x-session-key': x_checksum,"x-task-config": x_config,"x-udid": "101:1234567890","content-type": "application/x-www-form-urlencoded"}req = urllib.request.Request(url = self.url,data = body,headers = x_header, method = 'POST')req = urllib.request.Request(self.url, data = body, headers = x_header)response = urllib.request.urlopen(req)body = response.read()body_s = str(body)start = body_s.index('</ResponseInfo>') + len('</ResponseInfo>')body_l = list(body)sound = bytes(body_l[start:])return soundif __name__ == '__main__':Text = "你叫什么名字呀"lingyun = LingyunTtsMode()body = lingyun.lingyun_tts(Text, 11)p = PyAudio()stream = p.open(format = paInt16,channels = 1,rate = 16000,output = True)  stream.write(body)stream.stop_stream()stream.closep.terminate()

3.2.2 文字对话

文字识别使用图灵机器人的API。

# -*- coding: utf-8 -*-
# DLG
import json
from urllib.request import urlopen,Request
from urllib.error import URLError
from urllib.parse import urlencodeclass TuringChatMode(object):"""this mode base on turing robot"""def __init__(self):self.turing_url = 'http://openapi.tuling123.com/openapi/api?'def get_turing_text(self,text):turing_url_data = dict(key = '25e9346d64e646c59530f889abb2907d',info = text,userid = '28d2444e030a',)self.request = Request(self.turing_url + urlencode(turing_url_data))try:w_data = urlopen(self.request)except URLError:raise IndexError("No internet connection available to transfer txt data")except:raise KeyError("Server wouldn't respond (invalid key or quota has been maxed out)")response_text = w_data.read().decode('utf-8')json_result = json.loads(response_text)return json_result['text']if __name__ == '__main__':print("Now u can type in something & input q to quit")turing = TuringChatMode()while True:msg = input("\nMaster:")if msg == 'q':exit("u r quit the chat !")         # 设定输入q，退出聊天。else:turing_data = turing.get_turing_text(msg)print("Robot:",turing_data)

3.3 实时语音活动检测

自动语音对话系统，需要知道什么时候人开始说话，什么时候人结束说话，并将人说话这段语音进行语音识别，再进行文字对话和语音合成，这就需要实时对语音实时进行VAD检测。
这里使用生产者消费者模型， 生产者消费者模型当中有两大类重要的角色，一个是生产者，负责造数据的任务，本项目是录制声音；另一个是消费者，接收造出来的数据进行进一步的操作，本项目中是对录制的声音进行实时VAD检测及后续操作。

为什么要使用生产者消费者模型？
这里引用（python）生产者消费者模型这篇博文的表述：

在并发编程中，如果生产者处理速度很快，而消费者处理速度比较慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个等待的问题，就引入了生产者与消费者模型。让它们之间可以不停的生产和消费。

实时VAD检测及后续操作
在webrtcvad中是对20ms的数据进行vad检测，若检测到语音活动则返回1，否则返回0。但对于vad检测返回的信号，不能简单拿来作为语音段，需要经过一定处理，包括去除抖动和松开/按下判断等。在防抖判断时，若判断此段语音为抖动，则清除这段语音有效标志；在松开/按下判断时，若语音有效标志为1，则储存语音，若语音标志位从1到0变化且0持续不到一定时间（如0.5秒）则继续储存语音，若语音标志位从1到0变化且0持续超过一定时间（如0.5秒）则将之前储存的语音片段进入语音识别过程。
此时暂停和清零生产者的生产，即停止和清零录音，直至语音合成结束后恢复。

4. 不足

1）使用的是python而不是c语言，程序效率可以提高。
2）基于VAD的自动语音对话系统存在着不足，若在嘈杂环境中（信噪比低）会出现误触发的情况，且在与其他人交流的时候，该系统会自动识别为与其对话。这里可以采用基于唤醒词的自动语音对话系统。