前言

关于周易AIPU

 全志这颗R329最大的亮点就是这个周易AIPU，周易AIPU IP是一个高效高性能的AI处理器，它支持广泛的AI应用，包括视觉，智能语音以及自然语言处理。周易AIPU提供硬件加速器来加速AI推理，例如卷积和激活，同时它提供更为灵活的可编程能力来支持新算子或者自定义算子。周易AIPU IP已经被广泛应用于安防，汽车，IoT等不同领域，不同配置算力覆盖0.25TOPS到上百TOPS。周易AIPU IP目标应用覆盖边缘端和数据中心市场。

语音识别在R329
 基于R329的语音识别目前有两个实现方案，一个基于Python的Maix-Speech仓库，和基于周易AIPU的SDK。

Maix-Speech

• Maix-Speech 是专为嵌入式环境设计的离线语音库，设计目标包括：ASR/TTS/CHAT
• 作者的设计初衷是完成一个低至Cortex-A7 1.0GHz 单核下可以实时运行的ASR库。
• 目前市面上的离线语音库非常稀缺，即使有也对主控要求很高，Maix-Speech 针对语音识别算法进行了深度优化，在内存占用上达到了数量级上的领先，并且保持了优良的WER。

Maix-Speech 的优势

多平台支持

Maix-Speech 支持多种嵌入式平台

平台标识	宏定义	芯片工具链	计算单元	评估板
r329	INFER_ZHOUYI	全志R329,aarch64 gnu	周易AIPU	MaixSense
v83x	INFER_AWNN	全志V83x,armv7 musl	AWNN	M2Dock
armv7musl	INFER_CPU0	armv7 musl	CPU	M2Dock
armv7	INFER_CPU0	armv7 gnu	CPU	LicheePi Zero
aarch64	INFER_CPU0	aarch64 gnu	CPU	MaixSense
x86	INFER_CPU0	x86_64	CPU	Your Computer
riscv64	INFER_CPU0	RV64 C906	CPU	Nezha D1

极低的内存要求和优良的正确率

 Maix-Speech的内存占用相对于市面上的其他语音识别框架有数量级上的领先优势，并且保持良好的WER水平。
 Maix-Speech最低可以实时运行(RTF<1)于典型的 1.0GHz Cortex-A7 内核的芯片上，并且最低仅占用25MB左右内存， 也就意味着它可以实时运行在典型的内封64MB内存的A7芯片上。

常见离线语音识别工具对比

Tool	DeepSpeech	VOSK normal	VOSK small	wenet float	wenet int8	Maix-Speech 7332	Maix-Speech 3332	Maix-Speech 3316
AM Model(MB)	46	74	13	127	38	11	7	2.5
VmRSS(MB)	340	530	300	1148	586	34	30	25
VmData(MB)	7260	1600	1370	-	-	3	3	3
WER	45.2%	6.7%	9.2%	~5%	~5%	5.4%	5.9%	9.7%
PC RTF	0.757	0.191	0.086	0.095	0.088	0.143	0.052	0.024
1.5G A72 RTF	>>1	>>1	0.86	TODO	TODO	0.72	0.48	0.18
1.2G A53 RTF	>>1	>>1	>>1	>>1	>>1	>>1	1.22	0.41
1.0G A7 RTF	>>1	>>1	>>1	>>1	>>1	>>1	>>1	0.65

注1：WER以非流式计算aishell测试集，选用可下载到的开源模型测试。
注2：PC CPU为 Intel® Xeon® CPU E5-2678 v3 @ 2.50GHz
注3: Maix-Speech以mmap形式使用语言模型，故语言模型不占用 VmRSS
注4: Maix-Speech的WER数据使用beam=8, lmL, is_mmap=0测试
注5：wenet为端到端模型

细节优化

• 1.优化了openfst及wfst解码，使得整个解码图无需载入内存即可实时读取解码
• 2.可选载入内存的LG.fst解码图，压缩为lg.sfst, 尺寸为原始fst的1/3左右，占用内存为kaldi载入相同fst的内存占用的 1/20左右（kaldi需要6.5倍左右内存载入fst文件）
• 3.使用新的sMBR等效的方式（无需修改loss）进行鉴别性训练，提升流式识别的准确率

以上资料来源于：https://github.com/sipeed/Maix-Speech/blob/master/README_ZH.md

基于周易AIPU的SDK

https://aijishu.com/a/1060000000215443
教程：https://aijishu.com/a/1060000000216857
需要申请才能下载Zhouyi Compass.zip

一、语音识别基础