1. 声音

1.1 概述

声音是振动产生的声波，通过介质（气体、固体、液体）传播并能被人或动物听觉器官所感知的波动现象。

声音作为波的一种，频率和振幅就成了描述波的重要属性，频率的大小与我们通常所说的音高对应，而振幅影响声音的大小。声音总可以被分解为不同频率不同强度正弦波的叠加。这种变换（或分解）的过程，称为傅立叶变换。

1.2 声音的产生

以扬声器的发声为示例，下图为动圈式扬声器的结构示意图。
将线圈套在永久（固定）磁铁上，并通入电流，则线圈变为电磁铁；
改变电流的方向和大小，则电磁铁的极性和强度也随之改变，因而会与永久固定磁铁产生不同强度的吸引和排斥，所以会使得线圈在磁铁上往复运动；
线圈一般绑定在一个薄膜上面（这里是纸盆），线圈的移动便会带动薄膜推动它碰到的空气粒子，形成了一面“气墙”。实际上这一面面**"气墙“也就是声音的本质**，或者说声音的本质就是空气的震动。
（后续，这一面面气墙在碰到人的耳朵时，就会引起人耳骨膜的摆动，与骨膜相联系的神经细胞会对这种震动的频率和幅度产生反应，反应成大脑理解的声音）

1.3 声音的储存

声音（空气震动）——改变电容两端的物理间距——电阻大小发生变化——电压大小的变化——记录形成“正弦波”

声音储存的本质也很简单，类似人耳的骨膜，计算机拾取声音的方法也是搞一个薄膜。
将薄膜作为电容的一端，当代表声音的气墙过来的时候，将会推动薄膜震动，从而有规律地改变它和电容另外一端的间距。因此，电容两端的电压也就会发生有规律的变化，然后经过一个模数转换器ADC（Analog to Digital Converter），将电压的变动幅度映射到一系列的数字上（比如4.3v-5v 对应 200 之类），最后声音就变成了时间轴上的数字。

可以看出来ADC转换器十分重要，其精度的好坏，直接决定了对声音的记录质量。

有了声音的数字值之后，便是如何组织成数据文件的问题了。问题就化简为，已知一个整数数组，和一些约定，如何高效的存储成文件。

最简单的存储方式就是，原封不动的把数组存储下来。 这也就是asr领域常用的音频数据格式——pcm格式。这样，每隔一段时间探测一下电压值，然后转换为对应的数字，然后就存一下。 如仅下面的图。

在声音的储存过程中，有三个比较重要的概念，也是音频信号的三个重要参数：采样频率、量化位数和声道。

采样频率：每隔多长时间观测和记录一下电压值。
采样频率越高声音的还原就越真实越自然。在当今的主流采集卡上，采样频率一般共分为22.05KHz、44.1KHz、48KHz三个等级

量化位数： 电压转换为数字的精细度。
用多少bit表达一次采样所采集的数据，通常有8bit、16bit、24bit和32bit等几种。
声道：用了几个麦克风在录，有单声道、双声道和多声道。

声道数：单声道、双声道和立体声
单声道一定不是立体声
双声道不一定是立体声
立体声一定一个以上的发生源，且有两个声道的波形相位不一样。

2. 声音的识别

目前主流对人声的研究一般分为语音识别和声纹识别（说话人识别）。前者研究的是共性问题，判定所说的内容，而后者是个性识别，判定说话人的身份。

参考：

1. 语音识别（ASR）基础介绍第一篇——语音识别的物理学背景
2. 立体声、双声道、单声道的区别
3. python对语音信号读取、分帧、加窗