13、语音模块

13.1 音频与场景关联（音源、监听者）

Threejs提供了一系列音频相关的API：音频Audio、位置音频PositionalAudio、监听者AudioListener、音频分析器AudioAnalyser、音频加载器AudioLoader。

音频Audio、位置音频PositionalAudio等Threejs类本质上是对原生Web Audio API的封装。

非位置音频THREE.Audio

下面的代码案例是通过非位置音频THREE.Audio加载一段音频进行进行播放，该音频播放效果不受具体位置影响，一般可以用于一个三维场景的背景音乐。

// 非位置音频可用于不考虑位置的背景音乐
// 创建一个监听者
var listener = new THREE.AudioListener();
// camera.add( listener );
// 创建一个非位置音频对象  用来控制播放
var audio = new THREE.Audio(listener);
// 创建一个音频加载器对象
var audioLoader = new THREE.AudioLoader();
// 加载音频文件，返回一个音频缓冲区对象作为回调函数参数
audioLoader.load('中国人.mp3', function(AudioBuffer) {// console.log(AudioBuffer)// 音频缓冲区对象关联到音频对象audioaudio.setBuffer(AudioBuffer);audio.setLoop(true); //是否循环audio.setVolume(0.5); //音量// 播放缓冲区中的音频数据audio.play(); //play播放、stop停止、pause暂停
});

位置音频THREE.PositionalAudio

在实际生活中，听到声音的效果，受音源相对监听者的位置和角度影响。音频源位置发生变化，听到的声音有所变化，比如音量大小。Threejs提供了一个和非位置音频THREE.Audio不同的API位置音频THREE.PositionalAudio，通过位置音频THREE.PositionalAudio创建的音频播放效果可以模仿自然界中，人听到不同位置音源的声音效果。

可以下载Threejs视频教程13.1节源码(0.位置音频PositionalAudio.html)体验测试，通过鼠标左键拖动旋转整个场景，可以体验到音频播放效果随着鼠标左键变化而变化。因为监听者AudioListener绑定到了相机对象camera上，所以通过OrbitControls.js改变相机的位置或角度本质上就是改变监听者的位置或角度，这样的话就相当于音源绑定的网格模型audioMesh相对监听者的位置或角度发生了变化。

...
// 用来定位音源的网格模型
var audioMesh = new THREE.Mesh(geometry, material);
// 设置网格模型的位置，相当于设置音源的位置
audioMesh.position.set(0, 0, 300);
scene.add(audioMesh);
...// 创建一个虚拟的监听者
var listener = new THREE.AudioListener();
// 监听者绑定到相机对象
camera.add(listener);
// 创建一个位置音频对象,监听者作为参数,音频和监听者关联。
var PosAudio = new THREE.PositionalAudio(listener);
//音源绑定到一个网格模型上
audioMesh.add(PosAudio);
// 创建一个音频加载器
var audioLoader = new THREE.AudioLoader();
// 加载音频文件，返回一个音频缓冲区对象作为回调函数参数
audioLoader.load('./中国人.mp3', function(AudioBuffer) {// console.log(buffer);// 音频缓冲区对象关联到音频对象audioPosAudio.setBuffer(AudioBuffer);PosAudio.setVolume(0.9); //音量PosAudio.setRefDistance(200); //参数值越大,声音越大PosAudio.play(); //播放
});

13.2 音乐可视化

通过Threejs音频相关的APi可以获得音乐音频的频率数据然后可视化。

查看平均频率

var analyser = null; // 声明一个分析器变量
// 渲染函数
function render() {renderer.render(scene, camera); //执行渲染操作requestAnimationFrame(render); //请求再次执行渲染函数render，渲染下一帧if (analyser) {// getAverageFrequency()返回平均音频var frequency = analyser.getAverageFrequency();mesh.scale.y = 5 * frequency / 256;mesh.material.color.r = 3 * frequency / 256;// 返回傅里叶变换得到的所有频率// console.log(analyser.getFrequencyData())}
}
render();var listener = new THREE.AudioListener() //监听者
var audio = new THREE.Audio(listener); //非位置音频对象
var audioLoader = new THREE.AudioLoader(); //音频加载器
// 加载音频文件
audioLoader.load('中国人.mp3', function(AudioBuffer) {audio.setBuffer(AudioBuffer); // 音频缓冲区对象关联到音频对象audioaudio.setLoop(true); //是否循环audio.setVolume(0.5); //音量audio.play(); //播放// 音频分析器和音频绑定，可以实时采集音频时域数据进行快速傅里叶变换analyser = new THREE.AudioAnalyser(audio);
});

频率数据可视化案例

获取频率数据，然后通过频率数据控制网格模型的长度方向伸缩变化。

/*** 创建多个网格模型组成的组对象*/var group = new THREE.Group();let N = 128; //控制音频分析器返回频率数据数量for (let i = 0; i < N / 2; i++) {var box = new THREE.BoxGeometry(10, 100, 10); //创建一个立方体几何对象var material = new THREE.MeshPhongMaterial({color: 0x0000ff}); //材质对象var mesh = new THREE.Mesh(box, material); //网格模型对象// 长方体间隔20，整体居中mesh.position.set(20 * i - N / 2 * 10, 0, 0)group.add(mesh)}scene.add(group)

var analyser = null; // 声明一个分析器变量
// 渲染函数
function render() {renderer.render(scene, camera); //执行渲染操作requestAnimationFrame(render); //请求再次执行渲染函数render，渲染下一帧if (analyser) {// 获得频率数据N个var arr = analyser.getFrequencyData();// console.log(arr);// 遍历组对象，每个网格子对象设置一个对应的频率数据group.children.forEach((elem, index) => {elem.scale.y = arr[index] / 80elem.material.color.r = arr[index] / 200;});}
}
...var listener = new THREE.AudioListener() //监听者
var audio = new THREE.Audio(listener); //非位置音频对象
var audioLoader = new THREE.AudioLoader(); //音频加载器
// 加载音频文件
audioLoader.load('中国人.mp3', function(AudioBuffer) {audio.setBuffer(AudioBuffer); // 音频缓冲区对象关联到音频对象audioaudio.setLoop(true); //是否循环audio.setVolume(0.5); //音量audio.play(); //播放// 音频分析器和音频绑定，可以实时采集音频时域数据进行快速傅里叶变换analyser = new THREE.AudioAnalyser(audio,2*N);
});