音视频开发 (一)

1.常用概念

音视频相关名词、术语、概念

1.1帧率

用于测量显示帧数的量度，测量单位为每秒显示帧数（fps）或 赫兹（Hz）。每秒显示帧数（fps）或者图形处理场时每秒能够更新的次数。
一般来说30fps是可以接接受的，如果能将性能提升至60fps则可以明显提升交互感和逼真感，但是超过75fps就不容易察觉有明显的的流畅度提升。如果帧数超过屏幕刷新率，则会浪费图像处理能力，因为监视器不能以这么快的速度更新，这样超过的部分就浪费了。

1.2分辨率

视频成像产品所形成的图像大小或尺寸

1.3刷新率

刷新率是指屏幕每秒画面被刷新的次数，刷新率分为垂直刷新率和水平刷新率，一般提到的刷新率通常指垂直刷新率。垂直刷新率表示屏幕的图象每秒钟重绘多少次，也就是每秒钟屏幕刷新的次数，以Hz（赫兹）为单位。刷新率越高越好，图象就越稳定，图像显示就越自然清晰，对眼睛的影响也越小。刷新频率越低，图像闪烁和抖动的就越厉害，眼睛疲劳得就越快。一般来说，如能达到80Hz以上的刷新频率就可完全消除图像闪烁和抖动感，眼睛也不会太容易疲劳。

1.4编码格式

编码的目的是压缩数据量，采用编码算法压缩冗余数据。常用的编码格式有如下这两种。

• MPEG(MPEG-2,MPEG-4)
• H.26X(H.263,H.264/AVC,H.265/HEVC)

1.5封装格式

把编码后的音视频数据以一定格式封装到一个容器，封装格式有MKV、AVI、TS等

1.6 码率

码率也就是比特率，比特率是单位时间播放连续的媒体的比特数量。比特率越高，带宽消耗的越多。

1.7 画质与码率

视频质量和码率、编码算法都有关系

1.8DTS与PTS

• DTS：decode Time Stamp，主要用于标示读入内存中的比特流在什么时候开始送入解码器中进行解码
• PTS：decode Time Stamp，主要用于度量解码后的视频帧什么时候被显示出来

1.9 YUV与RGB

• YUV
  YUV是编译true-color颜色空间（color space）的种类，Y’UV, YUV, YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度（Luminance、Luma），“U”和“V”则是色度、浓度（Chrominance、Chroma）

• RGB
  也是一种颜色空间模型，三原色光模式（RGB color model），又称RGB颜色模型或红绿蓝颜色模型，是一种加色模型，将红（Red）、绿（Green）、蓝（Blue）三原色的色光以不同的比例相加，以合成产生各种色彩光。

1.10视频帧及音频帧

常见的视频帧有 I、P、B帧等

• I帧表示关键帧，可以理解为这一帧画面的完成保留，解码时只需要本帧数据就可以完成，这里其实可以把I帧的压缩等同于单独压缩一幅图片
• P帧又称前向预测编码帧，也有帧间预测编码帧，P帧需要依赖前面的I帧或者P帧才能进行编解码，因为一般来说，P帧存储的是当前帧画面与前一帧（前一帧可能是I帧也可能是P帧）的差别，较专业的说法是压缩了时间冗余信息，或者说提取了运动特性。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）
• B帧时双向差别帧，B帧非常特殊，它存储的是本帧与前后帧的差别，因此带有B帧的视频在解码时的逻辑会更复杂些，CPU开销会更大。（要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面数据与本帧数据的叠加取得最终的画面）

音视频概念没有视频帧那么清晰，几乎所有视频编码格式都可以简单地认为I帧就是编码后的一幅图像。但音频帧跟编码格式相关，它是各个编码标准自己实现的。

• 对PCM（未经编码的音频数据）来说，它根本就不需要帧的概念，根据采样率和采样精度就可以播放，比如比如采样率为44.1HZ，采样精度为16位的音频，你可以算出bitrate（比特率）是44100* 16kbps，每秒的音频数据是固定的44100*16/8 字节。
• AMR帧比较简单，它规定每20ms的音频是 1 帧，每一帧音频都是独立的，有肯能采用不同的编码算法
• MP3帧较复杂些，包含了更多的信息，比如采样率、比特率等各种参数。具体如下：音频数据帧个数由文件大小和帧长决定，每一帧的长度可能不固定，也肯能固定，由比特率决定，每一帧又分为帧头和数据实体两部分，帧头记录了MP3的比特率、采样率、版本等信息，每一帧之间相互独立。

1.11量化精度

量化精度表示可以将模拟信号分成多少个等级，量化精度越高，音乐的声压振幅越接近原音乐。采样频率，它是针对每秒钟所采样的数量，而量化精度则是对于声波的振幅进行切割，形成类似阶梯的度量单位。所以，如果说采样频率是对声波水平进行的X轴切割，那么量化精度则是对Y轴的切割，切割的数量是以最大振幅切成2的n次方计算，n就是bit数。如果是8bit，那么在振幅方面的采样就有256阶，若是16bit，则振幅的计量单位便会成为65536阶，越多的阶数就越能精确描述每个采样的振幅高度。如此，也就越接近原始声波的“能量”，在还原的过程序也就越接近原始的声音了。

1.12采样率

采样率指每秒音频采样点个数（8000/44100Hz），采样率单位用Hz表示。像是CD音乐的标准采样频率为44.1KHz(指的就是在1s中对声音采样44100次，也就是对声音1秒的声音记录44100个点，用44100个点来表示1秒钟的声音)，这也是目前声卡与计算机作业间最常用的采样频率。

2.在Mac下编译 FFmpeg

2.1 下载FFmepg源码

ffmepg官网直通车

2.2 获取动态库.so

在根目录新建 build_android.sh

#!/bin/bash
NDK=/Users/xxx/Library/Android/sdk/ndk/21.1.6352462
SYSROOT=$NDK/platforms/android-16/arch-arm/
TOOLCHAIN=$NDK/toolchains/arm-linux-androideabi-4.9/prebuilt/darwin-x86_64
#ADDI_CFLAGS="-marm"
function build_one
{
./configure \
--prefix=$PREFIX \
--enable-shared \
--disable-static \
--disable-yasm \
--disable-doc \
--disable-ffmpeg \
--disable-ffplay \
--disable-ffprobe \
--disable-ffserver \
--disable-doc \
--disable-symver \
--cross-prefix=$TOOLCHAIN/bin/arm-linux-androideabi- \
--target-os=linux \
--arch=arm \
--enable-cross-compile \
--sysroot=$SYSROOT \
--extra-cflags="-Os -fpic $ADDI_CFLAGS" \
--extra-ldflags="$ADDI_LDFLAGS" \
$ADDITIONAL_CONFIGURE_FLAG
make clean
make
make install
}
CPU=arm
PREFIX=$(pwd)/android/$CPU
ADDI_CFLAGS="-marm"
build_one

提示：一般脚本书写不规范容易导致报错
脚本中的NDK=/Users/xxx/Library/Android/sdk/ndk/21.1.6352462 NDK路径需要修改。

执行 ./build_android.sh 出现以下信息

最后在当前文件夹下生成android 文件，里面有我们需要的.so

参考 《Android音视频开发》