ffmpeg的解码和编码都遵循其基本的执行流程。
  新api解码基本本流程如下：

步骤一：注册：（废弃）
  使用ffmpeg对应的库，都需要进行注册，可以注册子项也可以注册全部。

步骤二：打开文件：avformat_open_input
  打开文件，根据文件名信息获取对应的ffmpeg全局上下文。

步骤三：探测流信息：avformat_find_stream_info
  一定要探测流信息，拿到流编码的编码格式，不探测流信息则其流编码器拿到的编码类型可能为空，后续进行数据转换的时候就无法知晓原始格式，导致错误。

步骤四：查找对应的解码器 avcodec_find_decoder
  依据流的格式查找解码器，软解码还是硬解码是在此处决定的，但是特别注意是否支持硬件，需要自己查找本地的硬件解码器对应的标识，并查询其是否支持。普遍操作是，枚举支持文件后缀解码的所有解码器进行查找，查找到了就是可以硬解了（此处，不做过多的讨论，对应硬解码后续会有文章进行进一步研究）。
  （注意：解码时查找解码器，编码时查找编码器，两者函数不同，不要弄错了，否则后续能打开但是数据是错的）

步骤五：打开解码器  avcodec_open2
  打开获取到的解码器。

步骤六：申请缩放数据格式转换结构体  sws_getContext 
  此处特别注意，基本上解码的数据都是yuv系列格式，但是我们显示的数据是rgb等相关颜色空间的数据，所以此处转换结构体就是进行转换前到转换后的描述，给后续转换函数提供转码依据，是很关键并且非常常用的结构体。

步骤七：申请缓存区  avpicture_get_size+avpicture_fill 
  申请一个缓存区outBuffer，fill到我们目标帧数据的data上，比如rgb数据，QAVFrame的data上存是有指定格式的数据，且存储有规则，而fill到outBuffer（自己申请的目标格式一帧缓存区），则是我们需要的数据格式存储顺序。
  举个例子，解码转换后的数据为rgb888，实际直接用data数据是错误的，但是用outBuffer就是对的，所以此处应该是ffmpeg的fill函数做了一些转换。
进入循环解码：

步骤八：分组数据包送往解码器(此处由一个步骤变为了步骤八和步骤九）avcodec_send_packet
  拿取封装的一个packet，判断packet数据的类型进行送往解码器解码。

步骤九：从解码器缓存中获取解码后的数据  avcodec_receive_frame
  一个包可能存在多组数据，老的api获取的是第一个，新的api分开后，可以循环获取，直至获取不到跳转“步骤十二”。

步骤十一：自行处理    本例是sws_scale图像缩放和格式转换
  拿到了原始数据自行处理。
  不断循环，直到拿取pakcet函数成功，但是无法got一帧数据，则代表文件解码已经完成。
  帧率需要自己控制循环，此处只是循环拿取，可加延迟等。

步骤十二：释放QAVPacket   av_free_packet
  此处要单独列出是因为，其实很多网上和开发者的代码：
  在进入循环解码前进行了av_new_packet，循环中未av_free_packet，造成内存溢出；
  在进入循环解码前进行了av_new_packet，循环中进行av_free_pakcet，那么一次new对应无数次free，在编码器上是不符合前后一一对应规范的。
  查看源代码，其实可以发现av_read_frame时，自动进行了av_new_packet()，那么其实对于packet，只需要进行一次av_packet_alloc()即可，解码完后av_free_packet。
  执行完后，返回执行“步骤八：获取一帧packet”，一次循环结束。

步骤十三：释放转换结构体 sws_freeContext
  全部解码完成后，安装申请顺序，进行对应资源的释放。

步骤十四：关闭解码/编码器  avcodec_close
  关闭之前打开的解码/编码器。

步骤十五：关闭上下文  avformat_close_input
  关闭文件上下文后，要对之前申请的变量按照申请的顺序，依次释放。

实例:

void FFmpegManager::testDecodeNewApi()
{QString fileName = "test/1.mp4";// ffmpeg相关变量预先定义与分配AVFormatContext *pAVFormatContext = 0;      // ffmpeg的全局上下文，所有ffmpeg操作都需要
//    AVInputFormat *pAVInputFormat = 0;              // ffmpeg的输入格式结构体AVDictionary *pAVDictionary = 0;                // ffmpeg的字典option，各种参数给格式编解码配置参数的AVCodecContext *pAVCodecContext = 0;            // ffmpeg编码上下文AVCodec *pAVCodec = 0;                          // ffmpeg编码器AVPacket *pAVPacket = 0;                        // ffmpag单帧数据包AVFrame *pAVFrame = 0;                          // ffmpeg单帧缓存AVFrame *pAVFrameRGB32 = 0;                     // ffmpeg单帧缓存转换颜色空间后的缓存struct SwsContext *pSwsContext = 0;             // ffmpag编码数据格式转换pAVFormatContext = avformat_alloc_context();    // 分配pAVPacket = av_packet_alloc();                  // 分配pAVFrame = av_frame_alloc();                    // 分配pAVFrameRGB32 = av_frame_alloc();               // 分配......// 步骤二：打开文件(ffmpeg成功则返回0)ret = avformat_open_input(&pAVFormatContext, fileName.toUtf8().data(), 0, 0);// 步骤三：探测流媒体信息// Assertion desc failed at libswscale/swscale_internal.h:668// 入坑：因为pix_fmt为空，需要对编码器上下文进一步探测ret = avformat_find_stream_info(pAVFormatContext, 0);// 步骤三：提取流信息,提取视频信息for(int index = 0; index < pAVFormatContext->nb_streams; index++){pAVCodecContext = pAVFormatContext->streams[index]->codec;switch (pAVCodecContext->codec_type){case AVMEDIA_TYPE_UNKNOWN:LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_UNKNOWN";break;case AVMEDIA_TYPE_VIDEO:LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_VIDEO";videoIndex = index;break;case AVMEDIA_TYPE_AUDIO:LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_AUDIO";break;case AVMEDIA_TYPE_DATA:LOG << "流序号:" << index << "类型为:" << "AVMEDIA_TYPE_DATA";break;.......default:break;}}// 步骤四：对找到的视频流寻解码器pAVCodec = avcodec_find_decoder(pAVCodecContext->codec_id);// 步骤五：打开解码器ret = avcodec_open2(pAVCodecContext, pAVCodec, NULL);// 步骤六：对拿到的原始数据格式进行缩放转换为指定的格式高宽大小// Assertion desc failed at libswscale/swscale_internal.h:668// 入坑：因为pix_fmt为空，需要对编码器上下文进一步探测pSwsContext = sws_getContext(pAVCodecContext->width,pAVCodecContext->height,pAVCodecContext->pix_fmt,pAVCodecContext->width,pAVCodecContext->height,AV_PIX_FMT_RGBA,SWS_FAST_BILINEAR,0,0,0);numBytes = avpicture_get_size(AV_PIX_FMT_RGBA,pAVCodecContext->width,pAVCodecContext->height);outBuffer = (uchar *)av_malloc(numBytes);// pAVFrame32的data指针指向了outBufferavpicture_fill((AVPicture *)pAVFrameRGB32,outBuffer,AV_PIX_FMT_RGBA,pAVCodecContext->width,pAVCodecContext->height);// 此处无需分配// av_read_frame时他会分配，av_new_packet多此一举，正好解释了一次new和多次free的问题
//    av_new_packet(pAVPacket, pAVCodecContext->width * pAVCodecContext->height);// 步骤七：读取一帧数据的数据包while(av_read_frame(pAVFormatContext, pAVPacket) >= 0){if(pAVPacket->stream_index == videoIndex){// 步骤八：发送数据给编码器ret = avcodec_send_packet(pAVCodecContext, pAVPacket);// 步骤九：循环冲编码器获取解码后的数据while(!avcodec_receive_frame(pAVCodecContext, pAVFrame)){sws_scale(pSwsContext,(const uint8_t * const *)pAVFrame->data,pAVFrame->linesize,0,pAVCodecContext->height,pAVFrameRGB32->data,pAVFrameRGB32->linesize);QImage imageTemp((uchar *)outBuffer,pAVCodecContext->width,pAVCodecContext->height,QImage::Format_RGBA8888);QImage image = imageTemp.copy();LOG << image.save(QString("%1.jpg").arg(frameIndex++));}av_free_packet(pAVPacket);QThread::msleep(1);}
END:LOG << "释放回收资源";
......

代码总体大意：
1) sws_getContext设置色彩转换模式
2) avpicture_fill 将内存pAVFrameRGB32,outBuffer绑定.
3) av_read_frame,avcodec_send_packet,avcodec_receive_frame 读帧并解码
4) sws_scale 执行色彩转换.新输出的帧放入pAVFrameRGB32(pAVFrame->pAVFrameRGB32）
5) 数据pAVFrameRGB32=> outBuffer=>QImage imageTemp=>QImage image

sws_getContext 函数解析:

sws_getContext(w, h, YV12, w, h, NV12, 0, NULL, NULL, NULL);     // YV12->NV12 色彩空间转换
sws_getContext(w, h, YV12, w/2, h/2, YV12, 0, NULL, NULL, NULL);  // YV12图像缩小到原图1/4
sws_getContext(w, h, YV12, 2w, 2h, YN12, 0, NULL, NULL, NULL);    // YV12图像放大到原图4倍,并转换为NV12结构
本例 sws_getContext 将pAVCodecContext->pix_fmt 转成AV_PIX_FMT_RGBA.

avpicture_fill attribute_deprecated 改成 av_image_fill_arrays

pAVFrameRGB32和out_buffer都是已经申请到的一段内存,但pAVFrameRGB32只是申请了一段结构体内存,结构体里面的值是空的.
我们需要使用avpicture_fill()函数来使得pAVFrameRGB32和out_buffer关联起来, pAVFrameRGB32里面使用的是out_buffer所指向的内存空间.

sws_scale函数

int sws_scale(struct SwsContext *c, const uint8_t *const srcSlice[],const int srcStride[], int srcSliceY, int srcSliceH,uint8_t *const dst[], const int dstStride[]);

下面对其函数参数进行详细说明：

1.参数 SwsContext *c， 转换格式的上下文。也就是 sws_getContext 函数返回的结果。
2.参数 const uint8_t *const srcSlice[], 输入图像的每个颜色通道的数据指针。其实就是解码后的AVFrame中的data[]数组.因为不同像素的存储格式不同,所以srcSlice[]维数也有可能不同.
以YUV420P为例，它是planar格式，它的内存中的排布如下：
YYYYYYYY UUUU VVVV
使用FFmpeg解码后存储在AVFrame的data[]数组中时：
data[0]——-Y分量, Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8……
data[1]——-U分量, U1, U2, U3, U4……
data[2]——-V分量, V1, V2, V3, V4……
linesize[]数组中保存的是对应通道的数据宽度 ，
linesize[0]——-Y分量的宽度
linesize[1]——-U分量的宽度
linesize[2]——-V分量的宽度

而RGB24，它是packed格式，它在data[]数组中则只有一维，它在存储方式如下：
data[0]: R1, G1, B1, R2, G2, B2, R3, G3, B3, R4, G4, B4……

其他：FFMpeg 4.0 新api

 “ warning: ‘AVStream::codec’ is deprecated (declared at /usr/local/ffmpeg/include/libavformat/avformat.h:880) [-Wdeprecated-declarations]

1.1.1    av_register_all()——弃用
•    注册复用器的函数是av_register_output_format()。
•    注册解复用器的函数是av_register_input_format()。
•    注册协议处理器的函数是ffurl_register_protocol()。
注：FFmpeg4.0 以上的版本，这些函数已经被废弃。

不再需要上面的函数，而直接使用具体函数

举例：以下是老版本api解码流程：
和图1相比：avcodec_decode_video2改成avcodec_send_packet和avcodec_receive_frame

  

FFmpeg开发笔记（五）：ffmpeg解码的基本流程详解（ffmpeg3新解码api）_长沙红胖子Qt C++ Linux Arm-CSDN博客