近几年，视频编解码技术在理论及应用方面都取得了重大的进展，越来越多的人想要了解编解码技术。因此，网易云信研发工程师为大家进行了归纳梳理，从理论及实践两个方面简单介绍视频编解码技术。
相关阅读推荐
《视频编解码的理论和实践1：基础知识介绍》
1、Ffmpeg介绍
《视频编解码的理论和实践1：基础知识介绍》介绍了视频编码的基础知识，本篇文章，我们一起看看实际应用中的视频编码是如何操作的。
在实际工程项目中，ffmpeg是应用最多的多媒体处理框架，它提供了音视频采集、编解码、图像处理，格式转换等功能，并且拥有很强的扩展能力，通过ffmpeg可以很容易集成第三方库（例如：x264、openh264等），通过这种能力，它可以实现更强大的功能。Ffmpeg由下面几个部分构成：
Libavformat：音视频格式处理
Libavcodec：音视频编解码
Libavfilter：音视频滤镜
Libavdevice：音视频设备采集
Libswscale：图像缩放、转换
Libswresample：音频重采样
Ffmpeg：一个命令行的转码工具
Ffplay：一个命令行播放器
Ffprobe：简单的媒体格式分析工具
2、Ffmpeg视频编码
视频编码是ffmpeg提供的基本功能之一，通过ffmpeg可以很容易实现视频编码操作。使用ffmpeg进行视频编码之前需要把x264、openh264等第三方编解码库集成到ffmpeg中才能使用。编码步骤如下：
（1） 注册编码器
（2） 根据名字或者ID查找你想使用的编码器（例如x264、x265、openh264等）
（3） 创建一个编码器上下文对象
（4） 在编码器上下文对象中设置编码器参数
（5） 打开编码器
（6） 读取一帧图像进行编码，一直重复该过程，直到处理结束
（7） 关闭编码器
示例代码如下：
avcodec_register_all(); // 注册所有可用的编码器
codec = avcodec_find_encoder_by_name(“libx264”); // 查找编码器
ctx = avcodec_alloc_context3(codec); // 创建编码器上下文
ctx->width = 1280; // 设置编码器参数
ctx->height = 720;
// ….其他的参数设置
avcodec_open2(ctx, codec, NULL); // 打开编码器
while(read_frame(frame)){
AVPacket pkt; // 存放编码之后的数据
int got_output = 0; // 是否成功编码得到一个图像
avcodec_encode_video2(ctx, &pkt, frame, &got_output); // 编码
if(got_output){
// 得到编码后的数据，进行后续操作
}
}
avcodec_free_context(&ctx); // 关闭编码器
可以看到，ffmpeg隐藏了大部分的编码细节，调用者不需要了解预测、变换、量化、熵编码等细节，这些细节都已经被ffmpeg封装好了，开发者只要把编码参数设置好，然后调用相关的接口函数，即可实现视频编码功能。当然，这知识最基本的编码功能，要想在画面质量和压缩率之间取得平衡，必须了解视频编码的细节，然后设置相应的参数
3、Ffmpeg视频解码
Ffmpeg自带了H264的视频解码器，开发者可选择直接使用ffmpeg自带的H264解码器或者第三方的解码库进行视频解码。和视频编码一样，解码操作的大部分细节都已经被ffmpeg隐藏起来了，开发者只需要设置好相关的解码参数，然后调用接口函数就可以实现解码功了。解码流程如下：
（1） 注册解码器
（2） 查找解码器
（3） 创建解码器上下文对象
（4） 设置解码参数
（5） 打开解码器
（6） 读取数据进行解码，直到结束
（7） 关闭解码器
代码示例如下：
avcodec_register_all(); //注册解码器
codec = avcodec_find_decoder_by_name(“h264”); // 查找解码器
ctx = avcodec_alloc_context3(codec); // 创建解码器上下文对象
//…设置解码参数
avcodec_open2(ctx, codec, NULL); // 打开解码器
while(read_packet(pkt)){
AVFrame frame; // 存放解码之后的图像数据
int got_frame = 0;
avcodec_decode_video2(ctx, frame, &got_frame, pkt); // 解码
if(got_frame){
// 解码得到一帧图像，进行后续操作…
}
}
avcodec_free_context(&ctx); // 关闭解码器
可以看到ffmpeg是个非常强大的多媒体处理框架，通过ffmpeg我们可以很容易进行音视频方面的处理。上面介绍的只是ffmpeg的冰山一角，要想熟练使用ffmpeg，必须花很多时间去熟练使用它。
更多即时通讯、音视频技术的干货文章，请关注网易云信博客。
原文地址：https://www.cnblogs.com/wangyiyunxin/p/9480934.html