视频编解码的理论和实践2：Ffmpeg视频编解码

LMou 发布于2019-07-16 16:09 / 911人阅读

摘要：和视频编码一样，解码操作的大部分细节都已经被隐藏起来了，开发者只需要设置好相关的解码参数，然后调用接口函数就可以实现解码功了。

近几年，视频编解码技术在理论及应用方面都取得了重大的进展，越来越多的人想要了解编解码技术。因此，网易云信研发工程师为大家进行了归纳梳理，从理论及实践两个方面简单介绍视频编解码技术。

相关阅读推荐
《视频直播关键技术：流畅、拥塞和延时追赶》
《视频直播技术详解：直播的推流调度》
《音视频通话：小议音频处理与压缩技术》
《视频编解码的理论和实践1：基础知识介绍》

1、Ffmpeg介绍
《视频编解码的理论和实践1：基础知识介绍》介绍了视频编码的基础知识，本篇文章，我们一起看看实际应用中的视频编码是如何操作的。
在实际工程项目中，ffmpeg是应用最多的多媒体处理框架，它提供了音视频采集、编解码、图像处理，格式转换等功能，并且拥有很强的扩展能力，通过ffmpeg可以很容易集成第三方库（例如：x264、openh264等），通过这种能力，它可以实现更强大的功能。Ffmpeg由下面几个部分构成：
Libavformat：音视频格式处理
Libavcodec：音视频编解码
Libavfilter：音视频滤镜
Libavdevice：音视频设备采集
Libswscale：图像缩放、转换
Libswresample：音频重采样
Ffmpeg：一个命令行的转码工具
Ffplay：一个命令行播放器
Ffprobe：简单的媒体格式分析工具

2、Ffmpeg视频编码
视频编码是ffmpeg提供的基本功能之一，通过ffmpeg可以很容易实现视频编码操作。使用ffmpeg进行视频编码之前需要把x264、openh264等第三方编解码库集成到ffmpeg中才能使用。编码步骤如下：
（1）注册编码器
（2）根据名字或者ID查找你想使用的编码器（例如x264、x265、openh264等）
（3）创建一个编码器上下文对象
（4）在编码器上下文对象中设置编码器参数
（5）打开编码器
（6）读取一帧图像进行编码，一直重复该过程，直到处理结束
（7）关闭编码器
示例代码如下：
avcodec_register_all(); // 注册所有可用的编码器
codec = avcodec_find_encoder_by_name(“libx264”); // 查找编码器
ctx = avcodec_alloc_context3(codec); // 创建编码器上下文
ctx->width = 1280; // 设置编码器参数
ctx->height = 720;
// ….其他的参数设置
avcodec_open2(ctx, codec, NULL); // 打开编码器
while(read_frame(frame)){

AVPacket pkt; // 存放编码之后的数据
int got_output = 0; // 是否成功编码得到一个图像
avcodec_encode_video2(ctx, &pkt, frame, &got_output); // 编码
if(got_output){
    // 得到编码后的数据，进行后续操作

}
}
avcodec_free_context(&ctx); // 关闭编码器

可以看到，ffmpeg隐藏了大部分的编码细节，调用者不需要了解预测、变换、量化、熵编码等细节，这些细节都已经被ffmpeg封装好了，开发者只要把编码参数设置好，然后调用相关的接口函数，即可实现视频编码功能。当然，这知识最基本的编码功能，要想在画面质量和压缩率之间取得平衡，必须了解视频编码的细节，然后设置相应的参数。

3、Ffmpeg视频解码
Ffmpeg自带了H264的视频解码器，开发者可选择直接使用ffmpeg自带的H264解码器或者第三方的解码库进行视频解码。和视频编码一样，解码操作的大部分细节都已经被ffmpeg隐藏起来了，开发者只需要设置好相关的解码参数，然后调用接口函数就可以实现解码功了。解码流程如下：
（1）注册解码器
（2）查找解码器
（3）创建解码器上下文对象
（4）设置解码参数
（5）打开解码器
（6）读取数据进行解码，直到结束
（7）关闭解码器
代码示例如下：
avcodec_register_all(); //注册解码器
codec = avcodec_find_decoder_by_name(“h264”); // 查找解码器
ctx = avcodec_alloc_context3(codec); // 创建解码器上下文对象
//…设置解码参数
avcodec_open2(ctx, codec, NULL); // 打开解码器
while(read_packet(pkt)){

AVFrame frame; // 存放解码之后的图像数据
int got_frame = 0;
avcodec_decode_video2(ctx, frame, &got_frame, pkt); // 解码
if(got_frame){
    // 解码得到一帧图像，进行后续操作…
}

}
avcodec_free_context(&ctx); // 关闭解码器

可以看到ffmpeg是个非常强大的多媒体处理框架，通过ffmpeg我们可以很容易进行音视频方面的处理。上面介绍的只是ffmpeg的冰山一角，要想熟练使用ffmpeg，必须花很多时间去熟练使用它。

更多即时通讯、音视频技术的干货文章，请关注网易云信博客。

云服务器服务器托管 webrtc的音视频编解码 webrtc视频编解码 js视频编解码 webrtc 视频编解码

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/34657.html

企业级Android音视频开发学习路线+项目实战+源码解析(WebRTC Native 源码、X26

摘要：因此，对音视频人才的需求也从小众变成了大众，这更多的是大家对未来市场的预期导致的结果。做个勤奋向上的人，加紧学习，抓住中心，宁精勿杂，宁专勿多。前言如今音视频的...

tomato 2021-11-24 09:38 评论0 收藏0
Android 音视频开发核心知识点笔记整合

摘要：这里给大家推荐一套学习路线，并附有相关音视频开发核心知识点笔记，相信可以给大家提供一些帮助，有需要的朋友们也可以下载下来随时查漏补缺。很多开发者都知道Androi...

lily_wang 2021-10-12 10:12 评论0 收藏0
快速探索，音视频技术不再神秘

摘要：顶场与底场采集视频信号时，扫描方式分为逐行扫描与隔行扫描。逐行扫描则是将每帧的所有画面同时显示。在对逐行扫描的视频源进行压缩的方面，比它之前的视频编码标准在性能上有了较大的提升。欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由goo发表于云+社区专栏与生活紧密相连的音视频，为何有那么多格式？直播、点播以及即时视频其中又有怎样的机制支撑？面对纷繁复杂的音视频知识，应该...

sunnyxd 2019-04-23 15:21 评论0 收藏0
视频编解码的理论和实践1：基础知识介绍

摘要：在视频编码中常见的变换方法是变换和哈达玛变换。熵编码的目的是去除统计冗余，实现数据的进一步压缩。近几年，视频编解码技术在理论及应用方面都取得了重大的进展，越来越多的人想要了解编解码技术。因此，网易云信研发工程师为大家进行了归纳梳理，从理论及实践两个方面简单介绍视频编解码技术。相关阅读推荐《视频直播关键技术：流畅、拥塞和延时追赶》《视频直播技术详解：直播的推流调度》《音视频通话：小议...

Fourierr 2019-07-16 16:09 评论0 收藏0
主流跨平台媒体库ffmpeg，live555，MobileVLCKit简介

摘要：下面是主流的媒体解码或播放库清单，它们都是跨平台支持的库名简介需要的能力官网链接是一套可以用来记录转换数字音频视频，并能将其转化为流的开源计算机程序。同时由于良好的设计，非常容易扩展对其他格式的支持。下面是主流的媒体解码或播放库清单，它们都是跨平台支持的：库名简介需要的能力官网链接 ffmpeg FFmpeg是一套可以用来记录、转换数字音频、视频，...

JerryZou 2019-06-25 14:25 评论0 收藏0