最近一直在处理图片，从H264解码后得到的图片是YUV图片，而且很多都是NV12的，不是YUV420P（它们的差别是NV12格式为YYY...Y UV UV UV ... UV，而420P格式为 YYY...YY UUU..U VVV...V），一张1920x1080的图片大小为3.1M，为了节省空间，我需要存储为jpg，jpeg格式实际上就是压缩后的YUV，别的不说先上代码
/* OpenCV */
cv::Mat srcimg, dstimg;
srcimg.create(height*3/2, width, CV_8UC1);
FILE* fp = fopen(yuvf, "rb");
fread(srcimg.data, 1, height*width*3/2, fp);
// 需要进行一次转化
cv::cvtColor(srcimg, dstimg, cv::COLOR_YUV2BGR_NV12);
// 文件保存，目前已经测试jpg和png文件可行
cv::imwrite(fout, dstimg);
/* libavcodec */ 1 AVCodec* codec;
2 AVCodecContext* codecCtx;
3 struct SwsContext* swsCtx;
4 FILE* fp;
5 int inSz, tmpSz;
6 uint8_t *inbuff, *tmpbuff;
7 size_t rd;
8 int got_output = 0;
9 int ret = 0;
10 AVFrame *frame = NULL;
11 AVPacket pkt;
12 if (width < 1 || height < 1 || !in || !out)
13 return -1;
14
15 // 准备转换环境
16 av_register_all(); // 必须调用，否则 avcodec_find_encoder 会失败
17 codec = avcodec_find_encoder(AV_CODEC_ID_MJPEG);
18 if (NULL == codec) {
19 return -2;
20 }
21 codecCtx = avcodec_alloc_context3(codec);
22 if (NULL == codecCtx) {
23 ret = -3;
24 goto codecctx_errout;
25 }
26 codecCtx->bit_rate = 4000000;
27 codecCtx->width =width;
28 codecCtx->height = height;
29 codecCtx->time_base = (AVRational){ 1, 25 };
30 codecCtx->pix_fmt = AV_PIX_FMT_YUVJ420P;
31 if (avcodec_open2(codecCtx, codec, NULL) < 0) {
32 ret = -4;
33 goto codecctx_errout;
34 }
35 frame = av_frame_alloc();
36 av_init_packet(&pkt);
37 pkt.data = NULL;
38 pkt.size = 0;
39
40 // 加载源文件
41 fp = fopen(in, "rb");
42 if (NULL == fp) {
43 ret = -5;
44 goto out;
45 }
46
47 inSz = av_image_get_buffer_size(infmt, width, height, 1);
48 if (inSz <= 0) {
49 ret = -6;
50 goto out;
51 }
52 inbuff = (uint8_t*)malloc(inSz);
53 if (NULL == inbuff) {
54 ret = -7;
55 goto out;
56 }
57 rd = fread(inbuff, 1, inSz, fp);
58 if (rd != (size_t)inSz) {
59 fclose(fp);
60 ret = -8;
61 goto allout;
62 }
63 fclose(fp);
64
65 // 转换格式为YUV420P
66 if (infmt != AV_PIX_FMT_YUVJ420P && infmt != AV_PIX_FMT_YUV420P) {
67 swsCtx = sws_getContext(width, height, infmt, width, height, AV_PIX_FMT_YUV420P, SWS_BILINEAR, 0, 0, 0);
68 if (NULL == swsCtx) {
69 ret = -9;
70 goto allout;
71 }
72 tmpSz = av_image_get_buffer_size(AV_PIX_FMT_YUV420P, width, height, 1);
73 tmpbuff = (uint8_t*)malloc(tmpSz);
74 if (NULL == tmpbuff) {
75 ret = -9;
76 goto allout;
77 }
78
79 AVFrame FrIn, FrOut;
80 av_image_fill_linesizes(FrIn.linesize, infmt, width);
81 av_image_fill_pointers(FrIn.data, infmt, height, inbuff, FrIn.linesize);
82 av_image_fill_linesizes(FrOut.linesize, AV_PIX_FMT_YUV420P, width);
83 av_image_fill_pointers(FrOut.data, AV_PIX_FMT_YUV420P, height, tmpbuff, FrOut.linesize);
84
85 sws_scale(swsCtx, (const uint8_t* const*)FrIn.data, FrIn.linesize, 0, height, FrOut.data, FrOut.linesize);
86 // 使用新的buffer
87 free(inbuff);
88 inbuff = tmpbuff;
89 }
90 // 填充AVFrame
91 frame->format = codecCtx->pix_fmt;
92 frame->width = width;
93 frame->height = height;
94
95 // 转换
96 av_image_fill_linesizes(frame->linesize, codecCtx->pix_fmt, width);
97 av_image_fill_pointers(frame->data, codecCtx->pix_fmt, height, inbuff, frame->linesize);
98 if (avcodec_send_frame(codecCtx, frame) < 0) {
99 ret = -10;
100 goto allout;
101 }
102 if (0 == avcodec_receive_packet(codecCtx, &pkt)) {
103 fp = fopen(out, "wb");
104 if (fp) {
105 fwrite(pkt.data, 1, pkt.size, fp);
106 fclose(fp);
107 }
108 else {
109 ret = 12;
110 }
111 av_packet_unref(&pkt);
112 }
113
114 // 环境回收
115 allout:
116 free(inbuff);
117 out:
118 sws_freeContext(swsCtx);
119 av_frame_free(&frame);
120 codecctx_errout:
121 avcodec_close(codecCtx);
122 av_free(codecCtx);
123 errout:
124 return ret;
我的电脑配置I7 6700HQ，内存16G，系统Ubuntu 18.04，转换1920x1080图片结果为：OpenCV耗时超过80ms（在84左右浮动），而使用libavcodec版本只需要12ms。
OpevCV是很多做算法的喜欢的工具，可是这个效率，真的是很差 ，它的强项应该就是——代码足够短，FFMpeg使用将近100行的代码它只用了6行就完成了。
现在库包装越来越“豪华”，执行效率却是越来越低，我们真的需要这么高的硬件配置吗？还是我们被这么多工具给忽悠了？
近段在折腾Rockchip的RK3399，在前面被表扬的FFMepg这里就要被打脸了，解码1920x1080的H264视频流，FFMpeg也加入了硬解码，我测试了一下，CPU消耗也是100%，而我直接使用Rockchip提供的MPP借口解码CPU占用率维持在35%左右，没有细看FFMpeg代码，扫了一下，也是一样使用MPP接口，但就不知道为什么差别会这么大了。
原文地址：https://www.cnblogs.com/darkise/p/9945699.html
时间： 2024-10-13 05:08:04