Android 音视频深入 十 FFmpeg给视频加特效（附源码下载）

项目地址，求star
https://github.com/979451341/Audio-and-video-learning-materials/tree/master/FFmpeg(AVfilter%E8%BF%87%E6%BB%A4%EF%BC%89

1.AVfilter结构体成员

这个特效要靠AVfilter来实现，首先说一下说AVfilter这个结构体的成员

/

*过滤器定义。这定义了一个过滤器包含的垫，以及所有的

*用于与筛选器交互的回调函数。

  • /
    typedef struct AVFilter {

/

*过滤器名称。在过滤器中必须是非空且唯一的。

  • /

    const char *name;

/

*描述滤波器。可能是空的。

*

你应该使用null_if_config_small()宏定义。

  • /

    const char *description;

/

*输入清单，由零元终止。

*

*如果没有（静态）输入，则为null。过滤器实例

  • avfilter_flag_dynamic_inputs集可能会有比现在更多的投入

*这份清单。

  • /

    const AVFilterPad *inputs;

/

*输出清单，由零元终止。

*

*如果没有（静态）输出，则为null。过滤器实例

  • avfilter_flag_dynamic_outputs集可能会有比现在更多的产出

*这份清单。

  • /

    const AVFilterPad *outputs;

/

*一个私人数据的类，用于声明私人avoptions过滤器。

*此字段对于未声明任何选项的筛选器无效。

*

*如果该字段非空，则是筛选私有数据的第一个成员。

*必须是指针对avclass，这将由libavfilter通用

*这个类的代码。

  • /

    const AVClass *priv_class;

/

结合avfilterflag

  • /

    int flags;

2.AVfilter使用步骤

现在直接在代码上说这个AVfilter使用的步骤

因为使用滤镜，所以需要播放视频，就要解码，来段标准准备代码

// sd卡中的视频文件地址,可自行修改或者通过jni传入
char *file_name = "/storage/emulated/0/pauseRecordDemo/video/2018-02-03-09-25-34.mp4";
//char *file_name = "/storage/emulated/0/video.avi";

av_register_all();

//注册所有AVFilter。
avfilter_register_all();//added by ws for AVfilter

AVFormatContext *pFormatCtx = avformat_alloc_context();

// Open video file
if (avformat_open_input(&pFormatCtx, file_name, NULL, NULL) != 0) {

    LOGD("Couldn‘t open file:%s\n", file_name);
    return -1; // Couldn‘t open file
}

// Retrieve stream information
if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
    LOGD("Couldn‘t find stream information.");
    return -1;
}

// Find the first video stream
int videoStream = -1, i;
for (i = 0; i < pFormatCtx->nb_streams; i++) {
    if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO
        && videoStream < 0) {
        videoStream = i;
    }
}
if (videoStream == -1) {
    LOGD("Didn‘t find a video stream.");
    return -1; // Didn‘t find a video stream
}

// Get a pointer to the codec context for the video stream
AVCodecContext *pCodecCtx = pFormatCtx->streams[videoStream]->codec;

开始滤镜的准备

AVFilter *buffersrc  = avfilter_get_by_name("buffer");
AVFilter *buffersink = avfilter_get_by_name("buffersink");//新版的ffmpeg库必须为buffersink
AVFilterInOut *outputs = avfilter_inout_alloc();
AVFilterInOut *inputs  = avfilter_inout_alloc();
enum AVPixelFormat pix_fmts[] = { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE };
AVBufferSinkParams *buffersink_params;

//为FilterGraph分配内存。
filter_graph = avfilter_graph_alloc();
//创建并向FilterGraph中添加一个Filter。
ret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in",
args, NULL, filter_graph);
if (ret < 0) {
LOGD("Cannot create buffer source\n");
return ret;
}

buffersink_params = av_buffersink_params_alloc();
buffersink_params->pixel_fmts = pix_fmts;

//创建并向FilterGraph中添加一个Filter。
ret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out",
NULL, buffersink_params, filter_graph);
av_free(buffersink_params);
if (ret < 0) {
LOGD("Cannot create buffer sink\n");
return ret;
}

给AVfilter的输入输出描述赋值

outputs->name       = av_strdup("in");
outputs->filter_ctx = buffersrc_ctx;
outputs->pad_idx    = 0;
outputs->next       = NULL;

inputs->name       = av_strdup("out");
inputs->filter_ctx = buffersink_ctx;
inputs->pad_idx    = 0;
inputs->next       = NULL;

配置和使用滤镜效果，改变u、v这个两个像素，使画面显示黑白

const char *filters_descr = "lutyuv=‘u=128:v=128‘";

//将一串通过字符串描述的Graph添加到FilterGraph中。
if ((ret = avfilter_graph_parse_ptr(filter_graph, filters_descr,
&inputs, &outputs, NULL)) < 0) {
LOGD("Cannot avfilter_graph_parse_ptr\n");
return ret;
}
//检查FilterGraph的配置。
if ((ret = avfilter_graph_config(filter_graph, NULL)) < 0) {
LOGD("Cannot avfilter_graph_config\n");
return ret;
}

接下来就是渲染

// Find the decoder for the video stream
AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
if (pCodec == NULL) {
    LOGD("Codec not found.");
    return -1; // Codec not found
}

if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
    LOGD("Could not open codec.");
    return -1; // Could not open codec
}

// 获取native window
ANativeWindow *nativeWindow = ANativeWindow_fromSurface(env, surface);

// 获取视频宽高
int videoWidth = pCodecCtx->width;
int videoHeight = pCodecCtx->height;

// 设置native window的buffer大小,可自动拉伸
ANativeWindow_setBuffersGeometry(nativeWindow, videoWidth, videoHeight,
                                 WINDOW_FORMAT_RGBA_8888);
ANativeWindow_Buffer windowBuffer;

if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
    LOGD("Could not open codec.");
    return -1; // Could not open codec
}

// Allocate video frame
AVFrame *pFrame = av_frame_alloc();

// 用于渲染
AVFrame *pFrameRGBA = av_frame_alloc();
if (pFrameRGBA == NULL || pFrame == NULL) {
    LOGD("Could not allocate video frame.");
    return -1;
}

// Determine required buffer size and allocate buffer
// buffer中数据就是用于渲染的,且格式为RGBA
int numBytes = av_image_get_buffer_size(AV_PIX_FMT_RGBA, pCodecCtx->width, pCodecCtx->height,
                                        1);
uint8_t *buffer = (uint8_t *) av_malloc(numBytes * sizeof(uint8_t));
av_image_fill_arrays(pFrameRGBA->data, pFrameRGBA->linesize, buffer, AV_PIX_FMT_RGBA,
                     pCodecCtx->width, pCodecCtx->height, 1);

// 由于解码出来的帧格式不是RGBA的,在渲染之前需要进行格式转换
struct SwsContext *sws_ctx = sws_getContext(pCodecCtx->width,
                                            pCodecCtx->height,
                                            pCodecCtx->pix_fmt,
                                            pCodecCtx->width,
                                            pCodecCtx->height,
                                            AV_PIX_FMT_RGBA,
                                            SWS_BILINEAR,
                                            NULL,
                                            NULL,
                                            NULL);

解码和释放资源,在解码的时候将解码的数据放入FilterGraph去显示

while (av_read_frame(pFormatCtx, &packet) >= 0) {
    // Is this a packet from the video stream?
    if (packet.stream_index == videoStream) {

        // Decode video frame
        avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet);

        // 并不是decode一次就可解码出一帧
        if (frameFinished) {

            //added by ws for AVfilter start
            pFrame->pts = av_frame_get_best_effort_timestamp(pFrame);

            //* 向FilterGraph中加入一个AVFrame。
            if (av_buffersrc_add_frame(buffersrc_ctx, pFrame) < 0) {
                LOGD("Could not av_buffersrc_add_frame");
                break;
            }

//从FilterGraph中取出一个AVFrame。
ret = av_buffersink_get_frame(buffersink_ctx, pFrame);
if (ret < 0) {
LOGD("Could not av_buffersink_get_frame");
break;
}
//added by ws for AVfilter end

            // lock native window buffer
            ANativeWindow_lock(nativeWindow, &windowBuffer, 0);

            // 格式转换
            sws_scale(sws_ctx, (uint8_t const *const *) pFrame->data,
                      pFrame->linesize, 0, pCodecCtx->height,
                      pFrameRGBA->data, pFrameRGBA->linesize);

            // 获取stride
            uint8_t *dst = (uint8_t *) windowBuffer.bits;
            int dstStride = windowBuffer.stride * 4;
            uint8_t *src = (pFrameRGBA->data[0]);
            int srcStride = pFrameRGBA->linesize[0];

            // 由于window的stride和帧的stride不同,因此需要逐行复制
            int h;
            for (h = 0; h < videoHeight; h++) {
                memcpy(dst + h * dstStride, src + h * srcStride, srcStride);
            }

            ANativeWindow_unlockAndPost(nativeWindow);
        }

    }
    av_packet_unref(&packet);
}

av_free(buffer);
av_free(pFrameRGBA);

// Free the YUV frame
av_free(pFrame);

avfilter_graph_free(&filter_graph); //added by ws for avfilter
// Close the codecs
avcodec_close(pCodecCtx);

这个想要真正掌握，需要将avfilter.c至少过个两个遍，因为这下面四个结构体还没有看看他们的内部成员

typedef struct AVFilterContext AVFilterContext;
typedef struct AVFilterLink AVFilterLink;
typedef struct AVFilterPad AVFilterPad;
typedef struct AVFilterFormats AVFilterFormats;

原文地址：http://blog.51cto.com/13591594/2069322

时间： 2024-11-10 11:12:15

Android 音视频深入 十 FFmpeg给视频加特效（附源码下载）的相关文章

android Listview分批加载+自动加载（附源码下载）

直接上代码,代码有注释: public class TestForListviewActivity extends Activity implements OnScrollListener { private ListView mListview = null; private View mFooterView; private PaginationAdapter mAdapter; private Handler handler=new Handler(); private boolean i

Android 音视频深入 二 AudioTrack播放pcm（附源码下载）

本篇项目地址,名字是录音和播放PCM,求starhttps://github.com/979451341/Audio-and-video-learning-materials 1.AudioTrack官方说明AudioTrack允许PCM音频缓冲器流到音频接收器进行回放.这是通过"推"的数据对象的信号使用 write(byte[], int, int) and write(short[], int, int) 方法.一个信号可以在两种模式下运行:静态或流.在流模式中,应用程序写一个连续

Android 高仿 频道管理----网易、今日头条、腾讯视频 （可以拖动的GridView）附源码DEMO

距离上次发布(android高仿系列)今日头条 --新闻阅读器 (二) 相关的内容已经半个月了,最近利用空闲时间,把今日头条客户端完善了下.完善的功能一个一个全部实现后,就放整个源码.开发的进度就是按照一个一个功能的思路走的,所以开发一个小的功能,如果有用,就写一个专门的博客以便有人用到独立的功能可以方便使用. 这次实现的功能是很多新闻阅读器(网易,今日头条,360新闻等)以及腾讯视频等里面都会出现的频道管理功能. 下面先上这次实现功能的效果图:(注:这个效果图没有拖拽的时候移动动画,DEMO里

Android UI开发: 横向ListView(HorizontalListView)及一个简单相册的完整实现 (附源码下载)

Android UI开发: 横向ListView(HorizontalListView)及一个简单相册的完整实现 (附源码下载) POSTED ON 2014年6月27日 BY 天边的星星 本文内容: 1.横向ListView的所有实现思路; 2.其中一个最通用的思路HorizontalListView,并基于横向ListView开发一个简单的相册: 3.实现的横向ListView在点击.浏览时item背景会变色,并解决了listview里setSelected造成item的选择状态混乱的问题.

Android中Loader及LoaderManager的使用（附源码下载）

managedQuery方法的缺陷 Loader是用来更好地加载数据的,在我们谈论Loader之前,我们先研究一下Activity的managedQuery方法,该方法也是用于在Activity中加载数据的.在Android 3.0之前的版本中,我们如果想在Activity中通过ContentResolver对ContentProvider进行查询,我们可以方便的调用Activity的managedQuery方法,该方法的源码如下: @Deprecated public final Cursor

Android 5.0内核和源代码学习（2）——源码下载和系统启动过程分析

一.Android源码下载 上一次简单介绍了Android系统的层次结构,这次开始动真格了--下载源码和分析源码! 那么,Android的源码从哪下?当然是谷歌官网,下载方法官网也讲得很详细,但是奈何中国的墙比较厚,所以上面的办法是没用的,当然,有些是有用的,地址:http://source.android.com/source/downloading.html 谷歌官网没办法下,幸好还有一些国内网站,废话不多说,直接开始步骤: 工具和环境:VM虚拟机+Ubantu14系统 第一步:Ubantu

Android 音视频深入 十六 FFmpeg 推流手机摄像头，实现直播 （附源码下载）

源码地址https://github.com/979451341/RtmpCamera/tree/master 配置RMTP服务器,虽然之前说了,这里就直接粘贴过来吧 1.配置RTMP服务器 这个我不多说贴两个博客分别是在mac和windows环境上的,大家跟着弄MAC搭建RTMP服务器https://www.jianshu.com/p/6fcec3b9d644这个是在windows上的,RTMP服务器搭建(crtmpserver和nginx) https://www.jianshu.com/p

Android 音视频深入 十八 FFmpeg播放视频，有声音（附源码下载）

项目地址https://github.com/979451341/AudioVideoStudyCodeTwo/tree/master/FFmpegv%E6%92%AD%E6%94%BE%E8%A7%86%E9%A2%91%E6%9C%89%E5%A3%B0%E9%9F%B3%EF%BC%8C%E6%9A%82%E5%81%9C%EF%BC%8C%E9%87%8A%E6%94%BE%E3%80%81%E5%BF%AB%E8%BF%9B%E3%80%81%E9%80%80%E5%90%8E 这个项

Android 音视频深入 六 使用FFmpeg播放视频（附源码下载）

本篇项目地址,求starhttps://github.com/979451341/Audio-and-video-learning-materials/tree/master/FFmpeg%E6%92%AD%E6%94%BE%E8%A7%86%E9%A2%91 首先FFmpeg是c语言写的,所以我们需要NDK的技术,然后我使用的NDK使用Cmake的,一开始就是说如何将FFmpeg导入项目,使用我的方法导入FFmpeg不用一分钟. 这个需要大家先在上面的代码地址里下载项目代码因为FFmpeg这个

Android 音视频深入 十一 FFmpeg和AudioTrack播放声音（附源码下载）

项目地址,求starhttps://github.com/979451341/AudioVideoStudyCodeTwo/tree/master/FFmpeg%E6%92%AD%E6%94%BE%E9%9F%B3%E4%B9%90%EF%BC%88%E4%BF%9D%E7%A8%8B%E5%BA%8F%E4%B8%8D%E6%AD%BB%EF%BC%89 这个是FFmpeg解码出音频,给AudioTrack播放,这回才算是java与c语言之间合作 这回我们将会从c++里调用java函数,下面就