基于 IJKPlayer-concat 协议的视频无缝拼接技术实现

一、前言

Hi,大家好,我是承香墨影!

开门见山,开篇名义。今天来聊聊如何将多段视频,拼接成一个完整而连续的视频,然后无缝进行播放。

这样的需求应该不算偏门吧?

最简单的就是一些视频 App,会将大段的视频切割成小段的视频进行播放,还有一些在播放视频之前,会插播一段广告,这些需求都可以被本文的内容覆盖到。

说到多个视频拼接来说,如果你了解过 Google 出的 ExoPlayer 的话,它其内正好有一个 ConcatenatingMediaSource 可以来完成多个视频源的拼接工作,并且 Api 很好用,基本上算是无缝拼接。

不过呢,ExoPlayer 是依赖 MediaCodec 的,除了 Api Level 的限制之外(Api Level 16+),它对设备硬件也是有要求的,在一些低端机上,你会碰到一些莫名其妙的卡顿、马赛克、花屏等问题。而正是因为封装的太好了,如果你想自行添加软解,很遗憾,不太简单。而 Github 上 extensions 中,对 ffmpeg 的支持,也只是仅限于 Audio,对 Video 没有这个支持。

本文是基于另外一个很火的开源播放器:IJKPlayer,来看看如何去拼接视频。

二、IJKPlayer Concat

IJKPlayer 是一个基于 FFmpeg 的轻量级 Android/iOS 视频播放器,被 Bilibili 开源出来,算是国内很火的一款开源播放器了,很多 App 都在用。

因为背靠 FFmpeg,所以你在视频编码解码上碰到的大部分问题,IJKPlayer 都可以帮你解决,是一款非常好用的播放器。

IJKPlayer 本身已经很好用了,你如果想播放多段视频源的话,想要挨个的顺序播放,在要求不高或者本身有转场效果的前提条件下,也不是不可以。可如果是需要那种无缝的衔接,使用这种方式你会发现会有短暂的黑屏,因为加载新的视频源需要经历一小段时间,这种黑屏的现象在越差的设备上,越明显。

对此,我这里推荐的解决方案,就是使用 FFmpeg 的 concat 协议

2.1 什么是 concat

concat 是 FFmpeg 提供的一个虚级联脚本分解器(以下简称 concat 协议),它是以一段有规则的脚本文件的形式存在的。可以使用 concat 定义一个视频播放列表,FFmpeg 在播放的时候,会根据你定义的顺序,一个接一个的解析进行播放,就好像他们本身就是一个视频源一样。

这么解释可能有点不清晰,不过如果你了解 .m3u8 的格式,你对 concat 的理解应该就不难,它们都是定义了一个视频列表,交由播放器的解码器去顺序播放。

具体的信息,可以去 FFmpeg 的官方文档中,查阅对应的内容。

FFmpeg Doc:

https://ffmpeg.org/ffmpeg-formats.html#concat

2.2 concat 文件

想要使用 concat 协议,首先需要定义一个待解析的文件。它必须是以 .ffcat 或者 .ffconcat 后缀结尾,并且文件的内容头,必须标记当前 concat 的版本号。

其内有两个可配置的选项:

  • file:用于指定一个待解析的视频源,它可以指定一个本地的文件路径,或者一个在线的 Uri,都是合法的。
  • duration:标记前一个 file 指定的视频源的长度,根据官方文档的介绍,它是和 seek 相关的,当你调整进度的时候,它可以精准的定位到文件。不过它是一个辅助参数,如果你拼接的视频码率什么的参数都一致,是可以不需要它的,所以 duration 是一个非必须的参数。

下面举个官方的例子来看看一个完整的 .ffcat 文件,应该是什么样子的。

ffconcat version 1.0
# my first filename
file /mnt/share/file-1.wav
duration 20.0
# my second filename including whitespace
file ‘/mnt/share/file 2.wav‘
# my third filename including whitespace plus single quote
file ‘/mnt/share/file 3‘\‘‘.wav‘

2.3 IJKPlayer 对 concat 的 Options 配置

在使用 IJKPlayer 的时候,会有一些设置是通过 setOption() 方法进行设置的,如果需要支持 concat 协议,同时也需要有对应的设置。

这里主要关注两点:

  1. protocol_whitelist : 协议白名单。
  2. safe:安全路径。

为了让 IJKPlayer 能支持 concat 协议,你需要将 concat 配置到它的白名单协议里,主要是为了添加 ffconcat 和 concat 两个。

ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT, "protocol_whitelist", "rtmp,concat,ffconcat,file,subfile,http,https,tls,rtp,tcp,udp,crypto");

而 safe 主要是为了指定允许一些不安全的路径,默认值是 1 ,会拒绝一些不安全的文件路径。当然,什么是安全路径?你可以自行测试或者查阅文档,这里直接将它设置为 0 ,就可以将其安全监测关掉。

ijkMediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_FORMAT,"safe",0);

到此,基本上就说清楚关键点了,直接将这个 .ffcat 文件,丢给 IJKPlayer 就可以正常的顺序播放了。

concat 相关的内容非常的少,如果你在实际操作过程中,碰到问题,还是建议关注一下 Logcat 的输出信息,看看出错的原因。当然,通读一遍 FFmpeg 的 concat 文档,也是有帮助的。

三、Concat 查缺补漏

3.1 什么是安全路径

前面提到的,concat 文件中,file 后面跟随的文件路径,必须是一个安全路径,那什么是安全路径?

根据 concat 的文档描述,安全路径必须是一个相对路径,并且只不包含特殊符号,只包含(字母。数字、句点、下划线)等字符,并且路径开始的时候,不包含句点“.”,则认为是一个安全路径。

例如 :

file a.mp4

则认为是当前 .ffcat 文件所在目录下的 a.mp4 文件,这是一个安全路径。

相反的,例如 :"https://"、"file://"、"./" 这种视频源路径,均会视为不安全路径。

3.2 ffcat 文件是否一定要在本地

FFmpeg 只是接受一个 concat 协议格式的数据流,具体它是在本地还是在远端的服务器上,其实是不影响的。

3.3 file 是否可以混编

file 后面跟随的视频源的地址,concat 并不强制要求需要都在同一个地方。

ffconcat version 1.0

file /sdcard/a.mp4

file http://down4.xxx.com/hash/c644d9e118417e56d91cba3dc467ab9b.mp4

例如这样一个 .ffcat 文件,它是合法可播放的。

3.4 视频拼接的地方有黑屏闪动

concat 要求拼接的视频必须具有相同的流(相同的码率和时间基准等),所以如果前后两个视频源这些参数不一致,是可能导致闪一下黑屏的。

这个问题,我在非常差的电视盒子上做过测试,如果文件流保持一致,是可以做到无缝衔接。所以如果你也碰到这样的情况,不要怀疑 FFmpeg 的 concat 的问题,重新用 FFmpeg 转码一下你的视频文件再试试吧。

https://github.com/alwaystest/Blog/issues/58

https://www.jianshu.com/p/ea794a357b48

今天在公众号后台回复成长『成长』,将会得到我整理的一些学习资料,也能回复『加群』,一起学习进步。

推荐阅读:

原文地址:https://www.cnblogs.com/plokmju/p/ijkplayer_concat.html

时间: 2024-08-01 10:36:00

基于 IJKPlayer-concat 协议的视频无缝拼接技术实现的相关文章

基于H.264协议的视频传输系统中遇到的问题以及解决办法

问题1.视频压缩解码模块在运用的时候出现错误:解码器再解码第二帧视频图片的时候出现异常 client: ../../decoder/T264dec.c:594:T264dec_decode_nal: Assertion `0' failed. Aborted 对于该问题的分析及解决过程为: 1.  修改数据类型,所有缓存区改为unsigned char类型(原来统一为char 类型),但是还是遇到一样的异常错误,问题没有解决. 2.  查看缓存区具体内容是否与服务器端压缩的数据是一致的的,对照数

基于Kurento的WebRTC移动视频群聊技术方案

说在前面的话:视频实时群聊天有三种架构: Mesh架构:终端之间互相连接,没有中心服务器,产生的问题,每个终端都要连接n-1个终端,每个终端的编码和网络压力都很大.群聊人数N不可能太大. Router架构:终端之间引入中心服务器,学名MCU(Multi Point Control Unit),每个终端的视频流都发布到MCU服务器上,然后服务器负责编码发布多视频流的工作,减轻客户端的压力. Mix架构:在Router架构基础上,多个视频流在服务器端被合为一个视频流,减轻网络压力. 下面讲我们的选择

[blog]基于SURF特征的图像与视频拼接技术的研究和实现(一)

基于SURF特征的图像与视频拼接技术的研究和实现(一) 一直有计划研究实时图像拼接,但是直到最近拜读西电2013年张亚娟的<基于SURF特征的图像与视频拼接技术的研究和实现>,条理清晰.内容完整.实现的技术具有市场价值.因此定下决心以这篇论文为基础脉络,结合实际情况,进行“基于SURF特征的图像与视频拼接技术的研究和实现”. 一.基于opencv的surf实现 3.0以后,surf被分到了"opencv_contrib-master"中去,操作起来不习惯,这里仍然选择一直在

Android 基于ijkplayer+Rxjava+Rxandroid+Retrofit2.0+MVP+Material Design的android万能播放器aaa

MDPlayer万能播放器 MDPlayer,基于ijkplayer+Rxjava+Rxandroid+Retrofit2.0+MVP+Material Design的android万能播放器,可以播放本地和在线视频,可以浏览宅男杀手妹纸图片,UI设计遵循 Material Design. GitHub地址:https://github.com/Dawish/MDPlayer UI浏览:         1.UI设计: 列表使用RecyclerView,item为CardView并设置rippl

基于RTP的h.264视频传输系统设计(一)

一.H.264 的层次介绍 H.264 定义三个层次,每个层次支持一组特定的编码功能,并且依照各个层次指定所指定的功能.基础层次(baselineprofile)支持I 帧和 P 帧[1]的帧内和帧间编码,支持自适应的可变长度的熵编码(CAVLC).主要层次(main profile)支持隔行扫描视频,B帧[2]的帧内编码,使用加权预测的帧内编码和使用上下文的算术编码(CABAV).扩展层次(extendedprofile)不支持隔行扫描视频和CABAC,但增加了码流之间高效的转化模式(SP 和

基于JT/T808协议的车辆监控平台架构方案

技术支持QQ:78772895 1.车载终端协议网关采用mina/netty+spring架构,独立于其他应用,主要负责维护接入终端的tcp链接.上行以及下行消息的解码.编码.流量控制,黑白名单等安全控制,网关同时支持交通部JT/T808-2011.JT/T808-2013两个版本全部的808协议,网关应用提供二次开发接口,支持以插件形式协议扩展而不需要改动任何原有代码.接入网关采用json消息通过MQ消息队列与业务平台进行交互,支持ActiveMQ和RabbitMQ,能够无缝接入各种异构系统.

使用java做一个能赚钱的微信群聊机器人(2020年基于PC端协议最新可用版)

前言 微信群机器人,主要用来管理群聊,提供类似天气查询.点歌.机器人聊天等用途. 由于微信将web端的协议封杀后,很多基于http协议的群聊机器人都失效了,所以这里使用基于PC端协议的插件来实现. 声明以下过程只用于交流学习,并不用于任何商业用途,这里记录一下整体的开发流程. 效果展示 接入过程 准备材料 下文中的服务器可以只需要一台,或者使用你本地电脑,我介绍一下我的环境. 可爱猫微信机器人插件V4.4.0. 一台windows服务器. 一台linux服务器. nginx安装(在window服

java socket 基于UDP/IP 协议

Java  socket 基于UDP/IP协议应用 服务器端:  1.创建DatagramSocket,指定端口号 2.创建DatagramPacket 3.接收客户端发送的数据 4.读取数据 客户端: 1.  定义发送信息: 服务器的IP 端口号  发送的内容 2.  创建DatagramPacket,包含将要发送的信息 3.  创建DatagramSocket 4.  发送数据 服务器端 import java.io.IOException; import java.net.Datagram

基于 TCP/IP 协议的网络编程

在说明基于 TCP/IP 协议的网络编程之前,先来了解一下 Socket(网络套接字): 利用套接字(Socket)开发网络应用程序早已被广泛的采用,以至于成为事实上的标准 通信的两端都要有 Socket,是两台机器间通信的端点(API 原话) 网络通信其实就是 Socket 间的通信 Socket 允许程序把网络连接当成一个流,数据在两个 Socket 间通过 IO 传输 一般主动发起通信的应用程序属客户端,等待通信请求的为服务端 网络编程某种程度上可以称作"Socket 编程" T