iOS视频处理

在iOS中,apple提供了AVFoundation 用来处理音视频,基本能满足一些常用的音视频处理需求,而且能调用的硬件编解码接口,能提高不少效率,这是其它库所不能达到的。最近做过的Recnow SDK中已经集成了这些功能,像一些视频长度剪辑、视频插入、视频转场、添加配音、添加动画效果等,还有一些视频参数的改变,都可以使用AVFoundation比较轻松的实现。具体可以参照一下:https://developer.apple.com/library/ios/documentation/AudioVideo/Conceptual/AVFoundationPG/Articles/00_Introduction.html#//apple_ref/doc/uid/TP40010188

在对视频添加特效方面,就不得不提一下GPUImage了,作者是个牛人,github上star上万。

因为视频最终也是通过GPU,一帧一帧渲染到屏幕上的,所以我们可以利用opengl es,对视频帧进行各种加工,从而视频各种不同的效果,现在的各种美颜和视频添加特效的app都是这样实现的。

GPUImage实现了很多种滤镜功能,而且效率号称比apple 自己的CoreImage还要高一点,不过有一点不足的是这个库对音频的处理基本是捉襟见肘。

下面主要写一点对GPUImage的一些理解:

该库对视频采用的是一种链式的处理模式,如图所示

就好像一个水龙头流出的水,经过若干节管道,然后流向不同的目标。

该库定义了GPUImageOutput 作为视频源头进行输出,这是一个抽象父类,具体的一些类像GPUImageVideoCamera,GPUImageMovie等都是继承自它,这个类就好比水源。

定义了协议GPUImageInput,凡事遵守这个协议的类,都能处理视频流。GPUimageFilter 继承自GPUImageOutput,并且遵守GPUImageInput协议,它相当与一个管道,既能流进,又能流出。

这种设计模式很好的体现了面向协议编程,而不是面向实现,这样设计,方便更好的扩展性,在apple新发布的Swift中,协议变得可以扩展,更加方便面向协议编程。

经过的处理的视频流,定向到不同的target,可以渲染到屏幕或者生成视频文件,比如:GPUImageView。具体可以尝试一下自带的几个demo。GPUImageContext管理OpenGL ES上下文(该部分暂时略过)

时间: 2024-10-25 07:20:51

iOS视频处理的相关文章

浅谈iOS视频开发

这段时间对视频开发进行了一些了解,在这里和大家分享一下我自己觉得学习步骤和资料,希望对那些对视频感兴趣的朋友有些帮助. 一.iOS系统自带播放器 要了解iOS视频开发,首先我们从系统自带的播放器说起,一.我们可以直接播放视频,看到效果,不然搞了半天还播放不了视频,会让大家失去兴趣.二.其实对于很多需求来说,系统的播放器就能够胜任.简单介绍下 1.MPMoviePlayerController 在iOS中播放视频可以使用MPMoviePlayerController类来完成,具备一般的播放器控制功

IOS 视频分解图片、图片合成视频

在IOS视频处理中,视频分解图片和图片合成视频是IOS视频处理中经常遇到的问题,这篇博客就这两个部分对IOS视频图像的相互转换做一下分析. (1)视频分解图片 这里视频分解图片使用的是AVAssetImageGenerator,利用这个class可以很方便的实现不同时间戳下,视频帧的抓取.注意一般这种视频分解图片帧的方法都是放在子线程中的,而UI更新操作都是放在主线程中的.下面来看看核心代码: _imageGenerator = [[AVAssetImageGenerator alloc] in

iOS视频开发经验

iOS视频开发经验 手机比PC的优势除了便携外,我认为最重要的就是可以快速方便的创作多媒体作品.照片分享,语音输入,视频录制,地理位置.一个成功的手机APP从产品形态上都有这其中的一项或多项,比如instagram,微信.如果把Web2.0的交互体验照搬到手机上就是死路一条. 当智能手机遇上视频就像潘金莲遇上西门庆,各取所需一拍即合,想不发生点事情都难.他们的结晶就是微视频.微视频可以说把手机的视频录制和碎片时间两个特点发挥到了极致,视频相关的APP现在无温不火的原因我认为跟坑爹的运营商有关.虽

iOS 视频开发

MediaPlayer framework 播放电影文件: iOS sdk中可以使用MPMoviePlayerController来播放电影文件.但是在iOS设备上播放电影文件有严格的格式要求,只能播放下面两个格式的电影文件. ? H.264 (Baseline Profile Level 3.0)? MPEG-4 Part 2 video (Simple Profile) 幸运的是你可以先使用iTunes将文件转换成上面两个格式.MPMoviePlayerController还可以播放互联网上

iOS视频编辑SDK

IOS视频编辑SDK接入说明 一.名词解释 分辨率:用于计算机视频处理的图像,以水平和垂直方向上所能显示的像素数来表示分辨率.常见视频分辨率的有1080P即1920x1080,720P即1080x720,640x480等. 宽高比:视频分辨率的宽高比,常见的有16:9,4:3,1:1.锐动视频编辑SDK对各宽高比的视频都支持编辑,导出的默认分辨率是640x360,宽高比是16:9. 帧率:每秒的帧数(fps)或者说帧率表示图形处理器处理场时每秒钟能够更新的次数. 码率: 数据传输时单位时间传送的

iOS视频开发

视频实质: 纯粹的视频(不包括音频)实质上就是一组帧图片,经过视频编码成为视频(video)文件再把音频(audio)文件有些还有字幕文件组装在一起成为我们看到的视频(movie)文件.1秒内出现的图片数就是帧率,图片间隔越小画面就越流畅,所以帧率越高效果就越好,需要的存储空间也就越多. 视频编码: 因为不进行编码的视频数据量非常大,会造成存储和传输上的困难,所以视频文件都需要在录制完成后进行编码.视频编码主要从两个维度压缩数据. 1.单张图像某一区域相邻像素相似,比如一片红色只记录红色色值和区

<精华篇>:iOS视频大全-持续更新

注意:新浪微博分享的资料和简书分享的资料,略有不同! 小码哥swift3.0版 斗鱼项目视频:点击下载  iOS开发25个项目实战:点击下载 2016PHP全套下载:点击下载  黑马刀哥iOS视频精选:点击下载  支付宝生活圈开发:点击下载 lldb高级用法:点击下载  高级数据恢复系列视频:点击下载 逆向资源视频初级视频:点击下载 2016HTML5全套下载:点击下载 iOS单元测试视频高清:点击下载 面试上百个iOS后的求职感受:点击下载  优化TableView初体验:点击观看 看大神如何

最近这么火的iOS视频直播

快速集成iOS基于RTMP的视频推流 http://www.jianshu.com/p/8ea016b2720e iOS视频直播初窥:高仿<喵播APP> http://www.jianshu.com/p/b8db6c142aad 做一款仿映客的直播App?看我就够了 http://www.jianshu.com/p/5b1341e97757

最简单的基于FFmpeg的移动端样例:IOS 视频转码器

===================================================== 最简单的基于FFmpeg的移动端样例系列文章列表: 最简单的基于FFmpeg的移动端样例:Android HelloWorld 最简单的基于FFmpeg的移动端样例:Android 视频解码器 最简单的基于FFmpeg的移动端样例:Android 视频解码器-单个库版 最简单的基于FFmpeg的移动端样例:Android 推流器 最简单的基于FFmpeg的移动端样例:Android 视频转

最简单的基于FFmpeg的移动端样例:IOS 视频解码器

===================================================== 最简单的基于FFmpeg的移动端样例系列文章列表: 最简单的基于FFmpeg的移动端样例:Android HelloWorld 最简单的基于FFmpeg的移动端样例:Android 视频解码器 最简单的基于FFmpeg的移动端样例:Android 视频解码器-单个库版 最简单的基于FFmpeg的移动端样例:Android 推流器 最简单的基于FFmpeg的移动端样例:Android 视频转