GPUImage是一个开元的基于GPU的图片或视频的处理框架,其本身内置了多达120多种常见的滤镜效果,并且支持照相机和摄像机的实时滤镜,并且能够自定义图像滤镜。
美颜的基本概念
OpenGL ES:开源嵌入式系统图形的处理框架,一套图形与硬件接口,创造了软件与图形加速间灵活强大的底层交互接口。用于把处理好的图片显示到屏幕上。
GPU:(图形处理单元)手机或者电脑用于图像处理和渲染的硬件。
GPU工作原理:CPU指定显示器工作,显示控制器根据CPU的控制到指定的地方去取数据和指令,目前的数据一般是从显存里取,如果显存里存不下,则从内存里取,内存也放不下,则从硬盘里取。
滤镜处理的原理:就是把静态图片或者视频的每一帧进行图形变化后在显示到屏幕上,其本质就是像素点的坐标和颜色的变化。
OpenGL ES程序处理图片的步骤:
1.初始化OpenGL ES 环境,编译、链接顶点着色器和片元着色器。
2.缓存顶点、纹理坐标数据,传送图像数据到GPU
3.绘制图元到特定的帧缓存;
4.在帧缓存去除绘制的图像。
GPUImage基本概念
GPUImage是采用链式方法来处理画面,通过addTarget方法添加对象到链中,处理完一个target,就会吧上一个环节处理好的图像数据传递到下一个target处理,成为GPUImage处理链。
GPUImage的四大输入基础类,都可以作为响应链的起点,这些基础类会把图像作为纹理传给OpenGL ES处理,然后把纹理传递给响应链的下一个target对象。
GPUImage的处理环节
source(视频,图片源)->filter(滤镜)->final target(处理后的视频、图片)
source:
GPUImageVideoCamera 摄像头-用于实时拍摄视频
GPUImageStillCamera 摄像头-用于实时拍摄照片
GPUImagePicture 用于处理已经拍摄好的图片
GPUImageMovie 用于处理已经拍摄好的视频
filter
GPUImageFilter:就是用来接收源图像,通过自定义的顶点,片元着色器来渲染新的图像,并在绘制完成后通知响应链的下一个对象。
GPUImageFramebuffer:就是用来管理纹理缓存的格式与读写帧缓存的buffer。
GPUImage的filter:GPUImageFilter类或者子类,这个类继承自GPUImageOutput,遵循GPUImageInput协议,既可以流进数据,又可以流出GPUImage的final target: GPUImageView,GPUImageMovieWriter最终输入目标,显示图片或者视频。
解析
GPUImageVideoCamera
GPUImageVideoCamera是GPUImageOutput的子类,提供来自摄像头的图像数据作为源数据,一般是响应链的源头。
1.视频图像采集:AVCaptureSession
GPUImage使用AVFoundation框架来获取视频。AVCaptureSession类从AV输入设备的采集数据到指定的输出。
具体使用看上一篇。
2.颜色空间:YUV
YUV是被欧洲电视系统索采用的一种颜色编码方法。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像,彩色电视采用YUV空间正式为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题,使黑白电视机也能接收彩色电视信号。
YUV主要用于优化彩色视频信号的传输,使其向后相容老式黑白电视。与RGB视频信号传输相比,它最大的优点在于只需占用极少的频宽。
GPUImage中的YUV
GLProgram *yuvConversionProgram:将YUV颜色空间转换成RGB颜色空间的GLSL。
CVPixelBufferGetPlaneCount:返回缓冲区的平面数。
CVOpenGLESTextureCacheCreateTextureFromImage():
创建两个纹理luminanceTextureRef(亮度纹理)和chrominanceTextureRef(色度纹理)。
convertYUVToRGBOutput():把YUV颜色空间的纹理转换成RGB颜色空间的纹理。
顶点着色器-通用kGPUImageVertexShaderString
片元着色器:
1.kGPUImageYUVFullRangeConversionForLAFragmentShaderString 2.kGPUImageYUVVideoRangeConversionForLAFragmentShaderString
纹理绘制
glActiveTexture(GL_TEXTURE1); glGenTextures(1, &_texture); glBindTexture(GL_TEXTURE_2D, _texture);
GPUImageView是响应链的终点,用于显示GPUImage图像
1.填充模式
GPUImageFillModeType fillMode图像的填充模式。
sizeInPixels 像素区域的大小
recalculateViewGeometry 重新计算图像顶点位置数据
AVMakeRectWithAspectRatioInsideRece 在保证宽高比不变的前提下,得到一个尽可能大的矩形。
---未完