GLSL实现图像处理

今天晚上没事将以前弄的OPENGL着色语言实现滤镜效果的实现和大家分享一下,滤镜主要包括图像的对比度调整、浮雕效果、彩色图片灰度化、卷积等操作。

这些操作其本质上是属于图像处理的东西,OpenGL实现图像处理主要是用到了GLSL着色语言。具体到着色器就是片段着色器。

说白了就是如何用OpenGL做通用GPU计算,OpenGL做通用计算的步骤主要如下:

读取数据->顶点着色器->片段着色器->渲染到纹理->从纹理读写数据。

步骤具体细化如下:

(1)初始化。

初始化窗口系统。

void InitGLUT(int argc,char** argv)

{

glutInit(&argc,argv);

glutWindow = glutCreateWindow("GPGPU");

}

初始化FBO。在此阶段还需要将投影设置为正摄投影的方式,视口与图像的幅宽一样大,并且还要讲纹理重采样方式设置为最邻近采样,这样就保证了片段操作的时候取得每个数据都是原始数据。

void InitFBO(int nWidth,int nHeight,GLuint*pFb)

{

//创建FBO并绑定

glewInit();

GLuint fb;

glGenFramebuffersEXT(1,&fb);

glBindFramebufferEXT(GL_FRAMEBUFFER_EXT,fb);

*pFb = fb;

//用绘制来调用

glMatrixMode(GL_PROJECTION);

glLoadIdentity();

gluOrtho2D(0,nWidth,0,nHeight);

glMatrixMode(GL_MODELVIEW);

glLoadIdentity();

glViewport(0,0,nWidth,nHeight);

}

初始化shader,包括从文件中读取数据以及编译等操作。

void InitGLSL()

{

//创建顶点shader

vertShader = glCreateShader(GL_VERTEX_SHADER);

if( 0 == vertShader)

{

fprintf(stderr,"Error creating vertex shader.\n");

exit(1);

}

GLint result;

//加载片元着色器

fragShader = glCreateShader(GL_FRAGMENT_SHADER);

if( 0 == fragShader)

{

fprintf(stderr,"片元着色器创建失败.\n");

exit(1);

}

//c拷贝shader源码

const GLchar *shaderCode2 = loadShaderAsString("BrightNess.glsl");

glShaderSource( fragShader,1, &shaderCode2, NULL );

delete []shaderCode2;

//编译shader

glCompileShader(fragShader);

//检查编译状态

glGetShaderiv( fragShader,GL_COMPILE_STATUS, &result );

if (GL_FALSE == result)

{

fprintf( stderr,"片元着色器编译失败!\n" );

GLint logLen;

glGetShaderiv( fragShader,GL_INFO_LOG_LENGTH, &logLen );

if( logLen > 0)

{

char * log = (char *)malloc(logLen);

GLsizei written;

glGetShaderInfoLog(fragShader,logLen, &written,log);

fprintf(stderr, "Shaderlog:\n%s", log);

free(log);

}

}

//创建程序对象

programHandle = glCreateProgram();

if( 0 == programHandle)

{

fprintf(stderr,"Error creating program object.\n");

exit(1);

}

//将着色器链接到程序对象

glAttachShader(programHandle,fragShader);

//链接程序

glLinkProgram(programHandle);

//检查链接状态

GLint status;

glGetProgramiv( programHandle,GL_LINK_STATUS, &status );

if( GL_FALSE == status )

{

fprintf( stderr,"链接失败!\n" );

GLint logLen;

glGetProgramiv(programHandle,GL_INFO_LOG_LENGTH,

&logLen);

if( logLen > 0)

{

char * log = (char *)malloc(logLen);

GLsizei written;

glGetProgramInfoLog(programHandle,logLen,

&written, log);

fprintf(stderr,"Program log: \n%s", log);

free(log);

}

glDeleteProgram(programHandle);

}

else

{

glUseProgram(programHandle);

}

}

(2)创建纹理对象以及设置参数

这里需要创建两个纹理对象,一个用于输入图像,另外一个用于保存输出的结果,即将保存结果的纹理对象绑定到帧缓存对象上,即实现渲染到纹理的目标。

//创建纹理对象并绑定

GLuint xTexID,yTexID;

glGenTextures(1,&xTexID);

glGenTextures(1,&yTexID);

设置纹理属性如下:

void SetupTexture(stTextureParatextureParameters,constGLuint texID,int nWidth,int nHeight)

{

glBindTexture(textureParameters.texTarget,texID);

//设置纹理参数

glTexParameteri(textureParameters.texTarget,GL_TEXTURE_MIN_FILTER,GL_NEAREST);

glTexParameteri(textureParameters.texTarget,GL_TEXTURE_MAG_FILTER,GL_NEAREST);

glTexParameteri(textureParameters.texTarget,GL_TEXTURE_WRAP_S,GL_CLAMP);

glTexParameteri(textureParameters.texTarget,GL_TEXTURE_WRAP_T,GL_CLAMP);

//定义纹理数据单元类型

glTexImage2D(textureParameters.texTarget,0,textureParameters.texInternalFormat,nWidth,nHeight,0,

textureParameters.texFormat,GL_FLOAT,0);

}

然后将输入数据加载到输入纹理缓存上面

//传入输入数据

glBindTexture(textureParameters.texTarget,xTexID);

glTexSubImage2D(textureParameters.texTarget,0,0,0,nWidth,nHeight,textureParameters.texFormat,GL_FLOAT,pfInput);

//设置映射参数,替换原来的数据

glTexEnvi(GL_TEXTURE_ENV,GL_TEXTURE_ENV_MODE,GL_REPLACE);

最后是将输出纹理绑定到帧缓存对象上并激活输入纹理对象。

//绑定输出纹理缓存

glFramebufferTexture2DEXT(GL_FRAMEBUFFER_EXT,GL_COLOR_ATTACHMENT0_EXT,textureParameters.texTarget,yTexID,0);

//激活当前输入的纹理单元

glActiveTexture(GL_TEXTURE0);

绑定的关联点就是GL_COLOR_ATTACHMENT0_EXT,它代表是帧缓存中的一个颜色缓存。

(3)设置渲染的对象

glDrawBuffer(GL_COLOR_ATTACHMENT0_EXT);

glPolygonMode(GL_FRONT,GL_FILL);

(4)通过绘制来调用“核函数”

这里是一个形象的比喻,就是通过绘制操作来实现对图像的处理,类似于CUDA和opencl里面的核函数调用。

//用绘制进行调用

glBegin(GL_QUADS);

glTexCoord2f(0,0);

glVertex2f(0,0);

glTexCoord2f(nWidth,0);

glVertex2f(nWidth,0);

glTexCoord2f(nWidth,nHeight);

glVertex2f(nWidth,nHeight);

glTexCoord2f(0,nHeight);

glVertex2f(0,nHeight);

glEnd();

glFinish();

(5)读取结果数据以及进一步处理

//从当前纹理缓存拷贝数据

void TransformFromTex(intnWidth,int nHeight,float *pfData)

{

//读取数据

glReadBuffer(GL_COLOR_ATTACHMENT0_EXT);

glReadPixels(0,0,nWidth,nHeight,GL_RGB,GL_FLOAT,pfData);

}

这相当于将数据从显存拷贝到主机内存,然后可以写入文件等。

说了这么多,最后还剩下一个片段着色器的编写。上面相当于把框架已经搭建好,然后只需要更改片段着色器实现不同的图像处理效果了。

这边就以一副风景画为例子实现集中不同的效果。

原图如下:

1、对比度调整,代码如下:

#version 400 compatibility

#extension GL_ARB_texture_rectangle : enable
uniform sampler2DRect uImageUint;

float uT = 0.5;

out vec4 outColor;
//图像对比度增强

void main()
{
    vec2 pos = gl_TexCoord[0].st;
    vec3 irgb = texture(uImageUint,pos).rgb;
    //vec3 target = vec3(128.0,128.0,128.0);

    vec3 target = vec3(0.0,0.0,0.0);

    outColor = vec4(mix(target,irgb,uT),1.0);
}

处理后效果如下:

2、浮雕效果代码如下:

#version 400 compatibility

#extension GL_ARB_texture_rectangle : enable
uniform sampler2DRect tex;

out vec4 outColor;
//浮雕效果

void main()
{
    vec2 pos = gl_TexCoord[0].st;
    //获得纹理的尺寸
    ivec2 vecSize = textureSize(tex);
    float ResS = float(vecSize.s);
    float ResT = float(vecSize.t);
    vec3 irgb = texture(tex,pos).rgb;

    vec2 stpp = vec2(-1.0,-1.0);
    vec3 c00 = texture(tex,pos).rgb;
    vec3 cp1p1 = texture(tex,pos+stpp).rgb;

    vec3 diffs = c00 - cp1p1;
    float maxV = diffs.r;
    if(abs(diffs.g) > abs(maxV)) maxV = diffs.g;
    if(abs(diffs.b) > abs(maxV)) maxV = diffs.b;

    float gray = clamp(maxV + 128,0.0,255.0);
    outColor = vec4(gray,gray,gray,1.0);
}

处理后的图像如下:

3、颠倒显示

#version 400 compatibility

#extension GL_ARB_texture_rectangle : enable
uniform sampler2DRect tex;

out vec4 outColor;
//图像翻转效果

void main()
{
    vec2 pos = gl_TexCoord[0].st;
    //获得纹理的尺寸
	ivec2 vecSize = textureSize(tex);
    int nWidth = (vecSize.s);
    int nHeight = (vecSize.t);
    pos = vec2(nWidth- pos.x-1,nHeight - pos.y - 1);
    vec3 irgb = texture(tex,pos).rgb;

    outColor = vec4(irgb,1.0);
}

处理后效果如下:

4、图像黑白化

#version 400 compatibility

#extension GL_ARB_texture_rectangle : enable
uniform sampler2DRect tex;

const vec3 W = vec3(0.2125,0.7154,0.0721);

out vec4 outColor;
void main()
{
    vec2 pos = gl_TexCoord[0].st;

	vec3 color = texelFetch(tex,ivec2(pos.x+0.5,pos.y+0.5)).rgb;
    float luminace = dot(color,W);
    outColor = vec4(luminace,luminace,luminace,1.0);
    //gl_FragColor = fResult;
}

处理后图片如下:

5、图像的卷积,这个稍微复杂一点,其实也很简单,基本图像处理的东西。

#version 400 compatibility

#extension GL_ARB_texture_rectangle : enable
uniform sampler2DRect tex;
float fRadius = 2;

out vec4 outColor;

void main()
{
	vec2 pos = gl_TexCoord[0].st;
	vec4 fSum = vec4(0.0,0.0,0.0,0.0);
	vec4 fTotal = vec4(0.0,0.0,0.0,0.0);
	vec4 fResult = vec4(0.0,0.0,0.0,0.0);

	ivec2 vecSize = textureSize(tex);

	for (float i = pos.x - fRadius; i < pos.x + fRadius + 0.5; i += 1.0)
		for (float j = pos.y - fRadius; j < pos.y + fRadius + 0.5; j += 1.0)
		{
			if (i >=0 && j >= 0 && i < vecSize.x && j < vecSize.y)
			{
				fSum += texture2DRect(tex,vec2(i+0.5,j+0.5));
				fTotal += vec4(1.0,1.0,1.0,1.0);
			}
		}
	vec4 color = texelFetch(tex,ivec2(pos.x+0.5,pos.y+0.5));
	fResult = fSum/fTotal;
	outColor = fResult;
	//gl_FragColor = fResult;
}

处理后的效果如下:

上面这些都是最基本的图像处理操作,使用shader其实就是利用了显卡的并行数据处理能力,在今天的大数据时代以及资源不足的手机上,如果能充分利用GPU的优势,对于图像的处理将会有速度上的很大提升。

时间: 2024-10-18 11:24:44

GLSL实现图像处理的相关文章

详解OS X和iOS图像处理框架Core Image

转自:http://www.csdn.net/article/2015-02-13/2823961-core-image 摘要:本 文结合实例详解了OS X和iOS图像处理框架Core Image的使用,如何通过Core Image来创建和使用iOS的内置滤镜,非常适合初学者学习.虽然示例代码是用Swift写的iOS程序,不过实现概念很容易转换到 Objective-C和OS X. 这篇文章会为初学者介绍一下Core Image,一个OS X和iOS的图像处理框架. 如果你想跟着本文中的代码学习

GLSL/C++ 实现滤镜效果

入门效果之浮雕 "浮雕"图象效果是指图像的前景前向凸出背景.常见于一些纪念碑的雕刻上.要实现浮雕事实上很easy.我们把图象的一个象素和左上方的象素进行求差运算.并加上一个灰度.这个灰度就是表示背景颜色.这里我们设置这个插值为128 (图象RGB的值是0-255).同一时候,我们还应该把这两个颜色的差值转换为亮度信息.否则浮雕图像会出现彩色. "precision mediump float; \n" "varying vec2 v_texCoord; \

【转载】GPU 加速下的图像处理

Instagram,Snapchat,Photoshop. 所有这些应用都是用来做图像处理的.图像处理可以简单到把一张照片转换为灰度图,也可以复杂到是分析一个视频,并在人群中找到某个特定的人.尽管这些应用非常的不同,但这些例子遵从同样的流程,都是从创造到渲染. 在电脑或者手机上做图像处理有很多方式,但是目前为止最高效的方法是有效地使用图形处理单元,或者叫 GPU.你的手机包含两个不同的处理单元,CPU 和 GPU.CPU 是个多面手,并且不得不处理所有的事情,而 GPU 则可以集中来处理好一件事

[转]C&amp;C++图形图像处理开源库

本文章已收录于: .embody { padding: 10px 10px 10px; margin: 0 -20px; border-bottom: solid 1px #ededed } .embody_b { margin: 0; padding: 10px 0 } .embody .embody_t,.embody .embody_c { display: inline-block; margin-right: 10px } .embody_t { font-size: 12px; co

GLSL实现滤镜效果

入门效果之浮雕 "浮雕"图象效果是指图像的前景前向凸出背景.常见于一些纪念碑的雕刻上,要实现浮雕其实非常简单.我们把图象的一个象素和左上方的象素进行求差运算,并加上一个灰度.这个灰度就是表示背景颜色.这里我们设置这个插值为128 (图象RGB的值是0-255).同时,我们还应该把这两个颜色的差值转换为亮度信息.否则浮雕图像会出现彩色. "precision mediump float; \n" "varying vec2 v_texCoord; \n&qu

图像处理框架 Core Image 介绍

这篇文章会为初学者介绍一下 Core Image,一个 OS X 和 iOS 的图像处理框架. 如果你想跟着本文中的代码学习,你可以在 GitHub 上下载示例工程.示例工程是一个 iOS 应用程序,列出了系统提供的大量图像滤镜以供选择,并提供了一个用户界面用来调整参数并观察效果. 虽然示例代码是用 Swift 写的 iOS 程序,不过实现概念很容易转换到 Objective-C 和 OS X. 基本概念 说到 Core Image,我们首先需要介绍几个基本的概念. 一个滤镜是一个对象,有很多输

图像处理之三种常见双立方插值算法

http://blog.csdn.net/jia20003/article/details/40020775 图像处理之三种常见双立方插值算法 双立方插值计算涉及到16个像素点,其中(i', j')表示待计算像素点在源图像中的包含 小数部分的像素坐标,dx表示X方向的小数坐标,dy表示Y方向的小数坐标.具体 可以看下图: 根据上述图示与双立方插值的数学表达式可以看出,双立方插值本质上图像16个像素点 权重卷积之和作为新的像素值. 其中R(x)表示插值表达式,可以根据需要选择的表达式不同.常见有基

【20160924】GOCVHelper 图像处理部分(1)

增强后的图像需要通过图像处理获得定量的值.在实际程序设计过程中,轮廓很多时候都是重要的分析变量.参考Halcon的相关函数,我增强了Opencv在这块的相关功能.      //寻找最大的轮廓 VP FindBigestContour(Mat src){ int imax = 0; //代表最大轮廓的序号 int imaxcontour = -1; //代表最大轮廓的大小 std::vector<std::vector<cv::Point>>contours; findContou

图像处理算法交流群群规和近期福利活动

作为一名资深的图像处理算法业余爱好者,为了方便同道中人交流学习,我特别建立了一个QQ群(群号:529549320),出于新人培训之目的,也为了免去我每次都重复群规之繁琐,更为了方便群活动之开展特借CSDN宝地发此贴,以做一劳永逸之举. 关于入群资质: 1)无论你是大神还是小白,我们都欢迎: 2)无论你是业界专家还是在校学子,我们都欢迎: 3)无论你是专业精英还是业余爱好者,我们都欢迎. 总之,"是故无贵无贱,无长无少,道之所存,师之所存也". 但是,为了防止你因为不慎而加错群,我们特别