unity, 在image effect shader中用_CameraDepthTexture重建世界坐标

我用于渲染_CameraDepthTexture的相机是一个透视相机。正交的情况没试,估计差不多。

unity的image effect的机制我们大致都了解:它是画了一个覆盖全屏的quad(具体尺寸和位置未知)。

要注意的是image effect使用的投影矩阵并非相机的投影矩阵,而是使用了一个正交投影矩阵(具体形式未知),这一点我卡了好久才意识到,不过一想也很正常合理,毕竟只是想画个全屏quad,直接push个正交矩阵(即切换到2d模式)去画就好了。

虽然image effect使用的投影矩阵和相机不一致,但两者之间的联系是投影到2d屏幕的结果是相同的,这是关键。

下面开始重建:

对于image effect下的当前像素p,可以获得其屏幕坐标sPos_p=(screenX_p,screenY_p,0),这也是p在相机下的屏幕坐标,由于_CameraDepthTexture恰好铺满相机屏幕,所以p在_CameraDepthTexture上的纹理坐标sUV_p=sPos_p.xy/screenSize,即p点处深度值为

depth=_CameraDepthTexture(sUV_p)

设p点处深度值为depth的点为p‘,则p’在相机空间的z值为

linearDepth=LinearEyeDepth(depth)

如图,即|QP‘|=linearDepth:

现在我们要求的是P‘的世界坐标,计算如下:

1,先求P点的世界坐标,分两步:

(1)求p的归一化设备空间坐标ndcPos_p=screenToNDC*sPos_p.

(2)求p的世界坐标wPos_p:

  temp=clipToWorldMatrix*ndcPos_p. (clipToWorldMatrix须从外部传入)

  wPos_p=temp/temp.w

2,设由eyeWorldPos指向P的单位向量为dir,则dir=normalize(wPos_p-eyeWorldPos).

3,distance(eyeWorldPos,P‘)=|QP‘|/cos(theta)=linearDepth/dot(eyeWorldDir,dir)

4,最终P‘点世界坐标为wPos_p‘=eyeWorldPos+dir*distance(eyePos,P‘)

重建完成。

说明:

1,eyeWorldPos可在shader中通过内置变量获取。eyeWorldDir我试过直接用内置变量UNITY_MATRIX_V [2].xyz,结果似乎不对,于是改用了从外部传入camera.tranform.forward。

2,这里只是为说明原理方便,使用了“image effect和相机两种渲染模式下屏幕空间坐标相等”这个条件来解题,而实际上若利用“两种模式下归一化设备空间坐标相等”来做更简单些,至少不用把screenSize牵扯进来了。

3,clipToWorldMatrix必须从外部传入,因为

clipToWorldMatrix=camera.cameraToWorldMatrix*camera.ProjectionMatrix.inverse

其中camera.ProjectionMatrix必须从外部传入才能获得正确的值,因为shader内部unity已经把它偷粮换柱成2d正交矩阵了。

4,Projection或unProjection的过程一定不要忘了做透视除法。

5,linearDepth的确切含义是“相机空间中的z坐标”,按此含义,它表示的是前面图中|QP‘|的长度,而非eye到P‘的距离。

6,如何验证上面方法重建出的世界坐标是正确呢?

我采用的方法是把distance(eyeWorldPos,P‘)/farPlane作为颜色值渲染出来。然后再另搞一个非重建的测试用例,也把distance(eyeWorldPos,worldPos)/farPlane作为颜色值渲染出来(使用完全相同的测试场景,完全相同的相机角度),然后看两幅图是否一模一样。我测试的结果是一样的。

----补充:

1,如果嫌unity自带的image effect机制有太多黑箱,比如全屏quad位置和尺寸不详,所使用的投影矩阵不详,也可以自己搞custom的image effect机制来替换unity自带机制:自己用GL指令画全屏quad,自己push投影矩阵。参考:http://flafla2.github.io/2016/10/01/raymarching.html(这是一篇讲在unity中搭建raymarching环境的文章,其中采用了自定义image effect机制的做法)。

2,在网上搜到一些其它重建源码:

https://github.com/zezba9000/UnityMathReference/tree/master/Assets/Shaders/DepthBuffToWorldPos
(这个我仔细测试了一下,效果是正确的,但其DepthBuffToWorldPosDemo.cs中计算clipToWorld的方法有点儿怪,我没理解)

https://github.com/keijiro/DepthToWorldPos

(这个没细测,感觉也是正确的)

时间: 2024-08-02 15:12:39

unity, 在image effect shader中用_CameraDepthTexture重建世界坐标的相关文章

Unity内置的shader include files

Unity内置的shader include files:这些文件都以.cninc结尾, HLSLSupport.cginc:自动包含,一些跨平台编译相关的宏和定义. UnityCG.cginc:常用的全局变量和函数. AutoLight.cginc:光影相关帮助函数,surface shader内部使用此文件. Lighting.cginc:surface shader自动包含,定义了标准的光照模式. TerrainEngin.cginc:地形和植被shader相关的帮助函数.UnityGC.

【Unity Shaders】Mobile Shader Adjustment—— 什么是高效的Shader

本系列主要参考<Unity Shaders and Effects Cookbook>一书(感谢原书作者),同时会加上一点个人理解或拓展. 这里是本书所有的插图.这里是本书所需的代码和资源(当然你也可以从官网下载). ========================================== 分割线 ========================================== 写在前面 之前学习的各种Shader时,我们从没有考虑在所有平台下的可用性.Unity是一个强大的跨

【Unity Shaders】Mobile Shader Adjustment —— 为手机定制Shader

本系列主要参考<Unity Shaders and Effects Cookbook>一书(感谢原书作者),同时会加上一点个人理解或拓展. 这里是本书所有的插图.这里是本书所需的代码和资源(当然你也可以从官网下载). ========================================== 分割线 ========================================== 写在前面 在上一篇里,我们学习了一些技巧来初步优化Shader.这次,我们学习更多的技术来实现一个更

【原创翻译】初识Unity中的Compute Shader

一直以来都想试着自己翻译一些东西,现在发现翻译真的很不容易,如果你直接把作者的原文按照英文的思维翻译过来,你会发现中国人读起来很是别扭,但是如果你想完全利用中国人的语言方式来翻译,又怕自己理解的不到位,反而与作者的愿意相悖.所以我想很多时候,国内的译者也是无奈吧,下次再看到译作也会抱着一些感同身受的态度去读.这是我第一次翻译整篇文章,能力有限,望见谅,翻译不好的地方也希望大家指出来. 其实ComputeShader在Unity中出现已经有蛮长的一段时间了,因为自己一直对Shader比较感兴趣,所

Unity的棋盘格剔除Shader

unity似乎是在5.3之后更新了文档页面,其中有一处棋盘格剔除的脚本 https://docs.unity3d.com/Manual/SL-ShaderSemantics.html 我加了点注释和参数控制,代码如下: Shader "Unlit/Screen Position" { Properties { _MainTex("Texture", 2D) = "white" {} _SizeFactor("SizeFactor&quo

Unity 材质之_stander shader

Unity自带的两个新的Shader, 分别是Standard以及Standard(Specular setup) 如果你没有为你的材质选择这两个Shader之一, 那么你的材质是不会有PBS效果的, 对比一下PBS. 第一幅图是使用了Unity4中的Bumped Specular, 第二幅图使用了Standard(Specular Setup), 值得一提的是为了展现最纯粹的光照效果我特意关掉了PBS的另一大特性, Reflection. 而如果开启了Reflection, 上面的截图差距应该

unity中使用自定义shader进行光照贴图烘培无法出现透明度的坑爹问题

最近开发中在对场景进行光照贴图烘焙时发现一个坑爹问题,在使用自定义shader的时候,shader命名中必须包含Transparent路径,否则烘焙的时候不对alpha通道进行计算,烘焙出来都是狗皮膏药 比如一个shader叫 Shader "xx/UnlitAlphaCutout" 要改为 Shader "xx/Transparent/UnlitAlphaCutout" 才能烘焙出正常的效果,不知道Unity做了什么黑科技,居然在烘焙的时候判断了Transpare

Unity小技巧 - 烧熔Shader

效果 原理 根据给定的噪声图,当噪声图中的R值小于指定的值,就舍弃当前的像素. 1. 噪声图 噪声在图形学内十分常见,可以认为是图形学里的随机数(这里我们不用真的随机数,是因为真的随机数太过“均匀”,形成的是白噪声,一点都不好用). 2. 着色器 (注:完整代码在最后贴出.) 属性定义如下: (1) Main Tex:物体的主要纹理贴图,决定了物体的主要外表 (2) Noise Tex:噪声贴图 (3) Min Alpha:最低的Alpha,当噪声贴图中的R值小于该值,则舍弃当前的像素 顶点着色

unity, 查看内置shader源码

1,建一个球体. 2,建一个材质,将材质拖到球体上. 3,在材质的shader下拉列表中选择想查看的内置shader,点材质栏右上设置按钮->Select Shader 进入shader面板. 4,点Compile and show code查看shader代码.(在此之前可点按钮右边箭头在弹出的下拉菜单中设置编译的目标平台). 不理想的是编译出来的代码可能是平台相关的,而且可读性也不大好. 不知道如何查看编译前的原始CG代码.