第九章 Normal Mapping and Displacement Mapping
本章主要讲述两种图形学技术，支持在不增加objects的poly primitive的情况下，在场景中增加更多的细节。第一种是normal mapping，通过创建一些“fake” geometry（虚设的多边形图元）模拟光照作用。第二种是displacement mapping，根据纹理数据moving vertices actually（与“fake”相对应，这里指真实的移动）来创建凹凸不平的表面。
Normal Mapping（法线贴图）
前面几章，已经讨论了specualr maps，environment maps以及transparency maps，这些texture maps都提供了附加的数据信息。Specular maps中的数据用于限制specular highlight，environment maps则包含了用于reflective surfaces的colors，transparency maps用于控制output-merge阶段的alpha blending。这些额外的信息由每一个pixel提供，比仅由每一个vertex提供，具有更高的精度。同样
，一个normal map也是对每一个pixel都提供表面的法向量数量，该额外的数据可以应用于多种技术上。
Normal maps的其中一个应用是虚构一个凹凸表面的细节，比如石墙。可以使用足够的geometry来模拟这中凹凸不平的墙面，使用的vertices越多，得到的细节也越多。这样就可以在场景中更好的处理光照，远离光源的石块就会显示为较暗的区域。但是，增加geometry会导致计算成本也增大。相反，对于一个含有少量poly geometry的object（即使是一个flat plane），使用normal map方法，也可以模拟与大量增加geometry情况下同样的光照效果。这种应用就称为normal mapping。
Normal Maps
图9.1中显示了用于一面石墙的color map（左图）和normal map（右图）。相对于color map，normal map看起来有点奇怪。虽然可以把norml map显示出来，但是normal map中存储的是3D directions vectors（3维的方向向量）。对normal map进行采样时，从RGB通道中得到的结果表示方向向量的x，y，z分量。这些法向量可用于一些效果的计算，比如diffuse lighting。
图9.1 A color map (left) and normal map (right) for a stone wall. (Textures by Nick
Zuccarello, Florida Interactive Entertainment Academy.)
RGB texture的每一个channels都存储一个unsigned 8-bit值（unsigned char），该类型的数值范围为[0, 255]。但是一个规范化的方向向量，对应的xyz各个分量值范围是[-1, 1]。因此，法线向量存储到texture之前必须先转换到范围[0, 255]，对texture进行采样的时候必须再转换到范围[-1, 1]。可以使用如下的公式，把浮点型向量从范围[-1, 1]转换到范围[0, 255]:
f(x) = (0.5x + 0.5) * 255
再使用下面的方程式变换回来：
实际工作中，一般会使用图像处理软件（比如Adobe Photoshop）把一个normal map编码成RGB texture格式。但是采样texture时需要在shader中手动计算，把数据从范围[0, 255]转换回[-1, 1]。在采样过程中已经执行了浮点除法（除以255）操作，所以得到的采样结果在范围[0, 1]之间。因此，只需要使用下面的方程函数把范围[0, 1]转换到范围[1, 1]:
f(x) = 2x ? 1
或者，也可以使用16位或32位浮点型数值作为normal maps的texture格式，这样可以产生更好的细节效果，但会牺牲一些性能。
Tangent Space（切空间）
一般使用每一个vertex的法线来计算diffuse，同样也可以使用每一个pixel的法线。但是法线必须与light处于同一个坐标空间。对于per-vertex法线，由object space提供。但是normal maps的法线值处于tangent space。
Tangent space（或者texture space）是一个相对于纹理的坐标系，由三个相互正交的向量确定：surface normal向量，tangent向量以及binormal向量。图9.2描述了这三个向量。
图9.2 An illustration of tangent space. (Texture by Nick Zuccarello, Florida Interactive Entertainment Academy.)
其中normal向量，N，是一个vertex的表面法向量。Tangent向量，T，与表面的法线垂直，与指向texture的u轴方向。Binormal向量，B，则指向texture的v轴方向。
可以使用这三个向量创建一个TBN（tangent, binormal, normal）变换矩阵，如下所示：
可以使用这个矩阵把向量由tangent space变换到object space中。但是，由于light vector通常是在world space中，因此需要把从normal map中采样得到的noraml从tangent space变换到world space。或者换一种方式，直接使用已经处于world space中的向量创建TBN矩阵。
注意
可以把normals直接编码到world space中，就可以省去从tangent space到world space的变换。但是，使用这些normals的objects只能保持静止不动（不能执行变换）。另外，这些normals也不能简单地在多个ojbects之间重用（因为这些normals不能再进行变换）。
TBN矩阵有一个非常值得关注的特性，该矩阵由三个orthonormal向量（相互正交的单位向量）构成，并形成了一个正交基（定义了一个坐标系）。也就说该矩阵是一个正交矩阵，而正交矩阵的逆等于其转置。因此，把一个向量从object或者world space变换回tangent space（inverse mapping反向映射），只需要把该向量与TBN矩阵的转置相乘即可。另外，根据TBN矩阵的orthonormal性质，如果已经知道了任意两个向量，就可以推导出第三个向量。通常情况下，normal和tangent向量与geometry一起存储，而binormal向量（在vertex
shader中）由这两个向量进行cross product计算得出。执行这种计算是对GPU运算和数据传输（在CPU和GPU之间）高成本之间的一种折衷的方法。
A Normal Mapping Effect
根据上面所讨论的方法，列表9.1列出了一种normal mapping effect的代码。
列表9.1 NormalMapping.fx
#include "include\\Common.fxh"
cbuffer CBufferPerFrame
{
float4 AmbientColor : AMBIENT <
string UIName = "Ambient Light";
string UIWidget = "Color";
> = {1.0f, 1.0f, 1.0f, 1.0f};
float4 LightColor : COLOR <
string Object = "LightColor0";
string UIName = "Light Color";
string UIWidget = "Color";
> = {1.0f, 1.0f, 1.0f, 1.0f};
float3 LightDirection : DIRECTION <
string Object = "DirectionalLight0";
string UIName = "Light Direction";
string Space = "World";
> = {0.0f, 0.0f, -1.0f};
float3 CameraPosition : CAMERAPOSITION < string UIWidget="None"; >;
}
cbuffer CBufferPerObject
{
float4x4 WorldViewProjection : WORLDVIEWPROJECTION < string UIWidget="None"; >;
float4x4 World : WORLD < string UIWidget="None"; >;
float4 SpecularColor : SPECULAR <
string UIName = "Specular Color";
string UIWidget = "Color";
> = {1.0f, 1.0f, 1.0f, 1.0f};
float SpecularPower : SPECULARPOWER <
string UIName = "Specular Power";
string UIWidget = "slider";
float UIMin = 1.0;
float UIMax = 255.0;
float UIStep = 1.0;
> = {25.0f};
}
Texture2D ColorTexture <
string ResourceName = "default_color.dds";
string UIName = "Color Texture";
string ResourceType = "2D";
>;
Texture2D NormalMap <
string ResourceName = "default_bump_normal.dds";
string UIName = "Normap Map";
string ResourceType = "2D";
>;
SamplerState TrilinearSampler
{
Filter = MIN_MAG_MIP_LINEAR;
AddressU = WRAP;
AddressV = WRAP;
};
RasterizerState DisableCulling
{
CullMode = NONE;
};
/************* Data Structures *************/
struct VS_INPUT
{
float4 ObjectPosition : POSITION;
float2 TextureCoordinate : TEXCOORD;
float3 Normal : NORMAL;
float3 Tangent : TANGENT;
};
struct VS_OUTPUT
{
float4 Position : SV_Position;
float3 Normal : NORMAL;
float3 Tangent : TANGENT;
float3 Binormal : BINORMAL;
float2 TextureCoordinate : TEXCOORD0;
float3 LightDirection : TEXCOORD1;
float3 ViewDirection : TEXCOORD2;
};
/************* Vertex Shader *************/
VS_OUTPUT vertex_shader(VS_INPUT IN)
{
VS_OUTPUT OUT = (VS_OUTPUT)0;
OUT.Position = mul(IN.ObjectPosition, WorldViewProjection);
OUT.Normal = normalize(mul(float4(IN.Normal, 0), World).xyz);
OUT.Tangent = normalize(mul(float4(IN.Tangent, 0), World).xyz);
OUT.Binormal = cross(OUT.Normal, OUT.Tangent);
OUT.TextureCoordinate = get_corrected_texture_coordinate(IN.TextureCoordinate);
OUT.LightDirection = normalize(-LightDirection);
float3 worldPosition = mul(IN.ObjectPosition, World).xyz;
float3 viewDirection = CameraPosition - worldPosition;
OUT.ViewDirection = normalize(viewDirection);
return OUT;
}
/************* Pixel Shader *************/
float4 pixel_shader(VS_OUTPUT IN) : SV_Target
{
float4 OUT = (float4)0;
float3 sampledNormal = (2 * NormalMap.Sample(TrilinearSampler, IN.TextureCoordinate).xyz) - 1.0; // Map normal from [0..1] to [-1..1]
float3x3 tbn = float3x3(IN.Tangent, IN.Binormal, IN.Normal);
sampledNormal = mul(sampledNormal, tbn); // Transform normal to world space
float3 viewDirection = normalize(IN.ViewDirection);
float4 color = ColorTexture.Sample(TrilinearSampler, IN.TextureCoordinate);
float3 ambient = get_vector_color_contribution(AmbientColor, color.rgb);
LIGHT_CONTRIBUTION_DATA lightContributionData;
lightContributionData.Color = color;
lightContributionData.Normal = sampledNormal;
lightContributionData.ViewDirection = viewDirection;
lightContributionData.LightDirection = float4(IN.LightDirection, 1);
lightContributionData.SpecularColor = SpecularColor;
lightContributionData.SpecularPower = SpecularPower;
lightContributionData.LightColor = LightColor;
float3 light_contribution = get_light_contribution(lightContributionData);
OUT.rgb = ambient + light_contribution;
OUT.a = 1.0f;
return OUT;
}
/************* Techniques *************/
technique10 main10
{
pass p0
{
SetVertexShader(CompileShader(vs_4_0, vertex_shader()));
SetGeometryShader(NULL);
SetPixelShader(CompileShader(ps_4_0, pixel_shader()));
SetRasterizerState(DisableCulling);
}
}
Normal Mapping Preamble
在该effect中，首先使用了一个ambient light，specular highlight以及一个directional light。新增了一个用于表示normal map的Texture2D对象，VS_INPUT结构体包含一个surface normal和一个tangent vector（处于object space中）。VS_OUPUT中新增了表示tangent和binormal的成员，在传递给下一个管线阶段之间，需要变换到world space中。
Normal Mapping Vertex and Pixel Shader
在vertex shader中，先把normal和tangent向量变换到world space中，然后计算这两个向量的cross product得到binormal向量。在pixel shader，先对normal map进行采样，再把采样得到的normal向量由范围[0, 1]转换到范围[-1, 1]。然后创建TBN矩阵，并用该矩阵把采样的normal向量变换到world space中。当normal变换到world space中之后，接下来的光照计算与之前的完全一样。
注意
如果你发现vertex shader是一个性能瓶颈，可以在输入参数中直接提供bionormal（与surface normal和tangent一起）。这是为了平衡vertex shader性能和图形总线中数据传输成本的一种折衷方法。更普遍的情况是，图形管线成为了瓶颈。
Normal Mapping Output
图9.3显示了在一个带有stone wall纹理的plane上，使用normal mapping effect的输出结果。左图中使用了图9.1中的normal map。而右图中，使用了一个normal map但是没有任何效果。两幅图中，ambient light都是禁用的，direcitonal light是纯白色，full-intensity（强度值为1.0），specular highlight的power值为100，intensity值为0.35。
图9.3 NormalMapping.fx applied to a plane with a stone wall texture using a normal
map (left) and without a normal map (right). (Textures by Nick Zuccarello, Florida Interactive
Entertainment Academy.)