Author：Maddock

Date：2015.04.22

转载请注明出处：http://www.cnblogs.com/adong7639/p/4446828.html

DNG格式基本概念

DNG格式是在TIFF的基础上扩展出来的，要了解DNG，需要清楚TIFF, TIFF/EP, DNG,RAW之间的关系。

TIFF/EP

TIFF是一个灵活适应性强的文件格式。通过在文件标头中使用"标签"，它能够在一个文件中处理多幅图像和数据。标签能够标明图像的如图像大小这样的基本几何尺寸，或者定义图像数据是如何排列的，或者是否使用了各种各样的图像压缩选项。

TIFF/EP的全称是"Tag Image File Format / Electronic Photography?"。 它是一个名为"Electronic still-picture imaging – Removable memory – Part 2: TIFF/EP image data format"ISO标准， 标准号为ISO?12234-2。TIFF/EP对TIFF文件扩展部分标记属性。

RAW

RAW文件包含创建一个可视图像所必须的相机传感器数据信息。RAW文件的结构，包括ISO标准的RAW图像格式ISO 12234-2 ，TIFF / EP，往往遵循一个共同的模式，那就是：

1. 一个短的文件头，它通常包含文件的字节顺序，文件标识符和主数据的文件偏移量摄像传感器元数据，用来描述图像传感器的数据，包括传感器的尺寸， 颜色滤波矩阵(color filter array)的属性和它的颜色配置文件
2. 列入任何CMS环境或数据库中需要的图像元数据。这些措施包括曝光设定，相机/扫描仪/镜头模型，拍摄/扫描日期（和可选的位置信息），创作信息和其他。一些原始文件包含可交换图像格式的标准化元数据节；
3. 图像缩略图；
4. 可选的JPEG格式缩小尺寸的图像，可用于快速预览；
5. 在电影胶片扫描中，无论是文件序列的时间码，序列码或帧编号都代表在扫描卷轴中的帧顺序。这个项目允许文件被被按帧顺序排列（不依赖于它的文件名?）；
6. 传感器图像数据；

许多RAW格式, 包括 3FR (Hasselblad), DCR, K25, KDC (Kodak), IIQ (Phase One), CR2 (Canon), ERF (Epson), MEF (Mamiya), MOS (Leaf), NEF (Nikon), ORF (Olympus), PEF (Pentax), RW2 (Panasonic) and ARW, SRF, SR2 (Sony), 都是基于TIFF格式。 这些文件可能在许多方面偏离TIFF标准，包括使用一个非标准的文件头，列入额外的图像标记和一些标签的数据加密。

DNG

DNG(Digital Negative)是Adobe开发的一种开放的raw image file format,主要是为了统一不同厂商raw格式。里面使用的tag基本上都定义在TIFF或者TIFF/EP中， 在DNG Sepcification中只是定义或者建议了数据的组织方式，颜色空间的转换等等。

TIFF, TIFF/EP, DNG, RAW之间的关系

1. TIFF和DNG同为Specification，分别定义了后缀名为.tif/.tiff和.dng的文件格式同时在TIFF Specification也定义个baseline及部分扩展的tag。
2. TIFF/EP则定义并规范了在电子影像中所使用的TAG。
3. DNG同时与TIFF和TIFF/EP兼容，并包含了EXIF和XMP信息。DNG实际上就是扩张的TIFF， 把DNG的扩展名改成TIF就可以直接预览图片。

在DNG出现以前，各个数码相机制造商都有自己的格式，比如Canon(cr2/crw), Nikon(nef), Olympus(orf), Pentex(pef)等等。之所以出现这么多格式，一方面的原因是在这之前没有统一的raw格式， 但更重要的是，各个厂商希望用这个只对自己公开的数据格式来保护自己的私密信息。Adobe推出DNG希望能一统raw的天下。

DNG格式的结构

TIFF6.0格式结构

TIFF文件中的三个关键词是：图像文件头Image File Header(IFH); 图像文件目录Image File Directory(IFD)和目录项Directory Entry(DE)。每一幅图像是以8字节的IFH开始的， 这个IFH指向了第一个IFD。IFD包含了图像的各种信息， 同时也包含了一个指向实际图像数据的指针。

IFH的构成

Byte 0-1: 字节顺序标志位， 值为II或者MM。II表示小字节在前， 又称为little-endian。MM表示大字节在前，又成为big-endian。在解析DNG文件时，读取图像数据需要根据ByteOrder来正确获取数据。

Byte 2-3: TIFF的标志位，一般都是42，表示该图像为tiff格式。

Byte 4-7: 第一个IFD的偏移量。可以在任意位置， 但必须是在一个字的边界，也就是说必须是2的整数倍。

?

IFD的构成(0代表此IFD的起始位置)

IFD是TIF图中最重要的数据结构，它包含了一个TIF文件中最重要的信息，一个TIF图可能有多个IFD，这说明文件中有多个图像，每个IFD标识1 个图像的基本属性。 IFD结构中包含了三类成员，Directory Entry Count指出该结构里面有多少个目录入口；接下来就是N个线性排列的DE序列，数量不定（这就是为什么称TIF格式文件为可扩充标记的文件，甚至用户可以添加自定义的标记属性），每个DE标识了图像的某一个属性；最后就是一个偏移量， 标识下一个文件目录相对于文件开始处的位置，当然，如果该TIF文件只包含了一幅图像，那么就只有一个IFD，显然，这个偏移量就等于0；

Byte 0-1: 表示此IFD包含了多少个DE，假设数目为n

Byte 2-(n*12+1): n个DE

Byte (n*12+2)-(n*12+5): 下一个IFD的偏移量，如果没有则置为0

图2-1 IFH的结构

图2-2 IFD与DE的结构

DE的构成

简单说，一个DE就是一幅图像的某一个属性。例如图像的大小、分辨率、是否压缩、像素的行列数、一个像素由几位 表示（1位代表黑白两色，8位代表256色等等）等。其中：tag成员是该属性的编号，在图像文件目录中，它是按照升序排列的。我们可以通过读 这些编号，然后到TIF格式官方白皮书中查找相应的含义。属性是用数据来表示的，那么type就是代表着该数据的类型。每个DE共12个字节:

Byte 0-1: 此TAG的唯一标识

Byte 2-3: type数据类型。

Byte 4-7: lenghts数量。通过类型和数量可以确定存储此TAG的数据需要占据的字节数

Byte 8-11: valueOffset是tag标识的属性代表的变量值相对文件开始处的偏移量。如果占用的字节数少于4，那么该值就存放在 valueOffset中即可，没必要再另外指向一个地方了。如果超过4个，则这里存放的是指向实际数据的指针。

???? 对于valueOffset，这里有几个比较特殊的情况：

1. 占用的字节对于4个，那么valueOffset存储的是文件指针的偏移量，通过文件指针可以索引到该属性的具体值。真正的数据，存储是按照文件顺序存储。

1. 占用的字节不大于4字节，分为两种情况：
2. 对于图像的真实数据，这里存放的是图像真实数据的偏移量，占4个字节，要通过索引才能正确访问图像数据。
3. 对于其他的数据，如该type类型占用1个字节，lengths为4，那么总的字节为4个，这里有4个值，每个值占用1各字节，存储是按照文件顺序存储。

如果type类型占用2个字节，lengths为1，那么总的字节为2个，这里有1个值，存储按照文件顺序存储，后面的数据为空。

Value1 0

对于type的数据类型，TIF官方指定的有5种数据类型。

type=1就是BYTE类型（8位无标记整数）

type=2是ASCII类型（7位ASCII码加1位二进制0）

type=3是SHORT类型 （16位无标记整数）

type=4是LONG 类型（32位无标记整数）

type=5是RATIONAL类型（2个LONG，第一个是分子，第二个是分母）。

之后新增了7种类型：

6 = SBYTE An 8-bit signed (twos-complement) integer.

7 = UNDEFINED An 8-bit byte that may contain anything, depending on

the definition of the field.

8 = SSHORT A 16-bit (2-byte) signed (twos-complement) integer.

9 = SLONG A 32-bit (4-byte) signed (twos-complement) integer.

10 = SRATIONAL Two SLONG‘s: the first represents the numerator of a

fraction, the second the denominator.

11 = FLOAT Single precision (4-byte) IEEE format.

12 = DOUBLE Double precision (8-byte) IEEE format.

TIFF的基本tags属性

表中的tags可以在http://www.awaresystems.be/imaging/tiff/tifftags/tileoffsets.html中查询。也可以参看TIFF6.0规范和adobe 提供的dng文档。

比较重要的Tag属性：

SubIFDs

DNG规范中推荐使用子IFD的属性结构

IFD0 {

SubIFD0

SubIFD1

}

IFD0通常是提供一个低分辨便于预览的缩略图，NewSubfileType = 1

SubIFD通常提供高分辨的图像，如RAW数据或者YUV数据NewSubfileType = 0；

Adobe的DNG规范中不支持链式的存储，因此用于预览的IFD中至少要有一个SubIFD

PhotometricInterpretation

????颜色空间 SHORT 长度为1

0 = WhiteIsZero. 应用于灰度或者二值图像， 0对应最亮灰度.
1 = BlackIsZero. 应用于灰度或者二值图像. 0对应最暗灰度。
2 = RGB. 正常RGB图像，存储顺序为R，G，B.
3 = Palette color. 索引图像, ColorMap必须定义，SamplesPerPixel必须1.

32803 = CFA (Color Filter Array) 表征RAW图像数据

CFA矩阵

Filters 0x16161616:???? 0x61616161:????0x49494949:????0x94949494:

????Bayer模式1 Bayer模式2 Bayer模式3 Bayer模式4

???? 0 1 2 3 4 5???? 0 1 2 3 4 5???? 0 1 2 3 4 5???? 0 1 2 3 4 5

????0 B G B G B G????0 G R G R G R????0 G B G B G B????0 R G R G R G

????1 G R G R G R????1 B G B G B G????1 R G R G R G????1 G B G B G B

????2 B G B G B G????2 G R G R G R????2 G B G B G B????2 R G R G R G

????3 G R G R G R????3 B G B G B G????3 R G R G R G????3 G B G B G B

CFAPlaneColor Default 0, 1, 2 (red, green, blue)

R 0 G 1 B 2

Bayer模式1

B G B G 2 1 2 1

G R G R 1 0 1 0

B G B G 2 1 2 1

CFAPattern利用cfa_pat矩阵来存储R G G B 4个像素点

????cfa_pat[0] cfa_pat[1]

????cfa_pat[2] cfa_pat[3]

????R 0 G 1 B 2

????filters = 0x16161616

????B G 2 1

????G R 1 0

????filters = 0x61616161

????G R 1 0

????B G 2 1

????filters = 0x49494949

????G B 1 2

????R G 0 1

????filters = 0x94949494

????R G 0 1

????G B 1 2

表 2-1 TIFF文件IFD中的tag属性

?

DNG数据获取

1. 利用文件指针打开.DNG文件，读取DNG的IFH信息，获取dng数据的字节顺序byteorder和第一个IFD的字节偏移。
2. 定位到第一个IFD位置，获取DE的数目。依次遍历DE，获取每一个DE的tags，type，count，valueOffsets.
3. 根据文档的说明查询对应的tags属性，获取该IFD图像的相关信息。根据需要处理的数据，主要获取以下tags数据:

imagewidth

imagehight

TileOffsets

BitsPerSample

Compaession

PhotometricInterpretation

CFAPlaneColor

SubIFDs

????WhiteBalance

TIFF Tag AsShotNeutral

IFD		Image
Code	?	50728 (hex 0xC628)
Name	?	AsShotNeutral
LibTiff name	?	TIFFTAG_ASSHOTNEUTRAL
Type	?	SHORT or RATIONAL
Count	?	ColorPlanes
Default	?	None

Used in IFD 0 of DNG files.

AsShotNeutral specifies the selected white balance at time of capture, encoded as the coordinates of a perfectly neutral color in linear reference space values. The inclusion of this tag precludes the inclusion of the AsShotWhiteXY tag.

DNG数据的第一个IFD提供了预览图，在这个IFD中包含了其他IFD的偏移位置，存储在SubIFDs的信息中。因此要获取原始大图的RAW数据，需要通过第一个IFD的SubIFDs，索引到大图的IFD。

?

数据处理伪代码

FILE *fp = fopen("test.dng",wb);

byteorder = fread(fp,2);

firstifdpos = fread(fp,4);

firstifd = fseek(fp, firstifdpos);

denum = fread(fp,2);

//解析DNG头文件

for i = 1 : denum

{

????tags = fread(fp,2);

type = fread(fp,2);

????count = fread(fp,4);

????value = fread(fp,4);

????switch(tags)

????{

????????case 256:

????????????get imgwidht;

????????case 257:

????????????get imgheigh;

????????????......

????????Case 324：

????????????Get dataoffsets;

????????…….

????????Case 330：

????????????Process subIFD1 ,subIFD2

????????……

????}

}

?

Rawimg = fread(fp, dataoffsets);

……

//数据后处理

……

原始的RAW数据存储形式

? 主流的数码相机传感器，主要有CCD、CMOS和Foveon X3。CCD或CMOS这些图像传感器都几乎归类为Mosaic Sensor（马赛克感光元件），或称为Color Filter Array（彩色滤镜阵列）元件。Foveon X3成像技术的图像传感器，不属于上述的类别。，这里主要只简单地讲一下CCD/ CMOS的工作方式，对我们使用raw就已经足够了。?
??? 数码相机传感器是由横竖两个方向密集排列的感光元件（CCD或CMOS）组成的一个二维矩阵，常见的有图2-3示的4种Bayer模式的排列方式，每个CCD就对应一个像素。其中R感应红光、G感应绿光、B感应蓝光，而在Bayer模式中G是R和B的两倍（因为我们的眼睛对绿色更敏感）?

图2-3 四种Bayer矩阵排列形式

在矩阵内的每个CCD或CMOS只是用来感受光子的能量，因应进入光线的强度而产生对应比例的电荷，然后将这些电荷信息汇集并经过放大，储存起来，我们可以这样去想象一下充满电荷的CCD/CMOS，就像下图一样：。而应当知道的是，RAW纪录的只是每个像素位置的电荷值，它是没有记录任何的颜色信息的。所以CCD是"色盲"的，也就是说：?RAW文件只是灰度文件而已，如图2-5所示。

当Image Sensor往外逐行输出数据时，像素的序列为GRGRGR.../BGBGBG...（顺序RGB）。这样阵列的Sensor设计，使得RGB传感器减少到了全色传感器的1/3，如下所示。

图 2-4 CMOS光子感应示意图

因此任何一个RAW Converter（如Photoshop的Camera RAW Plugin，Bibble、Phrase One C1 Pro、RawShooter essentials 2005，各厂商自带的Raw转换软件等）的作用就是将这些像素所记录的亮度信息转换成为肉眼所能看见的颜色信息。由于现在的CCD/CMOS与Foveon X3的原理不一样，所以对于CCD/CMOS而言，要获得一个像素上的颜色值，必须从邻近的像素中获取信息来进行一种叫做"反马赛克"的运算?（Foveon X3不需要这样），从而得到该位置的颜色值，如图2-6所示的效果。

图2-5 原始的RaW数据

????????????????????????????????????图2-6 插值颜色后的彩色数据

参考文档

dng_spec_1.4.0.0.pdf

TIFF6.pdf

http://zh.wikipedia.org/wiki/TIFF

http://en.wikipedia.org/wiki/TIFF/EP

http://blog.csdn.net/pkeel/article/details/1490823

http://blog.csdn.net/han_jiang_xue/article/details/8266207

http://www.siliconimaging.com/RGB%20Bayer.htm

http://www.awaresystems.be/imaging/tiff/tifftags/search.html