卷积操作的GPU粗粒度并行实现及测试

一、    算法基本思想：

1、           GPU中的一个线程产生一个卷积结果，有多少个结果就使用多少个Block;

2、           矩阵和卷积核存放在共享内存中，卷积结果存放在全局内存中；

3、           支持10000以内任意维度的二维矩阵，卷积核最大支持16x16。

4、           支持任意多幅图像的批处理。

二、    实验平台：

CPU：Intel(R) Xeon(R) E5-2650 0 @2.00GHz 16核 32线程

GPU：NVIDIA Tesla C2070（见下表）

RAM Memory：64G

Operating System：64bit Win7。

三、    CPU和GPU耗时比较

      说明：在CPU实现中，不做任何优化，卷积操作使用基本的四层循环形式。为了程序了通用性，在GPU内部做了很多的条件测试，比较耗时。这个是初始版，可以做进一步优化，比如一些字节对齐等。

测试时间说明：使用clock()进行测试，精度为0.001秒(1ms)，GPU测试的总时间包括函数调度开销、GPU启动开销、设备内存的申请释放开销、数据传输开销和计算开销等，并且测试了数据的预处理和后处理的时间消耗。CPU只有函数调度开销和计算开销。

误差说明：CPU和GPU均使用float型数组存储数据，矩阵和卷积核数据随机初始化，并对CPU和GPU卷积结果作比较，测试卷积的有效性。

初步分析：

A.    CPU和GPU卷积结果误差为0，表明GPU实现是有效的。

B.     矩阵和卷积核较小时，CPU性能较好。矩阵和卷积核较大时，GPU性能较高，体现出GPU的并行性，能快速处理大规模、高吞吐量的数据。当数据量不是很大时，GPU耗时主要是启动开销，即设备内存的分配开销。

C.     GPU上，一个线程产生一个卷积结果，在线程内部是串行的，卷积核越大，单个卷积结果越耗时。

为了减少访问全局内存的次数，运算前，矩阵和卷积核拷贝到Block内部的共享内存中。

使用二维Block，一个Block内部16x16个线程，产生多少个卷积结果就使用多少个Block，因此固定卷积核，改变矩阵大小，运行时间基本不变，当矩阵过大时，使用的Block数量过多时，运算时间受限于GPU硬件中支持的SM和Block数量。（考虑卷积程序的通用性，数据拷贝时使用了比较多的条件测试和分支操作，性能受一定影响）。

D.    CPU上是简单的串行运算，受矩阵和卷积核大小影响较大。

E.     当矩阵两个维度都超过10000时，CPU运算出现指针异常，可能是矩阵较大时（550MB左右），数据存储时不再连续，指针溢出。所以无法测试。

进一步分析：

从上表可知，最高吞吐率为1.427GBps，PCAIE总线的带宽为5GBps，还有一定的空间。单精度浮点数乘法的最高有效计算性能为23.23Gflops，官方文档上标示的最高单精度浮点性能为1Tflops，差别较大，分析原因如下：

A.    CPU传输给GPU的数据是一维数组，而在GPU内部是按二维进行运算的，在存取数据是需要做很多的地址计算操作。

B.     由于卷积特有的性质，数据有很多的重复性，将大图像分割成很多小的图像块时，需要考虑边界问题，并且为了保证程序的通用性，支持任意的图像和卷积核大小，以及支持任意多幅图像的批处理，GPU中，将数据拷贝到共享内存之前，做了比较多的条件测试，时间消耗比较大。这个地方可以通过在CPU进行边界扩展等预处理，进一步提高GPU运算性能。

C.     线程内部计算单个卷积结果时，使用了一个二维循环，当卷积核较大时，运算时间呈指数型增长。

总结：

写一个GPU程序简单，写一个高效的GPU程序难，而写一个高效的通用性的GPU程序，更难，需要考虑方方面面的东西。目前版本的程序，仅仅具有简单的通用性，因为使用基本的数据结构保存数据，当数据量达到500MB时，很容易出现问题，而且计算效率也不是很高。

下周工作计划：

（1）       在CPU中做一些数据的预处理，考虑字节对齐，边界填充等，尽量减少GPU内部的条件测试。考虑将单个的卷积操作拆开，实现细粒度并行，提高单个卷积结果的计算效率。

（2）       学习三维Block，将一幅图像放在第一和第二维度上，批处理图像放在第三个维度，减少后处理计算量，增加批处理图像的卷积计算性能。

（3）       考虑反卷积运算的并行化。考虑将CUDA卷积程序与matlab版的CNN结合，进行交叉编译，提高CNN的运算效率。