论文: Deformable Convolutional Networks
CNN因为其内部的固定的网络结构,对模型几何变换的识别非常有限。
本paper给出了两个模块deformable convolution 和 deformable ROI-Pooling来提高CNN的模型变换能力。
过去的办法解决几何变换的方法,一,使用data Augmentation来增大不同几何形状的object,二,使用sift 或者 sliding windows这样的方法来解决。
本paper主要针对三个module进行了deformable的改进,deformable Convolution, deformable ROI-Pooling 和 deformable PSROI-Pooling
这里主要讲 conv layer 的 deformable Conv 版本。
本paper是使用公式
针对p0点的像素点,使用Pn是之前conv的方法,添加了^P 来作为offset,其中^P是一个非常小的量。 而这个offset是由
得到的,G(. , .) 是 bilinear interpolation kernel。
在训练中,同时对conv kernel和offsets进行学习。
其中,该deformable conv kernel的求导为:
这paper的目的是augmentating空间样本点和RoI-pooling得到额外的offset量,同时在learning 中学习到offset量。
本人观点:
利用deformable offset 来学习每一个 pixel 的偏移量,从而主动学习到object的region。改变了过去方方正正的 object region,可以learn到deformable的region。