无序性:虽然输入的点云是有顺序的,但是显然这个顺序不应当影响结果。
点之间的交互:每个点不是独立的,而是与其周围的一些点共同蕴含了一些信息,因而模型应当能够抓住局部的结构和局部之间的交互。
变换不变性:比如点云整体的旋转和平移不应该影响它的分类或者分割
图片中"mlp"代表"multi-layer perceptron"(多层感知机)。其中,mlp是通过共享权重的卷积实现的,第一层卷积核大小是1x3(因为每个点的维度是xyz),之后的每一层卷积核大小都是1x1。即特征提取层只是把每个点连接起来而已。经过两个空间变换网络和两个mlp之后,对每一个点提取1024维特征,经过maxpool变成1x1024的全局特征。再经过一个mlp(代码中运用全连接)得到k个score。分类网络最后接的loss是softmax。
為了對各種幾何空間轉換有不變的特性,作者設計了一個T-Net的架構
Joint Alignment Network:為了對各種幾何空間轉換有不變的特性,作者設計了一個T-Net的架構,類似Image中的Spatial Transformer Network,這樣的T-Net可以在Input或是中間的Feature Layer中學習出有效的Affine Transformation Matrix,讓不同的Point Cloud Data的Feature可以對齊在一塊。微型网络(T-Net)学习一个获得 变换矩阵的函数,并对初始点云应用这个变换矩阵,这一部分被称为输入变换。随后通过一个mlp多层感知机后,再应用一次变换矩阵(特征变换)和多层感知机,最后进行一次最大池化。
作者:隅子酱
链接:https://zhuanlan.zhihu.com/p/75145963
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
原文地址:https://www.cnblogs.com/yibeimingyue/p/11739120.html