pointnet

无序性:虽然输入的点云是有顺序的,但是显然这个顺序不应当影响结果。
点之间的交互:每个点不是独立的,而是与其周围的一些点共同蕴含了一些信息,因而模型应当能够抓住局部的结构和局部之间的交互。
变换不变性:比如点云整体的旋转和平移不应该影响它的分类或者分割

图片中"mlp"代表"multi-layer perceptron"(多层感知机)。其中,mlp是通过共享权重的卷积实现的,第一层卷积核大小是1x3(因为每个点的维度是xyz),之后的每一层卷积核大小都是1x1。即特征提取层只是把每个点连接起来而已。经过两个空间变换网络和两个mlp之后,对每一个点提取1024维特征,经过maxpool变成1x1024的全局特征。再经过一个mlp(代码中运用全连接)得到k个score。分类网络最后接的loss是softmax。

為了對各種幾何空間轉換有不變的特性,作者設計了一個T-Net的架構

Joint Alignment Network:為了對各種幾何空間轉換有不變的特性,作者設計了一個T-Net的架構,類似Image中的Spatial Transformer Network,這樣的T-Net可以在Input或是中間的Feature Layer中學習出有效的Affine Transformation Matrix,讓不同的Point Cloud Data的Feature可以對齊在一塊。微型网络(T-Net)学习一个获得 变换矩阵的函数,并对初始点云应用这个变换矩阵,这一部分被称为输入变换。随后通过一个mlp多层感知机后,再应用一次变换矩阵(特征变换)和多层感知机,最后进行一次最大池化。

作者:隅子酱
链接:https://zhuanlan.zhihu.com/p/75145963
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

原文地址:https://www.cnblogs.com/yibeimingyue/p/11739120.html

时间: 2024-08-08 14:53:39

pointnet的相关文章

pointNet代码

介绍 组成 1.PointNet classification network分类网络 part segmentation network 数据集 1.point clouds sampled from 3D shapes 2.ShapeNetPart dataset. 结构 其主要分成以下三部分: 数据处理 model构建 结果选择 数据处理 将点云处理成程序可用的格式,具体实现在 provider.py 中,主要包含了数据下载.预处理(shuffle->rotate->jitter).格式

使用深度学习的三维点云分类的介绍

在过去的这些年里,对二维图像已经有了大量深入的研究,并且有着长足的发展.它在分类任务上取得了极好的结果主要得益于一下两个关键因素: 1.卷积神经网络. 2.数据 - 大量图像数据可用. 但是对于3D点云,数据正在迅速增长.大有从2D向3D发展的趋势,比如在opencv中就已经慢慢包含了3D点云的处理的相关模块,在数据方面点云的获取也是有多种渠道, 无论是源于CAD模型还是来自LiDAR传感器或RGBD相机的扫描点云,无处不在. 另外,大多数系统直接获取3D点云而不是拍摄图像并进行处理.因此,在深

3D建模的初步了解

相关学习资料如下: cousera课程: https://www.coursera.org/learn/robotics-perception youtube课程: https://www.youtube.com/watch?v=RDkwklFGMfo Tutorial:  https://www.cse.wustl.edu/~furukawa/papers/fnt_mvs.pdf @知乎问题:三维重建 3D reconstruction有哪些使用算法 以下为知乎中的相关回答 用一组图片来做3D

CVPR 2017 Paper list

CVPR2017 paper list Machine Learning 1 Spotlight 1-1A Exclusivity-Consistency Regularized Multi-View Subspace Clustering Xiaojie Guo, Xiaobo Wang, Zhen Lei, Changqing Zhang, Stan Z. Li Borrowing Treasures From the Wealthy: Deep Transfer Learning Thro

译:Local Spectral Graph Convolution for Point Set Feature Learning-用于点集特征学习的局部谱图卷积

标题:Local Spectral Graph Convolution for Point Set Feature Learning 作者:Chu Wang, Babak Samari, Kaleem Siddiqi 译者:Elliott Zheng 来源:ECCV 2018 Abstract 点云的特征学习已经显示出巨大的希望,引入了有效且可推广的深度学习框架,例如pointnet ++. 然而,到目前为止,点特征已经以独立和孤立的方式被抽象,忽略了相邻点的相对布局及其特征.在本文中,我们建议

PointCloud及其经典论文介绍

这篇博客会介绍点云的基本知识,重点介绍最近两年发表的部分经典论文,有什么建议欢迎留言! 点云基本介绍 点云是某个坐标系下的点的数据集,包含了丰富的信息,可以是三维坐标X,Y,Z.颜色.强度值.时间等等.下面两张图分别展示了点云在三维空间可视化以后的效果和数据格式.点云的数据获取方式有很多种,比较常见的是三维激光扫描仪进行数据采集,它有三大类: 星载(星载LiDAR采用卫星平台,运行轨道高.观测视野广,基本可以测量到地球的每一个角落,为三维控制点和数字高程模型的获取提供了新的途径,有些星载激光雷达

zz【清华NLP】图神经网络GNN论文分门别类,16大应用200+篇论文最新推荐

[清华NLP]图神经网络GNN论文分门别类,16大应用200+篇论文最新推荐 图神经网络研究成为当前深度学习领域的热点.最近,清华大学NLP课题组Jie Zhou, Ganqu Cui, Zhengyan Zhang and Yushi Bai同学对 GNN 相关的综述论文.模型与应用进行了综述,并发布在 GitHub 上.16大应用包含物理.知识图谱等最新论文整理推荐. GitHub 链接: https://github.com/thunlp/GNNPapers 目录            

点云数据 网络

PointNethttps://zhuanlan.zhihu.com/p/44809266 对应的论文 PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation https://www.zhuanzhi.ai/document/3f4eb5438799b346b6d25419a7013d7f https://zhuanlan.zhihu.com/p/59865273 3D实例分割 https://cl

【论文阅读】DGCNN:Dynamic Graph CNN for Learning on Point Clouds

毕设进了图网络的坑,感觉有点难,一点点慢慢学吧,本文方法是<Rethinking Table Recognition using Graph Neural Networks>中关系建模环节中的主要方法. ## 概述 本文是对经典的PointNet进行改进,主要目标是设计一个可以直接使用点云作为输入的CNN架构,可适用于分类.分割等任务.主要的创新点是提出了一个新的可微网络模块EdgeConv(边卷积操作)来提取局部邻域信息. 其整体的网络结构如下所示,值得注意的有: 整体的网络结构与Point