物体的三维识别与6D位姿估计:PPF系列论文介绍(四)

作者:仲夏夜之星

Date:2020-04-14

来源:物体的三维识别与6D位姿估计:PPF系列论文介绍(四)

文章“3D Pose Estimation of Daily ObjectsUsing an RGB-D Camera”2012发表在IEEE/RSJInternational Conference on Intelligent Robots and Systems上,这篇文章对原始点对特征(PPF)作了一个很大的改进。

本文创新点

本文提出了一种利用深度和颜色信息的物体姿态估计算法。虽然许多方法假设目标区域是从背景中分割的,但我们的方法不依赖于这个假设,因此它可以估计目标物体在重杂波中的姿态。最近,引入了一个定向点对特征作为对象表面的低维描述,该特征已被应用于投票方案中,在对象模型和测试场景特征之间找到一组可能的三维刚性转换。虽然使用点对特征的几种方法需要一个精确的三维cad模型作为训练数据,但我们的方法只依赖于目标对象的几个扫描视图,因此学习新对象是很简单的。此外,我们认为,利用颜色信息可以显著提高投票过程的时间和准确性。为了利用颜色信息,我们定义了一个颜色点对特征,该特征用于投票方案中,以获得更有效的姿态估计。

本文主要内容

1.原始点对特征及改进的颜色点对特征

我们将一组点对的特征定义为下式,也就是四维特征。

其中d=||pi−pj||,∠(v1,v2)∈[0;π)表示两个向量之间的角度。第一个分量,d2=||pi−pj||2,表示两个表面点之间的欧几里德距离。第二和第三分量分别是矢量d与表面法向量ni和nj之间的角度。最后一个分量是两个法向量之间的角度。原始PPF适用于表面法线变化丰富的物体,但它通常不足以描述平面或自对称物体。因此,需要增加点对特征,以便该特征对这些类型的对象更加有效。本文提出颜色点对特征Fcppf,它是通过连接点的两个三维颜色向量来定义的:

其中ci和cj∈R3是颜色向量,通常来说,每个颜色通道被归一化为c∈[0;1]。 如下图所示描述了CPPF特征。

2.对象学习

要使用CPPF作为哈希表的密钥,我们需要量化特征描述符:

其中 分别表示距离、角度和颜色向量的量化级别。符号 表示按分量划分。利用特征CPPF的这个索引Ⅰ,将姿态估计所需的信息保存在哈希表H中,通过将特征存储在H中,将相似的CPPFs分组在同一个时隙中,并可以在平均恒定时间内与场景CPPFs进行匹配。

在算法1中给出了对象学习过程,给定对象模型点云M,该算法返回学习的哈希表H,Nm表示M中的点数,是将在下文介绍的中间角。量化参数δ,θ,σ

是重要的参数设置。根据我们的经验,在实验中δ=2mm、θ=10°、 并不能得到很好地效果。对于的颜色量化级别,我们使用HSV颜色空间。v通道通常不受光照变化的影响,因此使用了更大的水平即0.4。

3.投票方案

如下图所示, 是将 转化为原点,并将其法线 旋转到X轴上,对于场景点对, 也是如此。

算法2详细地描述了投票过程,以哈希表H、对象模型点云M和测试场景点云N的点数Ns作为输入,然后以返回Np姿态假设P作为输出。场景点的采样比率 和投票阈值都

来控制速度和精度之间的权衡。实验中,我们考虑NP=10作为姿态假设,并检查 =1.0的所有场景点。我们通常设置,但根据对象的大小稍微调整。随机样本RandomSample(N)在不重复的情况下返回1到N之间的随机数,Intertransform (p,n)使用给定的点P和法向N计算来对齐变换。最后,PoseClustering(P, )在一组 分组姿态中将原始姿态假设P聚在一起,将在下一节中解释。

4.位姿聚类

我们采用了一种有效的聚集聚类方法,函数PoseClustering(P, )以未聚类的姿态假设P作为输入,并按投票数的递减顺序对它们进行排序,从创建一个具有最高票数的姿态假设的新集群开始,类似的姿态被分组在一起,如果一个姿态远离现有的集群,则创建一个新的集群,姿态之间的距离测试是基于平移和旋转中的固定阈值,当聚类完成后,再次对聚类进行排序,并返回顶部 姿态聚类。

实验结果

1.测试对象

2.添加高斯噪声的结果

3.聚类场景分析

参考文献

[1] B. Drost, M. Ulrich, N. Navab, and S. Ilic, “Model globally,match locally: Efficient and robust 3D object recognition,” in Proceedings ofIEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2010.

[2] A. S. Mian, M. Bennamoun, and R.Owens, “Three-dimensional model-based object recognition and segmentation incluttered scenes,” IEEE Transactions on Pattern Analysis and MachineIntelligence, pp.1584–1601, 2006.

原文地址:https://www.cnblogs.com/YongQiVisionIMAX/p/12696097.html

时间: 2024-10-12 21:07:30

物体的三维识别与6D位姿估计:PPF系列论文介绍(四)的相关文章

物体的三维识别与6D位姿估计:PPF系列论文介绍(二)——PPF-MEAM

作者:袁野 Date:2020-03-24 来源:物体的三维识别与6D位姿估计:PPF系列论文介绍(二)——PPF-MEAM 文章“Point Pair Feature-Based Pose Estimation with Multiple Edge Appearance Models (PPF-MEAM) for Robotic Bin Picking”2018年发表在<Sensors>,是近年来ppf方法的一个代表性的继承与发展.一.算法主要框架 算法分为线下训练阶段和线上匹配阶段.如下图

物体的三维识别与6D位姿估计:PPF系列论文介绍(一)

作者:袁野 Date:2020-03-27 来源:物体的三维识别与6D位姿估计:PPF系列论文介绍(一) 一.前言 近年来随着消费级深度设备的普及,深度相机引导机械臂完成抓取成为热点话题.其中,物体识别与位姿估计是械臂完成抓取的关键.关于物体识别与位姿估计可以分为传统手工提取特征方法和基于深度学习的方法.下面主要介绍传统经典方法——基于点对特征的(PPF)系列方法. 2019年ICCV在韩国举行的"6D Object Pose Estimation Challenge" 中,基于PPF

3D目标检测&amp;6D姿态估计之SSD-6D算法--by leona

最近的研究主要以6D检测为主,本篇介绍基于2D检测器SSD的3D检测器SSD-6D. 1)论文链接:https://arxiv.org/pdf/1711.10006.pdf   训练部分代码链接:https://github.com/wadimkehl/ssd-6d 2)介绍: 许多3D检测器都是基于视角的(view based),生成一系列离散的目标视角用于后续视频序列的特征计算.在测试过程中,从不同的离散视角对场景进行采样,然后计算特征,并与目标数据库匹配来建立训练视角和场景位置的对应.此处

物体三维识别论文介绍——基于霍夫投票

作者:袁野 Date:2020-04-02 来源:物体三维识别论文介绍——基于霍夫投票 文章“Objectrecognition in 3D scenes with occlusions and clutter by Hough voting”发表在2010年,提出了一个经典的将霍夫投票思想用于三维场景目标识别的方法,在杂乱场景和有遮挡情况下取得了不错的效果.这一思想在近年的文章中被多次引用,一些深度学习的方法也有该投票思想的影子.该方法已在PCL库中有简易实现.一.算法框架算法借助点云三位特征

相机位姿估计3:根据两幅图像的位姿估计结果求某点的世界坐标

关键词:相机位姿估计,单目尺寸测量,环境探知 用途:基于相机的环境测量,SLAM,单目尺寸测量 文章类型:原理说明.Demo展示 @Author:VShawn @Date:2016-11-28 @Lab: [email protected] 目录 <相机位姿估计0:基本原理之如何解PNP问题> <相机位姿估计1:根据四个特征点估计相机姿态> <相机位姿估计1_1:OpenCV:solvePnP二次封装与性能测试> <相机位姿估计2:[应用]实时位姿估计与三维重建相

相机位姿估计1_1:OpenCV:solvePnP二次封装与性能测试

关键词:OpenCV::solvePnP 文章类型:方法封装.测试 @Author:VShawn([email protected]) @Date:2016-11-27 @Lab: [email protected] 前言 今天给大家带来的是一篇关于程序功能.性能测试的文章,读过<相机位姿估计1:根据四个特征点估计相机姿态>一文的同学应该会发现,直接使用OpenCV的solvePnP来估计相机位姿,在程序调用上相当麻烦,从一开始的参数设定到最后将计算出的矩阵转化为相机的位姿参数,需要花费近两百

相机位姿估计2:[应用]实时位姿估计与三维重建相机姿态

关键词:相机位姿估计 OpenCV::solvePnP labview三维图片 文章类型:应用展示+Demo演示 @Author:VShawn([email protected]) @Date:2016-12-12 @Lab: [email protected] 前言 本文将展示一个实时相机位姿估计的例程,其中的原理在前文中已经说过了,再利用<相机位姿估计1_1:OpenCV.solvePnP二次封装与性能测试>中构建的类,使得程序处理更加简单.本例程利用HSV空间,跟踪红色的特征点,将跟踪到

[转]三维数字地球发布平台探索--几款开源软件介绍

先写想法: 想做个简单的地形漫游,于是考虑在ww直接开发,或找个控件形式的开发组件. 最大的期望有: 1. 支持google的sketchup,快速智能三维建模 2. 设计模式做好点,最好先做成组件形式,然后开发应用程序 3. 性能再好点,对于索引技术,内存管理等等 4. 客户端独立版本 和客户服务器端耦合版本的优化 5. 放点服务器的资料. .net平台 1.WorldWind      知名度很高,介绍也很全.链接在这里NASAWorld Wind     目前分为.net版本和java版本

6D姿态估计从0单排——看论文的小鸡篇——Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes

这是linemod的第二篇,这一篇把训练从online learning 变成了 使用3D model, 并且对于检测结果用 3种方法: color.Pose.Depth来确保不会有false positive.感觉有种不忘初心的感觉(笑 基于linemod,是前一篇的改良 initial version of LINEMOD has some disadvantages. First, templates are learnede online, which is difficule to c