物体的三维识别与6D位姿估计:PPF系列论文介绍(一)

作者:袁野

Date:2020-03-27

来源:物体的三维识别与6D位姿估计:PPF系列论文介绍(一)

一、前言

近年来随着消费级深度设备的普及,深度相机引导机械臂完成抓取成为热点话题。其中,物体识别与位姿估计是械臂完成抓取的关键。关于物体识别与位姿估计可以分为传统手工提取特征方法和基于深度学习的方法。下面主要介绍传统经典方法——基于点对特征的(PPF)系列方法。

2019年ICCV在韩国举行的"6D Object Pose Estimation Challenge" 中,基于PPF的方法丝毫不输当今火热的深度学习类方法。下图是Leaderboard,其中Drost和Vidal的方法都是基于PPF。

二、PPF系列论文介绍

1. “Model globally, match locally: Efficient and robust 3D object recognition”

这篇文章是PPF的鼻祖,发表在2010年CVPR。其构建两点及其法向量之间的几何关系形成的四维特征作为点对特征(Point Pair Features)。线下建立哈希表存储模型的所有四维特征作为模型的整体描述。线上匹配阶段,借用全局坐标系简化刚体变换自由度,使得位姿计算变得简单。同时借助广义霍夫变换的投票思想,对参数空间投票,获得可靠位姿。

DOI:10.1109/CVPR.2010.5540108

2. “3D pose estimation of daily objects using an RGB-D camera”

Drost的方法很快得到了广泛的关注,Choi等人在2012年对PPF进行了改进,将传统的四维几何点对特征扩充了颜色信息,得到CPPF这么一个十维特征描述子(两点各增加了RGB信息)。在彩色数据集上获得了比原始PPF更好的效果。

DOI:10.1109/IROS.2012.6386067

3.“RGB-D edge detection and edge-based registration”

2013年,Choi等人继续对PPF做出改进,提出用不同种类的点对几何关系,如利用“boundary-to- boundary”的边缘点点对构建特征。这无疑大大减少了点的数量,不论是在训练阶段还是匹配阶段都极大提高了速度。并且该改进在包含大量平面的物体上表现出了极好的效果。

DOI:10.1109/IROS.2013.6696558

4.“Learning to Rank 3D Features”

2014年,Tuzel等人发现,当对象自身有很多重复特征或表现出简并性时(如大平面)传统PPF方法的性能下降,同时这种情形又是非常常见的。由此提出了一个最大边缘学习框架来识别三维物体表面的识别特征。具体来说,学习到的是哈希表bin的权重值,以及模型点的权重值。算法根据特征在特定任务中的重要性对特征进行选择和排序,从而提高准确性,降低计算成本。

DOI:10.1007/978-3-319-10590-1_345. “Point Pair Features Based Object Detection and Pose Estimation Revisited“

之前的PPF系列方法虽然是有所改进,但是总体的pipeline几乎是一致的。而Birdal等人在2015年从pipeline上改进了PPF。文章将目标检测与一个由粗到精的分割结合起来,其中每个分割都需要进行独立的位姿估计。在匹配过程中,使用了一个加权的霍夫投票和一个插值恢复的位姿参数。最后,所有生成的假设通过一个遮挡感知排序进行检验和排序。特别的是,由于这种增强的位姿检索,新的pipeline不需要ICP优化,从而在速度和精度之间取得更好的折衷。

DOI:10.1109/3DV.2015.65

原文地址:https://www.cnblogs.com/YongQiVisionIMAX/p/12627845.html

时间: 2024-10-09 15:46:03

物体的三维识别与6D位姿估计:PPF系列论文介绍(一)的相关文章

物体的三维识别与6D位姿估计:PPF系列论文介绍(二)——PPF-MEAM

作者:袁野 Date:2020-03-24 来源:物体的三维识别与6D位姿估计:PPF系列论文介绍(二)——PPF-MEAM 文章“Point Pair Feature-Based Pose Estimation with Multiple Edge Appearance Models (PPF-MEAM) for Robotic Bin Picking”2018年发表在<Sensors>,是近年来ppf方法的一个代表性的继承与发展.一.算法主要框架 算法分为线下训练阶段和线上匹配阶段.如下图

物体的三维识别与6D位姿估计:PPF系列论文介绍(四)

作者:仲夏夜之星 Date:2020-04-14 来源:物体的三维识别与6D位姿估计:PPF系列论文介绍(四) 文章“3D Pose Estimation of Daily ObjectsUsing an RGB-D Camera”2012发表在IEEE/RSJInternational Conference on Intelligent Robots and Systems上,这篇文章对原始点对特征(PPF)作了一个很大的改进. 本文创新点 本文提出了一种利用深度和颜色信息的物体姿态估计算法.

3D目标检测&amp;6D姿态估计之SSD-6D算法--by leona

最近的研究主要以6D检测为主,本篇介绍基于2D检测器SSD的3D检测器SSD-6D. 1)论文链接:https://arxiv.org/pdf/1711.10006.pdf   训练部分代码链接:https://github.com/wadimkehl/ssd-6d 2)介绍: 许多3D检测器都是基于视角的(view based),生成一系列离散的目标视角用于后续视频序列的特征计算.在测试过程中,从不同的离散视角对场景进行采样,然后计算特征,并与目标数据库匹配来建立训练视角和场景位置的对应.此处

物体三维识别论文介绍——基于霍夫投票

作者:袁野 Date:2020-04-02 来源:物体三维识别论文介绍——基于霍夫投票 文章“Objectrecognition in 3D scenes with occlusions and clutter by Hough voting”发表在2010年,提出了一个经典的将霍夫投票思想用于三维场景目标识别的方法,在杂乱场景和有遮挡情况下取得了不错的效果.这一思想在近年的文章中被多次引用,一些深度学习的方法也有该投票思想的影子.该方法已在PCL库中有简易实现.一.算法框架算法借助点云三位特征

相机位姿估计3:根据两幅图像的位姿估计结果求某点的世界坐标

关键词:相机位姿估计,单目尺寸测量,环境探知 用途:基于相机的环境测量,SLAM,单目尺寸测量 文章类型:原理说明.Demo展示 @Author:VShawn @Date:2016-11-28 @Lab: [email protected] 目录 <相机位姿估计0:基本原理之如何解PNP问题> <相机位姿估计1:根据四个特征点估计相机姿态> <相机位姿估计1_1:OpenCV:solvePnP二次封装与性能测试> <相机位姿估计2:[应用]实时位姿估计与三维重建相

相机位姿估计1_1:OpenCV:solvePnP二次封装与性能测试

关键词:OpenCV::solvePnP 文章类型:方法封装.测试 @Author:VShawn([email protected]) @Date:2016-11-27 @Lab: [email protected] 前言 今天给大家带来的是一篇关于程序功能.性能测试的文章,读过<相机位姿估计1:根据四个特征点估计相机姿态>一文的同学应该会发现,直接使用OpenCV的solvePnP来估计相机位姿,在程序调用上相当麻烦,从一开始的参数设定到最后将计算出的矩阵转化为相机的位姿参数,需要花费近两百

相机位姿估计2:[应用]实时位姿估计与三维重建相机姿态

关键词:相机位姿估计 OpenCV::solvePnP labview三维图片 文章类型:应用展示+Demo演示 @Author:VShawn([email protected]) @Date:2016-12-12 @Lab: [email protected] 前言 本文将展示一个实时相机位姿估计的例程,其中的原理在前文中已经说过了,再利用<相机位姿估计1_1:OpenCV.solvePnP二次封装与性能测试>中构建的类,使得程序处理更加简单.本例程利用HSV空间,跟踪红色的特征点,将跟踪到

[转]三维数字地球发布平台探索--几款开源软件介绍

先写想法: 想做个简单的地形漫游,于是考虑在ww直接开发,或找个控件形式的开发组件. 最大的期望有: 1. 支持google的sketchup,快速智能三维建模 2. 设计模式做好点,最好先做成组件形式,然后开发应用程序 3. 性能再好点,对于索引技术,内存管理等等 4. 客户端独立版本 和客户服务器端耦合版本的优化 5. 放点服务器的资料. .net平台 1.WorldWind      知名度很高,介绍也很全.链接在这里NASAWorld Wind     目前分为.net版本和java版本

6D姿态估计从0单排——看论文的小鸡篇——Model Based Training, Detection and Pose Estimation of Texture-Less 3D Objects in Heavily Cluttered Scenes

这是linemod的第二篇,这一篇把训练从online learning 变成了 使用3D model, 并且对于检测结果用 3种方法: color.Pose.Depth来确保不会有false positive.感觉有种不忘初心的感觉(笑 基于linemod,是前一篇的改良 initial version of LINEMOD has some disadvantages. First, templates are learnede online, which is difficule to c