语义定位:Semantic Localization Via the Matrix Permanent(一)

语义SLAM和多传感器融合是自动驾驶建图和定位部分比较热门的两种技术。这篇技术文章主要想介绍一篇基于概率模型的语义定位方法。文章名字是Semantic Localization Via the Matrix Permanent,是 University of Pennsylvania 的GRASP实验室。还有一篇类似的文章,名字是Localization from semantic observations via the matrix permanent。他们组后续一篇文章Probabilistic Data Association for Semantic SLAM得了ICRA2018最佳论文奖。

语义SLAM中,语义信息的数据关联相较于特征点的数据关联有所不同。我们一般用特征描述子的相似性来匹配和关联不同图像中的特征点。特征点的描述子会受到光照、视角和传感器的影响,不太适用于大尺度长周期的任务,比如自动驾驶的高精度地图。得益于深度学习的快速发展,这些影响因素对于目标识别、语义分割来说已经不是最本质的困难,因此语义信息在高精度地图中越来越受重视。而在SLAM中,语义信息的数据关仍然是一个值得研究的问题。这个问题的关键在于,一幅图像中可能检测出数个相同类别的目标物体,如何能够正确地将其对应于地图数据中已有的该类别的3D物体。

本篇文章的出发点是用概率模型建模数据关联过程,通过求解后验概率\(p(Z|Y,X)\),利用粒子滤波的框架求解姿态\(X\)。其中,\(Z\)是观测,\(Y\)是地图中的路标点(landmark),\(X\)是姿态(pose)。这里假设地图已经建立,其中路标点的位置、类别等信息已经包含在地图中。文章的模型基于很少的先验假设,只需要语义信息和一些识别算法的先验概率,因此有很广的适用范围。

这篇文章的创新点个人总结有以下几点。

  • 尝试去建立路标点和观测之间的所有可能的概率关联,而不是一对一的数据关联。这样的好处是避免一对一关联中错误关联的影响。因为在语义SLAM中,语义信息的数量相比于特征点而言是稀少的,因此不当的数据关联的个数应当尽可能的少,否则可能导致姿态估计很快出现漂移。
  • 考虑了目标识别中的错误率和漏检率。
  • 优化了后验概率的计算方法。建立整个概率分布是一个\(N!\)复杂度的问题,作者将其转化为一个多项式复杂度的问题。

作者在文章中只用了语义信息,还没有应用传统SLAM和多传感器融合的方法。如果要应用到实际中,可能可以融合一些其它的想法。另外,这篇文章并没有开源代码能够参考,运行速度上肯定也需要优化。

先写这些吧,下次再介绍一些具体的内容。

原文地址:https://www.cnblogs.com/luyb/p/9430488.html

时间: 2024-10-30 21:50:52

语义定位:Semantic Localization Via the Matrix Permanent(一)的相关文章

语义定位:Semantic Localization Via the Matrix Permanent(二)

论文假设和单目标模型 这部分想讲一下Semantic Localization Via the Matrix Permanent这篇文章的一些假设. 待求解的问题可以描述为 假设从姿态\(x\)看到的物体(路标点)集合为\(Y(x)={y_1,...,y_n}\),观测为\(Z={z_1,...,z_m}\).求后验概率\(p(Z|Y,x)\). 这里引入数据关联\(\pi\)表示从物体到测量的一个对应关系,其中即包含正确的配对,也包含错误的配对和缺失的配对. 一些假设 作者对目标检测和数据关联

语义分割(semantic segmentation) 常用神经网络介绍对比-FCN SegNet U-net DeconvNet,语义分割,简单来说就是给定一张图片,对图片中的每一个像素点进行分类;目标检测只有两类,目标和非目标,就是在一张图片中找到并用box标注出所有的目标.

from:https://blog.csdn.net/u012931582/article/details/70314859 2017年04月21日 14:54:10 阅读数:4369 前言 在这里,先介绍几个概念,也是图像处理当中的最常见任务. 语义分割(semantic segmentation) 目标检测(object detection) 目标识别(object recognition) 实例分割(instance segmentation) 语义分割 首先需要了解一下什么是语义分割(s

论文:利用深度强化学习模型定位新物体(VISUAL SEMANTIC NAVIGATION USING SCENE PRIORS)

这是一篇被ICLR 2019 接收的论文.论文讨论了如何利用场景先验知识 (scene priors)来定位一个新场景(novel scene)中未曾见过的物体(unseen objects).举例来说,在「厨房」这一场景中,有一张图片显示「苹果」在冰箱的储物架上,同为水果的物体,如「橙子」,会出现在场景的哪个位置呢?论文提出了用基于强化学习的方法来定位「橙子」. 论文:VISUAL SEMANTIC NAVIGATION USING SCENE PRIORS 论文作者:Wei Yang , X

CS231n第八课:目标检测定位学习记录

结合视频第八集和笔记:http://chuansong.me/n/353443351445 本节课程从分类(Classification),定位(Localization)和检测(Detection)三个方面入手. 从上图可以直观的看到: 1.对于分类而言,就是对于给定的图片把其划分到给定的几种类别中某一种.很显然,图像中只能存在一种给定类别中的对象. 2.而定位就是找到对应的对象的位置区域,把它框选出来(即Bounding Box),这个选框除了位置信息(x,y)外还要包含其大小信息(w,h)

图像分割:Semantic/Instance/Panoramic Segmentation

一. 背景介绍 语义分割(Semantic Segmentation):对一张图片上的所有像素点进行分类,同一物体的不同实例不需要单独分割出来. 实例分割(Instance Segmentation):目标检测(比b-box更精确到边缘)和语义分割(标出同类不同个体)的结合. 全景分割(Panoramic Segmentation):语义分割和实例分割的结合,背景也要检测和分割. 图像分割是图像理解的重要基石,在自动驾驶.无人机.工业质检等应用中都有着举足轻重的地位.缺陷检测论文现在好多都是借助

HTML5语义化

什么是HTML语义化? 语义化(semantic)就是你看到某个标签就知道它是干什么的.语义化让"显示"与"语义"分离,HTML代码负责页面干什么,而显示效果则由CSS完成.让正确的标签做正确的事情. 比如:当我们看到下面的<h1>标签时,就知道它的功能就是在页面中显示一个顶级标题. <h1>this is a top level heading</h1> 为什么要语义化? 在HTML5出来之前,我们习惯用<div>表

微信开放平台开发(1) 语义理解

关键字:微信公众平台 微信开放平台 语义理解 semantic 作者:方倍工作室 原文:http://www.cnblogs.com/txw1958/p/weixin-semantic-analysis.html 微信开放平台语义理解接口调用(http请求)简单方便,用户无需掌握语义理解及相关技术,只需根据自己的产品特点,选择相应的服务即可搭建一套智能语义服务. 第一步:创建应用 请到“管理中心”创建应用,点击“创建移动应用”或者“创建网站应用”,填写相关资料,然后将该应用提交审核,只有审核通过

珊格地图笔记

写在前面:这篇文章是Coursera上的课程(Robotics: Estimation and Learning),权当笔记,激光传感器的数据可以在课程内下载.这一周的内容比较简单,但十分实用. 在这片文章中,我们将会介绍: 机器人世界的几种地图: 占据栅格地图的表示方法与更新方法: 利用激光传感器数据构建占据栅格地图. 1. 机器人地图的分类 地图有很多种表示方式,例如,用经纬度标识地方的世界地图,城市的地铁图,校园指引图. 第一种我们称为尺度地图(Metric Map),每一个地点都可以用坐

Going Deeper with Convolutions阅读摘要

  论文链接:Going deeper with convolutions 代码下载: Abstract We propose a deep convolutional neural network architecture codenamed Inception that achieves the new state of the art for classification and detection in the ImageNet Large-Scale Visual Recognitio