ICCV研讨会:实时SLAM的未来以及深度学习与SLAM的比较

这篇短文写的很好,我把它copy到这里供大家学习

上一届「国际计算机视觉大会(ICCV:International Conference of Computer Vision )」成为了深度学习(Deep Learning)技术的主场,但在我们宣布卷积神经网络(ConvNet)的全面胜利之前,让我们先看看计算机视觉的「非学习(non-learning)」几何方面的进展如何。同步定位与地图构建(SLAM:
Simultaneous Localization and Mapping )可以说是机器人学领域最重要的算法之一,在计算机视觉和机器人研究社区完成了一些开创性的工作。本文将总结来自 ICCV 实时 SLAM 的未来研讨会的要点。

这篇文章包含了对 SLAM 的简要介绍、对研讨会上发生的事情的详细描述(全部七个演讲的总结)和会议结尾处的「以深度学习为中心的小组讨论」中的关键信息。

第一部分:为什么 SLAM 很重要?

视觉 SLAM 算法可以实时构建世界的 3D 地图,并同时追踪摄像头(手持式或增强现实设备上的头戴式或安装在机器人上)的位置和方向。SLAM 是卷积神经网络和深度学习的补充:SLAM 关注于几何问题而深度学习是感知(识别)问题的大师。如果你想要一个能走到你的冰箱面前而不撞到墙壁的机器人,那就使用 SLAM。如果你想要一个能识别冰箱中的物品的机器人,那就使用卷积神经网络。

SfM/SLAM 基本原理:一个场景的 3D 结构是根据点观察和固有的摄像头参数,从摄像头的估计的运动中计算出来的

SLAM 是 SfM(运动恢复结构:Structure from Motion)的一种实时版本。视觉 SLAM 或基于视觉的 SLAM 是 SLAM 的一种仅使用摄像头的变体,放弃了昂贵的激光传感器和惯性测量单元(IMU)。单眼 SLAM(Monocular SLAM)仅使用单个摄像头,而非单眼 SLAM(non-monocular SLAM)通常使用一个预校准的固定基线的立体相机套件。SLAM
是计算机视觉领域所谓的「几何方法(Geometric Method)」最好案例。事实上,卡内基梅隆大学(CMU)的机器人研究所将研究生水平的计算机视觉课程分成了一个「基于学习的视觉方法」和一个单独的「基于几何的视觉方法」课程。

1.运动恢复结构 vs 视觉 SLAM

运动恢复结构(SfM)和 SLAM 所解决的问题非常相似,但 SfM 传统上是以离线形式进行的,而 SLAM 则已经慢慢走向了低功耗/实时/单 RGB 相机的运行模式。今天许多运动恢复结构方面的专家都在为世界上一些最大的科技公司,帮助打造更好的地图。如果没有关于多视图几何(multiple-view geometry)、SfM 和 SLAM 的丰富知识,像谷歌地图这种成功的地图产品根本就不可能出现。典型的
SfM 问题遵循:给定一个单个室外结构(如大剧场/大体育馆)的大型照片集合,构建该结构的 3D 模型并确定每个相机的姿势。这个照片集合以离线形式处理,而且大型结构重建所需时间从几小时到几天不等。

SfM 软件:Bundler 是最成功的 SfM 开源库之一

这里给出一些流行的 SfM 相关的软件库:

  • Bundler:一个开源的运动恢复结构工具包
  • Libceres:一个非线性最小二乘极小化工具(对束调整(bundle adjustment)问题很有用)
  • Andrew Zisserman 的多视图几何 MATLAB 函数

2.视觉 SLAM vs 自动驾驶

研讨会的组织者之一 Andrew Davison 表示,尽管自动驾驶汽车是 SLAM 最重要的应用之一,但用于自动化载具的 SLAM 应该有其自己的研究轨道。(而且正如我们所见,研讨会的展示者中没有一个谈到了自动驾驶汽车。)在接下来的许多年里,独立于任何一个「圣杯级」的应用而继续在研究的角度上研究 SLAM 是有意义的。尽管在自动化载具方面存在着太多的系统级细节和技巧,但研究级的
SLAM 系统所需的不过是一个网络摄像头、算法知识和一点辛劳而已。视觉 SLAM 作为一个研究课题对数以千计的博士生的早期阶段要友好得多,他们将首先需要好几年的使用 SLAM 的实验室经验,然后才能开始考虑无人驾驶汽车等昂贵的机器人平台。

谷歌无人驾驶汽车的感知系统

第二部分:实时 SLAM 的未来

现在是时候正式总结和评论「实时 SLAM 的未来」研讨会上的演讲了。Andrew Davison 以一个名叫「基于视觉的 SALM 的十五年」的精彩历史概述开篇,他的幻灯片中还有一个介绍机器人学课程的好内容。

你也许不知道 Andrew 是谁,他是伦敦帝国学院独一无二的 Andrew Davison 教授。他最知名的成就是其 2003 年的 MonoSLAM 系统,他是第一个展示如何在单个「单眼」摄像头上构建 SLAM 系统的人,而那时候其他所有人都还认为打造 SLAM 系统需要一个立体的「双眼」摄像头套件。最近,他的研究成果已经对戴森(Dyson)等公司的发展轨迹和他们的机器人系统的能力产生了影响(如全新的
Dyson360)。

我还记得 Davidson 教授曾在 2007 年的 BMVC(英国机器视觉大会)上给出了一个视觉 SLAM 教程。让人惊讶的是,和主要的视觉大会上其它机器学习技术的纷繁成果相比,SLAM 的变化真是非常之少。过去八年里,对象识别已经经历了两三次小型变革,而今天的 SLAM 系统和其八年前的样子看起来并没有多大不同。了解 SLAM 的进展的最好方法是看最成功和最让人难忘的系统。在
Davidson 的研讨会介绍演讲中,他讨论了一些过去 10-15 年里科研界所打造的典范系统:

  • MonoSLAM
  • PTAM
  • FAB-MAP
  • DTAM
  • KinectFusion

1.Davison vs Horn:机器人视觉的下一篇章

Davison 还提到他正在写一本关于机器人视觉的新书,这对计算机视觉、机器人和人工智能领域的研究者来说应该是一个激动人心的好消息。上一本机器人视觉的书是由 B.K. Horn 写的(出版于 1986 年),现在也到该更新的时候了。

机器人视觉的一本新书?

尽管我很乐意阅读一本重在机器人视觉原理的巨著,但我个人希望该书关注的是机器人视觉的实用算法,就像 Hartley 和 Zissermann 的杰作《Multiple View Geometry(多视图几何)》或 Thrun、Burgard 和 Fox 所著的《Probabilistic Robotics(概率机器人学)》那样。一本关于视觉 SLAM 问题的「食谱」将会受到所有严肃的视觉研究者欢迎。

演讲一:Christian Kerl 谈 SLAM 中的连续轨迹

第一个演讲来自 Christian Kerl,他提出了一种用于估计连续时间轨迹的密集跟踪方法。其关键观察结果发现:大部分 SLAM 系统都在离散数目的时间步骤上估计摄像头的位置(要么是相隔几秒的关键帧,要么是相隔大约 1/25 秒的各个帧。

连续轨迹 vs 离散时间点。SLAM/SfM 通常使用离散时间点,但为什么不使用连续的呢?

Kerl 的大部分演讲都集中于解决卷帘式快门相机的危害,而 Kerl 演示的系统还对建模给予谨慎的关注并消除了这些卷帘式快门的不利影响。

解决视觉 SLAM 中卷帘式快门相机的危害

  • 幻灯片:Kerl 的「密集连续时间跟踪和测绘」幻灯片
  • 论文:使用卷帘式快门 RGB-D 相机的密集连续时间跟踪和测绘(C. Kerl, J. Stueckler, D. Cremers), IEEE 国际计算机视觉大会 (ICCV), 2015。

演讲二:Jakob Engel 谈半密集直接 SLAM(Semi-Dense Direct SLAM)

LSD-SLAM 在 ECCV 2014(2014 年欧洲计算机视觉国际会议)上公开,也是我现在最喜欢的 SLAM 系统之一!Jakob Engel 在那里展示了他的系统并向观众展示了当时最炫酷的一些 SLAM 可视化。LSD-SLAM 是 Large-Scale Direct Monocular SLAM(大规模直接单眼 SLAM)的缩写。对 SLAM
研究者来说,LSD-SLAM 是一个非常重要的系统,因为它不使用边角(corners)或其它任何本地特性。通过使用一种带有稳健的 Huber 损失的由粗到细的算法,直接跟踪可由图像到图像对准(image-to-image alignment)完成。这和那些基于特征的系统非常不同。深度估计(depth estimation)使用了逆深度参数化(inverse depth parametrization)(和许多其它系统一样)并使用了大量或相对小的基准图像对。该算法并不依赖于图像特征,而是靠有效地执行「纹理跟踪(texture
tracking)」。全局映射是通过创建和解决姿态图形(pose graph)的「束调整」优化问题而执行的,而且这所有都是实时工作的。这个方法是半密集的,因为它仅估计靠近图像边界的像素深度。LSD-SLAM 输出比传统的特征更密集,但并不如 Kinect 类型的 RGBD SLAM 那样完全密集。

工作中的 LSD-SLAM:LSD-SLAM 同时生成一个摄像头轨迹和一个半密集的 3D 场景重建。这种方法实时工作,不使用特征点作为图元,并执行直接的图像到图像对准。

Engel 概述了原来的 LSD-SLAM 系统以及一些新成果,将它们最初的系统扩展成更有创造性的应用并实现了更有趣的部署。(见下面引用的论文)

  • 论文:LSD-SLAM:大规模直接单眼 SLAM (J. Engel, T. Sch?ps, D. Cremers),欧洲计算机视觉国际会议,2014。

Omni LSD-SLAM(全方位 LSD-SLAM)是 LSD-SLAM 的一种延伸,因观察到针孔模型(pinhole model)不能用于大视场的观测而被创造出来。这项成果提出于 IROS 2015(2015 年智能机器人和系统国际大会)(Caruso 是第一作者),能用于大视场(理想情况下可超过 180
度)。Engel 的演讲很清楚地表示,你可以拿着相机以芭蕾舞般的动作(极限旋转)在你的办公室内走来走去。这是窄视场 SLAM 最糟糕的应用场景之一,但却在 Omni LSD-SLAM 中效果良好。

全方位 LSD-SLAM 模型

  • 论文:用于全方位相机的大规模直接 SLAM (D. Caruso, J. Engel, D. Cremers),智能机器人和系统国际大会(IROS), 2015。

Stereo LSD-SLAM(立体 LSD-SLAM)是 LSD-SLAM 的一种用于双眼摄像头套件的延伸。这有助于获得没有限制的规模,而且其初始化是瞬时的,强烈旋转也不存在问题。尽管从学术的角度看,单眼 SLAM 是很激动人心,但如果你的机器人是一辆 30,000 美元的车或 10,000 美元的无人机原型,你应该有足够的理由使用一套带有两个乃至更多摄像头的套件。Stereo
LSD-SLAM 在 SLAM 基准上表现出了相当强的竞争力。

Stereo LSD-SLAM 在 KITTI vehicle-SLAM 数据集上得到了优异结果

Stereo LSD-SLAM 相当实用,能优化 SE(3) 中的姿态图形(pose graph),并包含了对自动曝光的校正。自动曝光校正的目标是让误差函数相对于仿射光照变化而不变。颜色空间仿射转换的基本参数是在匹配过程中估算出来的,但也被扔掉以估计图像到图像变换中的错误。Engel 在演讲中称,离群值(outliers)(通常是由过度曝光的图像像素造成的)往往会带来问题,需要很仔细才能处理它们的影响。

  • 使用立体相机的大规模直接 SLAM(J. Engel, J. Stueckler, D. Cremers), 智能机器人和系统国际大会(IROS), 2015。

在他后面的演示中,Engel 让我们一窥了关于立体和惯性传感器的整合新研究。为了了解详情,你只能跟踪 arXiv 上的更新或向 Usenko/Engel 本人了解。在应用方面,Engel 的演示中包含了由 LSD-SLAM 驱动的自动化四轴无人机的更新视频。其飞行一开始是上下运动的,以获得对尺寸的估计,然后又使用了自由空间的三维测绘(octomap)以估计自由空间,从而让该四轴无人机可以在空间中为自己导航。

运行 Stereo LSD-SLAM 的四轴无人机

LSD-SLAM 的故事也是「基于特征 vs 直接方法」的故事,Engel 给了辩论双方公正的待遇。基于特征的方法被设计用在 Harris 那样的边角之上,而直接方法则是用整个图像进行对准。基于特征的方法更快(截至 2015 年),但直接方法在并行处理上效果很好。离群值可以通过追溯的方法从基于特征的系统中移除,而直接方法在离群值处理上没那么灵活。卷帘式快门是直接方法的一个更大的问题,而且使用全局快门或卷帘式快门模型是有意义的(见
Kerl 的研究)。基于特征的方法需要使用不完整的信息进行决策,而直接方法可以使用更多信息。基于特征的方法不需要很好的初始化,而直接方法在初始化上需要更巧妙的技巧。对直接方法的研究只有 4 年,稀疏方法则有 20 多年的历史了。Engel 乐观地认为直接方法未来将上升成为顶级方法,我也这么想。

SLAM 系统构建上,基于特征的方法 vs 直接方法

在 Engel 演讲最后,Davison 问到了语义分割(semantic segmentation)方面的问题,而 Engel 不知道语义分割是否可以在半密集的「接近图像边界」的数据上直接执行。但是,我个人的看法是,有更好的方法可将语义分割应用到 LSD 类型的 SLAM 系统上。半密集 SLAM 可以专注于靠近边界的几何信息,而对象识别可以专注于远离这同一边界的可靠语义,从而有可能创造出一个混合了几何和语义的图像解读。

演讲三:Torsten Sattler 谈大规模定位与地图构建面临的挑战

Torsten Sattler 的演讲谈论了大规模定位与地图构建。这项工作的目的是在已有的地图内执行六个自由度的定位,尤其是移动定位。演讲中的一个关键点是:当你使用传统的基于特征的方法时,存储你的描述很快就将变得非常昂贵。视觉词汇表(visual vocabularies)(记得产品量化吗?)等技术可以显著减少存储开销,再加上某种程度的巧妙优化,描述的存储将不再成为存储瓶颈。

Sattler 的演讲给出的另一个重要的关键信息是正确数据(inliers)的数量实际上并不是相机姿态估计( camera pose estimation)的很好的置信度测量。当特征点全都集中于图像的单一一个部分时,相机定位可能会在千里之外!一个更好的置信度测量是「有效正确数据计数(effective inlier count)」,其可以将正确数据所在的区域作为整体图像区域的一个部分来进行审查。你真正希望得到的是整体图像上的特征匹配——如果信息散布在整个图像上,你能得到更好的姿态估计。

Sattler 对未来实时 SLAM 的演讲是这样的:我们应该关注紧凑型的地图表征,我们应该对相机姿态估计置信度有更好的理解(如树上权重下降的特征),我们应该在更有挑战性的场景中研发(例如带有平面结构的世界和在白天的地图上的夜间定位)。

移动定位:Sattler 的关键问题是使用单张智能手机图片在大城市里定位你自己

  • 论文:移动设备上可扩展的 6 自由度定位. Sven Middelberg, Torsten Sattler, Ole Untzelmann, Leif Kobbelt. ECCV 2014。
  • 幻灯片:Torsten Sattler 的「大规模定位与地图构建面临的挑战」

演讲四:Raúl Mur-Artal 谈基于特征的方法 vs 直接方法

ORB-SLAM 的创造者 Raúl Mur-Artal 的演讲内容全部围绕着 SLAM 领域内「基于特征的方法 vs 直接方法」的争论,而他显然站在基于特征的方法一边。ORB-SLAM 可通过一个开源的 SLAM 软件包获取,而且它很难被击败。在他对 ORB-SLAM vs PTAM 的评价中,似乎 PTAM 实际上常常失败(至少在 TUM RGB-D
基准上)。LSD-SLAM 在 TUM RGB-D 基准上的错误通常远高于预期。

基于特征的方法 vs 直接方法

  • 幻灯片:Mur-Artal 的「我们仍然应该做稀疏的基于特征的 SLAM 吗?」
  • 论文:单眼 ORB-SLAM R. Mur-Artal, J. M. M. Montiel 和 J. D. Tardos。一种多功能的准确的单眼 SLAM 系统。 IEEE Transactions on Robotics, 2015。

演讲五:Tango 项目和用于图像到图像限制的视觉环路闭合

简单来说,谷歌的 Tango 项目是世界上第一个商业化 SLAM 的尝试。来自 Google Zurich 的 Simon Lynen(之前属于 ETH Zurich)带着一个 Tango 现场演示(在一台平板电脑上)来到了研讨会,并展示了 Tango 世界的新内容。你可能不知道,谷歌希望将 SLAM 能力集成到下一代安卓设备中。

谷歌的 Tango 项目

Tango 项目展示讨论了一种通过在图像到图像匹配矩阵中寻找特定的模式以进行环路闭合( loop closure)的新方法。这 个方法来自「没有固定位置的位置识别」成果。他们也做带有基于视觉的环路闭合的在线束调整。

Tango 项目里的环路闭合?Lynen 等人的「没有固定位置的位置识别」。这种图像到图像矩阵揭示一种寻找环路闭合的新方法。可在该 YouTube 视频中查看工作中的算法。

Tango 项目的人也在研究将谷歌多个众包地图结合起来,其目标是将由不同的人使用配置有 Tango 的设备创造的多个迷你地图结合起来。

Simon 展示了一个山地自行车轨迹跟踪的视频,这在实践中实际上是相当困难的。其中的想法是使用一个 Tango 设备跟踪一辆山地自行车,并创建一份地图,然后后续的目标是让另外一个人沿着这条轨迹走。这个目前只是「半有效」——当在地图构建和跟踪步骤之前有几个小时时间时有效,但过了几周/几个月就没效果了。

在 Tango 相关的讨论中,Richard Newcombe 指出 Tango 项目所使用的「特征(features)」在更深度地理解环境上还是相当落后的,而且看起来类似 Tango 项目的方法无法在室外场景中起作用——室外场景有非刚性(non-rigidity)的大量光照变化等。所以我们有望见到为室外环境设计的不同系统吗?Tango 项目将成为一个室内地图构建设备吗?

  • 论文:没有固定位置的位置识别. Lynen, S. ; Bosse, M. ; Furgale, P. ; Siegwart, R. In 3DV 2014。

演讲六:ElasticFusion 是没有姿态图形(pose graph)的密集型 SLAM ( Dense SLAM)

ElasticFusion 是一种需要 Kinect 这样的 RGBD 传感器的密集型 SLAM 技术。2-3 分钟就能获得单个房间的高质量 3D 扫描,这真是相当酷。(就算不是大部分)许多 SLAM 系统的场景背后都使用了姿态图形(pose graph),这种技术有一种不同的(以地图为中心)方法。该方法专注于构建地图,但其诀窍是其构建的地图可以变形,也因此得名
ElasticFusion(意为弹性融合)。其中算法「融合」的部分是向 KinectFusion 致敬——KinectFusion 是第一个高质量的基于 Kinect 的重建方式。Surfels 也被用作底层的基元(primitives)。

图片来自 Kintinuous,Whelan 的 Elastic Fusion 的一个早期版本

恢复光源:我们一窥了来自伦敦帝国学院/戴森机器人实验室的尚未发表的新研究成果。其中的想法是通过探测光源方向和探测镜面反射,你可以提升 3D 重建的结果。关于恢复光源位置的炫酷视频显示其最多能处理 4 个独立光源。

  • 幻灯片:「使用 Elastic Fusion 的以地图为中心的 SLAM」演示幻灯片
  • 论文:Elastic Fusion:没有姿态图形的密集型. SLAM. Whelan, Thomas and Leutenegger, Stefan and Salas-Moreno, Renato F and Glocker, Ben and Davison, Andrew J. In RSS 2015。

演讲七:Richard Newcombe 的 DynamicFusion(动态融合)

Richard Newcombe(他最近成立的公司被 Oculus 收购)是最后一位展示者。Richard Newcombe 是 DTAM、KinectFusion 和 DynamicFusion 背后的人,见到他真是非常酷;他目前从事虚拟现实领域的研发。

Newcombe 的 DynamicFusion 算法。该技术赢得了声望很高的 CVPR 2015 最佳论文奖。

  • 论文:DynamicFusion:非刚性场景的实时重建和跟踪. Richard A. Newcombe, Dieter Fox, Steven M. Seitz. In CVPR 2015(CVPR 2015 最佳论文)。
  • 论文:SLAM++:对象水平上的同步定位与地图构建. Renato F. Salas-Moreno, Richard A. Newcombe, Hauke Strasdat, Paul H. J. Kelly and Andrew J. Davison (CVPR 2013)
  • 论文:KinectFusion:实时密集表面地图构建和跟踪. Richard A. Newcombe Shahram Izadi,Otmar Hilliges, David Molyneaux, David Kim, Andrew J. Davison, Pushmeet Kohli, Jamie Shotton, Steve Hodges, Andrew
    Fitzgibbon (ISMAR 2011, 最佳论文奖!)

2.研讨会演示

在演示会议期间(在研讨会中间举行),许多展示者展示了他们的 SLAM 系统工作中的样子。这些系统中许多都是以开源软件包的形式提供的(非商业用途免费?),所以如果你对实时 SLAM 感兴趣,可以尝试下载这些代码。但是,最亮眼的演示是 Andrew Davison 展柜上他的来自 2004 年的 MonoSLAM 演示。Andrew 不得不恢复了已有 15
年岁月的计算机(运行的是 Redhat Linux)来展示他原来的系统,运行在原来的硬件上。如果计算机视觉社区将决定举办一场「复古视觉」的演示会议,那我马上就将上前提名 Andrew 应得最佳论文奖。

Andrew 复古的视觉 SLAM 配置

看着 SLAM 系统专家挥动自己的 USB 摄像头真是一件有趣的事——他们在展示他们的系统围绕他们的笔记本电脑构建周围桌子大小区域的 3D 地图。如果你仔细看了这些专家移动摄像头的方式(即平稳的圆圈运动),你几乎就能看出一个人在 SLAM 领域工作了多长时间。当一位非专家级的人拿着摄像头时,跟踪失败的概率明显更高。

我有幸在演示会议期间和 Andrew 进行了交谈,我很好奇这一系列的成果(过去 15 年中)中哪一个最让他感到惊讶。他的回答是 PTAM 最让他吃惊,因为其表明了实时束调整(real-time bundle adjustment)执行的方式。PTAM 系统本质上是 MonoSLAM++ 系统,但因为采用了一种重量级算法(束调整)而显著提高了跟踪效果并做到了实时——在
2000 年代早期 Andrew 还认为「实时」是不可能办到的。

第三部分:深度学习 vs SLAM

SLAM 小组讨论真是乐趣无穷。在我们进入重要的「深度学习 vs SLAM」讨论之前,我应该说明每一位研讨会展示者都同意:语义对构建更大更好的 SLAM 系统是必需的。关于未来的方向,这里有很多有趣的小对话。在争论中,Marc Pollefeys(一位知名的 SfM 和多视角几何研究者)提醒所有人「机器人是 SLAM 的一个杀手级应用」,并建议我们保持对「大奖」的关注。这令人非常惊讶,因为
SLAM 传统上是适用于机器人问题的,但过去几十年机器人并没有什么成功(谷歌机器人?),导致 SLAM 的关注重点从机器人转移到了大规模地图构建(包括谷歌地图)和增强现实上。研讨会上没人谈论过机器人。

1.将语义信息集成到 SLAM 中

人们对将语义整合到今天最出色的 SLAM 系统中有很大兴趣。当涉及语义时, SLAM 社区不幸地卡在了视觉词袋(bags-of-visual-words)的世界里,而在如何将语义信息整合进他们的系统上没有什么新想法。在语义一端,我们现在已经看到 CVPR/ICCV/ECCV 上冒出了很多实时语义分割演示(基于卷积神经网络);在我看来,SLAM 需要深度学习,而深度学习也一样需要
SLAM。

人们经常谈到将语义整合进 SLAM,但说起来容易做起来难。图片来自 Moreno 的博士论文(142 页):密集型语义 SLAM

2.「端到端学习(end-to-end learning)会主宰 SLAM 吗?」

在 SLAM 研讨会小组讨论结束时,Zeeshan Zia 博士提出了一个震惊所有人的问题,并引发了一场充满能量的讨论,令人难忘。你应该看看小组成员们脸上的表情。那就像是将一个深度学习的火球投向一群几何学家。他们的面部表情表达出了他们的困惑、愤怒和厌恶。他们想:「你怎么敢质疑我们?」正是在这些稍纵即逝的时刻,我们才能真正体会到大会的体验。Zia 的问题基本上是:「在构建今天的
SLAM 系统时,端到端学习很快就将取代大部分人工劳动吗?」

Zia 的问题非常重要,因为端到端的可训练系统已经慢慢进入到了很多高级的计算机问题中,相信 SLAM 会是一个例外是没有道理的。有好几位展示者都指出当前的 SLAM 系统过于依赖几何,以至于让完全基于深度学习的 SLAM 系统看起来不合理了——我们应该使用学习技术得到更好的点描述,而不要管几何。「你可以使用深度学习做一个计算器,并不意味你应该这么做。」

通过卷积神经网络学习立体相似度函数,来自 Yan LeCun 及其合作者

尽管许多小组讨论发言人都使用了有些肯定的「不行」回应,但让人惊讶的是,却是 Newcombe 声援了深度学习和 SLAM 联姻的可能。

3.Newcombe 的提议:使用 SLAM 助力深度学习

尽管 Newcombe 在深度学习可能如何帮助 SLAM 上没有提供很多证据或想法,但他却为 SLAM 如何可能为深度学习提供帮助给出了一条清晰的路径。想想看我们使用大规模 SLAM 已经构建出的地图以及这些系统所提供的对应(correspondence)——这难道不是一个构建能帮助深度学习的万亿级图像到图像「相关」数据集的清晰路径吗?其基本思路是:今天的
SLAM 系统是大规模的「对应引擎」,可以用来生成大规模数据集,而这正是深度卷积神经网络所需要的。

结语

这次 ICCV 大会上主流的工作(重在机器学习)和本次实时 SLAM 研讨会所呈现出现的工作(重在束调整等几何方法)之间存在相当大的脱节。主流的计算机视觉社区在过去十年内已经见证了多次小型变革(如:Dalal-Triggs、DPM、ImageNet、ConvNets、R-CNN),而今天的 SLAM 系统和它们八年前的样子并没有很大的不同。Kinect
传感器可能是 SLAM 领域唯一的最大的彻底变革的技术,但基础算法仍旧保持着原样。

集成语义信息:视觉 SLAM 的下一个前沿. 来自 Arwen Wallington 博客的脑图

今天的 SLAM 系统能帮助机器在几何上理解眼前的世界(即在本地坐标系中构建关联),而今天的深度学习系统能帮助机器进行分类推理(即在不同的对象实例之上构建关联)。总的来说,在视觉 SLAM 上,我与 Newcombe 和 Davison 一样兴奋,因为基于视觉的算法将会将增强现实和虚拟现实转变成一个价值数十亿美元的产业。但是,我们不应忘记保持对那个「万亿美元」市场的关注,那个将重新定义「工作」的市场——机器人。机器人
SLAM 的时代很快就要到来了。

时间: 2024-10-06 16:01:56

ICCV研讨会:实时SLAM的未来以及深度学习与SLAM的比较的相关文章

深度学习 vs SLAM

第三部分:深度学习 vs SLAM SLAM 小组讨论真是乐趣无穷.在我们进入重要的「深度学习 vs SLAM」讨论之前,我应该说明每一位研讨会展示者都同意:语义对构建更大更好的 SLAM 系统是必需的.关于未来的方向,这里有很多有趣的小对话.在争论中,Marc Pollefeys(一位知名的 SfM 和多视角几何研究者)提醒所有人「机器人是 SLAM 的一个杀手级应用」,并建议我们保持对「大奖」的关注.这令人非常惊讶,因为 SLAM 传统上是适用于机器人问题的,但过去几十年机器人并没有什么成功

深度学习FPGA实现基础知识0(FPGA击败GPU和GPP,成为深度学习的未来?)

需求说明:深度学习FPGA实现知识储备 来自:http://power.21ic.com/digi/technical/201603/46230.html FPGA击败GPU和GPP,成为深度学习的未来? 最近几年,深度学习成为计算机视觉.语音识别.自然语言处理等关键领域中所最常使用的技术,被业界大为关注.然而,深度学习模型需要极为大量的数据和计算能力,只有更好的硬件加速条件,才能满足现有数据和模型规模继续扩大的需求.现有的解决方案使用图形处理单元(GPU)集群作为通用计算图形处理单元(GPGP

基于深度学习的目标检测

普通的深度学习监督算法主要是用来做分类,如图1(1)所示,分类的目标是要识别出图中所示是一只猫.而在ILSVRC(ImageNet Large Scale Visual Recognition Challenge)竞赛以及实际的应用中,还包括目标定位和目标检测等任务.其中目标定位是不仅仅要识别出来是什么物体(即分类),而且还要预测物体的位置,位置一般用边框(bounding box)标记,如图1(2)所示.而目标检测实质是多目标的定位,即要在图片中定位多个目标物体,包括分类和定位.比如对图1(3

基于OpenGL ES 的深度学习框架编写

基于OpenGL ES的深度学习框架编写 背景与工程定位 背景 项目组基于深度学习实现了视频风格化和人像抠图的功能,但这是在PC/服务端上跑的,现在需要移植到移动端,因此需要一个移动端的深度学习的计算框架. 同类型的库 caffe-android-lib 目前应该是最便于集成使用的深度学习框架库. tensorflow和mxnet据说也有对应的android库,因时间原因暂未测试. CNNdroid,网址https://zhuanlan.zhihu.com/p/25259452,这个是用 ren

先天认知与深度学习

"天赋论学说认为,人类思维是与生俱来的思想或知识.在这种理念中,最著名的是柏拉图的形式理论,以及后来的笛卡尔的<沉思录>.目前,这一观点正在获取神经科学方面的证据,以证实我们确实生来就对我们的世界有先天的认识". Figure 1: An elder Plato walks alongside Aristotle, The School of Athens, Raphael 然而,"天赋论"学说与"纯粹主义"机器学习方法是相冲突的.在

入门实战《深度学习技术图像处理入门》+《视觉SLAM十四讲从理论到实践》

学习图像识别处理,想在数据分析竞赛中取得较高的排名,看了<深度学习技术图像处理入门>电子书,一边看电子书一边做标记,对配套的代码也做了测试,收获颇多. 从机器学习.图像处理的基本概念入手,逐步阐述深度学习图像处理技术的基本原理以及简单的实现. 学习理论后做实验,使用卷积神经网络进行端到端学习,构建深度卷积神经网络,使用循环神经网络改进模型,评估模型,测试模型.最关键的是可以将模型运用于实战之中,将深度学习模型导入到工程中,数据类型转换函数,实施CAM可视化,这是我最需要的. 视觉和图形学真是一

CV学习资料《卷积神经网络与视觉计算》+《深度学习实践计算机视觉》+《视觉SLAM十四讲从理论到实践》电子资料代码分析

视觉和图形学真是一家,基础都一样! 如果学习图像识别,计算机视觉,推荐电子书<视觉SLAM十四讲:从理论到实践>,系统介绍了视觉SLAM(同时定位与地图构建)所需的基本知识与核心算法,既包括数学理论基础,如三维空间的刚体运动.非线性优化,又包括计算机视觉的算法实现,例如多视图几何.回环检测等. 一个周读完了,代码很清晰!Particle Filtering,KF,EKF, Batch Optimization, Lie Group,ICP,LK光流... 尤其惊喜的是文末作者看好的IMU-SL

Yann LeCun清华演讲:深度学习与人工智能的未来

2017年3月22日下午,Facebook人工智能研究院院长.纽约大学终身教授Yann LeCun在清华大学大礼堂为校内师生以及慕名而来的业内人士呈现了一场主题为<深度学习与人工智能的未来(Deep Learning and the Future of AI)>的精彩公开课. 随着AlphaGo事件的不断发酵,神经网络成为时下人工智能产学领域万众瞩目的研究焦点,也成为普罗大众的热门话题.事实上,神经网络作为一种算法模型,很早就已经被广泛关注和研究,也曾长时间内陷入发展突破的低潮期.不过,在以G

读《专家展望未来5年深度学习发展趋势》总结

原文网址:http://www.iteye.com/news/31270 1.我们应该会看到更为深层的模型,与如今的模型相比,这些模型可以从更少的训练样例中学习,在非监督学习方面也会取得实质性进展.我们应该会看到更精准有用的语音和视觉识别系统. 2.我期望深度学习能够越来越多地被用于多模(multi-modal)问题上,在数据上更结构化.这将为深度学习开创新的应用领域,比如机器人技术,数据挖掘和知识发现. 3.目前深度学习算法和神经网络的性能与理论性能相去甚远.如今,我们可以用五到十分之一的成本