机器人视觉导航工作总结

1.SLAM技术

  SLAM 全称 Simultaneous Localization and Mapping,中文名曰「同步定位与地图构建」,主要用于解决机器人在未知环境运动时的定位和地图构建问题。在SLAM理论中,第一个问题称为定位 (Localization),第二个称为建图 (Mapping),第三个则是随后的路径规划。SLAM的实现方式与难度和传感器密切相关。目前实现SLAM的传感器大体分为激光和视觉两大类。相比于图像,激光雷达可直接测量目标与传感器之间的相对位置,使得激光雷达SLAM技术更加简洁高效。近几年激光雷达的发展使得传感器本身的测量精度大大提升,使得激光雷达SLAM成为主流定位导航方式。目前成熟的SLAM系统分为前端和后端两部分。前端提取传感器数据,估计机器人状态并构建图模型;后端对所构建的图模型进行优化。相比而言,前端运算复杂度较低,但与机器人运动直接相连,实时性要求较高;而后端实时性要求较低,但运算复杂度高,超过一般机器人所搭载的运算能力。因此,结合云服务器平台,将前端和后端分离,由服务器承载后端优化,可在提高精度的前提下增加实时性。

  

  对于客户的诉求,行业的革新,需要侧重以下几个维度:

  • 一是易用性,客户在使用某个技术时,不需要额外开发调试和二次开发,不仅大幅降低研发时间,还可以结合SDK进行灵活、多样的功能扩展。
  • 二是低成本,机器人的整机成本需要低于等价人力成本,SLAM定位导航技术需通过其技术支撑,使处在产业初期的服务机器人没有成本压力。
  • 三是高精度,服务机器人在运动过程中的定位精度至少需要达到10cm,而工业仓储机器人甚至需要1-2cm的精度。虽然可以通过预先导入高精度地图(如CAD模型)的方式提高定位精度,但这也降低了用户体验。

  SLAM技术在物流仓储场景中的应用

  SLAM导航技术在智能仓储领域也发挥着至关重要的作用。一个机器人也好,无人汽车也好,其中最核心,最根本的问题有四个,定位技术、 跟踪技术、 路径规划技术,还有就是控制技术。而这四个问题中的前三个,SLAM 都扮演了最核心的功能。打个比方,若是手机离开了 wifi 和数据网络,就像无人车和机器人,离开了 SLAM 一样。

SLAM导航通过激光雷达对场景的观测,实时创建地图并修正机器人位置,无需二维码、色带、磁条等人工布设标志物,真正实现对作业环境的零改造。

  另一方面,通过激光雷达对障碍物的实时检测,有效规划轨迹避开障碍物,提高人机混合场景的适用和安全性。

  通过在M100机器人上搭载不同的功能模块,实现柔性辊道对接、人机交互拣货等系统,提高了机器人本体在不同场景应用中的可拓展性。

2.机器人的双目测距、定位、识别电梯按钮

3.电梯的开与闭识别;

4.电梯里面的按键识别,机器人获取的电梯按钮图像有一定的倾斜畸变,需要做一些仿射变换校正,设定标签识别该区域,分割出按钮的部分,模板匹配,基于深度学习训练等;

5.运动目标检测,红绿灯识别等;

原文地址:https://www.cnblogs.com/zhaopengpeng/p/8379667.html

时间: 2024-10-15 10:11:03

机器人视觉导航工作总结的相关文章

工业搬运机器人(AGV)为什么要选择视觉导航

在智能制造和仓储物流领域,搬运机器人的需求量在逐年上升.机器人(AGV)的种类千差万别,如何选择成为需求方头痛的问题. 本文将从客户关心的多个方面,对市面上的常见的工业级导航方案做一个比较. 搬运机器人 vs. AGV 搬运机器人,顾名思义,指用来完成搬运作业的机器人.工业领域一般采用轮式驱动. AGV,是英文Automated Guided Vehicle (自动引导车)的简写.但随着技术的进步,尤其是智能时代的来历,智能制造.工业4.0等概念的引入,多种可自主移动的小车.机器人涵盖的技术(包

机器人学 —— 机器人视觉(估计)

之前说到,机器人视觉的核心是Estimation.求取特征并配准,也是为了Estimation做准备.一旦配准完成,我们就可以从图像中估计机器人的位置,姿态.有了位置,姿态,我们可以把三维重建的东西进行拼接.从视觉信息估计机器人位姿的问题可以分为三个大类:1.场景点在同一平面上.2.场景点在三维空间中.3.两幅点云的配准. 所有问题有一个大前提就是知道相机内部矩阵K. 1.由单应矩阵进行位姿估计 单应矩阵原指从 R2--R2 的映射关系.但在估计问题中,如果我们能获得这种映射关系,就可以恢复从世

机器人学 —— 机器人视觉(基础)

机器人视觉是一种处理问题的研究手段.经过长时间的发展,机器人视觉在定位,识别,检测等多个方面发展出来各种方法.其以常见的相机作为工具,以图像作为处理媒介,获取环境信息. 1.相机模型 相机是机器人视觉的主要武器,也是机器人视觉和环境进行通信的媒介.相机的数学模型为小孔模型,其核心在于相似三角形的求解.其中有三个值得关注的地方: 1.1 1/f = 1/a + 1/b 焦距等于物距加上像距.此为成像定理,满足此条件时才能成清晰的像. 1.2 X  = x * f/Z 如果连续改变焦距f ,并同时移

机器人学 —— 机器人视觉(特征)

上回说到机器人视觉的核心任务是estimation,理论框架是射影几何理论.在之前的作业中展现了单应变换的巨大威力.然而,整个estimation 的首要条件是已知像素点坐标,尤其是多幅图中对应点的像素坐标. 单幅图像的处理方法都是大路货了,不赘述.这篇博客想讲讲不变点检测与不变特征.由于机器人在不断运动,所以可能从不同方向对同一物体进行拍摄.而拍摄的距离有远近,角度有titled. 由于射影变换本身的性质,无法保证两幅图中的物体看上去一样.所以我们需要一种特征提取方法(特征点检测),能够保证检

机器人学 —— 机器人视觉(Bundle Adjustment)

今天完成了机器人视觉的所有课程以及作业,确实是受益匪浅啊! 最后一个话题是Bundle Adjustment. 机器人视觉学中,最顶尖的方法. 1.基于非线性优化的相机位姿估计 之前已经在拟合一篇中,已经补完了非线性最小二乘拟合问题.Bundle Adjustment,中文是光束平差法,就是利用非线性最小二乘法来求取相机位姿,三维点坐标.在仅给定相机内部矩阵的条件下,对四周物体进行高精度重建.Bundle Adjustment的优化目标依旧是最小重复投影误差. 与利用non-linear mea

机器人视觉测量与控制

机器人视觉的基本概念 1.摄像机标定(Camera Calibration):对摄像机的内部参数.外部参数进行求取的过程. 2.视觉系统标定(Vision System Calibration):对摄像机和机器人之间关系的确定. 3.手眼系统(Hand-Eye System):又摄像机和机械手构成的机器人视觉系统. 4.Eye-in-Hand:摄像机安装在机械手末端并随机械手一起运动的视觉系统. 5.Eye-to-Hand:摄像机不安装在机械手末端,不随机械手运动的视觉系统. 6.视觉测量(Vi

机器人视觉跟踪与控制研究(一)

研究背景: 机器人视觉,通过图像获得外界信息,用于机器人对环境的感知. 提高机器人智能性.环境适应性.自主行为的重要途径. 近年来机器人领域的研究热点之一. 研究内容: 视觉系统标定 目标分割与图像处理 视觉测量与视觉控制 视觉系统标定 1基于环境信息的自标定 ?利用环境中的正交平行线获得消失点,标定摄像机的内参数 ?利用环境中的正交平行线确定摄像机的姿态 ?提出了利用正交平行线可靠标定摄像机内参数的必要条件 2基于相对运动的自标定 利用机器人末端的至少两次平移运动,标定出立体视觉系统的参数 3

机器人视觉系统笔记

机器人视觉系统研究 杭电图书馆 科学出版社 总页数:202 唯一QQ:1825587919 唯一WX:ly1825587919 PS:由于阅读效率原因,仅记录关键点 第一章  绪论 第二章 全向视觉系统 1.多摄像机拼接全向视觉系统 ringcam系统   五个摄像头2.鱼眼镜头全向视觉系统 短焦距,超广角镜头3.折反射式全向视觉系统 锥形,椭圆形,双曲线形,抛物线形 水平等比镜面,水平距离成像一样 垂直等比镜面,垂直距离成像一样 角度等比镜面 改进 由内到外 双曲,水平等比,垂直等比 标定方法

除了ROS, 机器人定位导航还有其他方案吗?

利用ROS进行机器人开发,我想大多数企业是想借助ROS实现机器人的导航.定位与路径规划,它的出现大大降低了机器人领域的开发门槛,开发者无需向前人一样走众多弯路,掌握多种知识才能开始实现机器人设计的梦想,他们可以利用ROS的基础框架配合选定的功能包快速实现系统原型,从而让开发人员将重心集中于核心算法研究上,当然用户也可以单独选用某些功能包,将其集成在已有的产品中,实现特定功能.那么机器人定位导航除了借助ROS实现,还有其他方案吗?在公布另一种自主定位导航方案前,我们先来了解下ROS机器人操作系统的