基于机器视觉的工业机器人定位系统

摘要:建立了一个主动机器视觉定位系统,用于工业机器人对零件工位的精确定位。采用基于区域的匹配和形状特征识别相结合的图像处理方法,该方法经过阈值和形状判据,识别出物体特征。经实验验证,该方法能够快速准确地得到物体的边界和质心,进行数据识别和计算,再结合机器人运动学原理控制机器人实时运动以消除此误差,满足工业机器人自定位的要求。

1. 引言

  目前工业机器人仅能在严格定义的结构化环境中执行预定指令动作,缺乏对环境的感知与应变能力,这极大地限制了机器人的应用。利用机器人的视觉控制,不需要预先对工业机器人的运动轨迹进行示教或离线编程,可节约大量的编程时间,提高生产效率和加工质量。

  Hagger 等人提出通过基于机器人末端与目标物体之间的误差进行视觉反馈的方法;Mezouar 等人提出通过图像空间的路径规划和基于图像的控制方法 。国内这方面主要应用于焊接机器人对焊缝的跟踪。

  本文利用基于位置的视觉伺服思想,以六自由度垂直关节型喷涂机器人为载体,提出一种基于机器视觉的工业机器人自定位控制方法,解决了机器人末端实际位置与期望位置相距较远的问题,改善了喷涂机器人的定位精度。

  2. 视觉定位系统的组成

  机器人视觉定位系统构成如图 1 所示,在关节型机器人末端安装喷涂工具、单个摄像机,使工件能完全出现在摄像机的图像中。系统包括摄像机系统和控制系统:

  (1)摄像机系统:由单个摄像机和计算机(包括图像采集卡)组成,负责视觉图像的采集和机器视觉算法;

  (2)控制系统:由计算机和控制箱组成,用来控制机器人末端的实际位置;经 CCD 摄像机对工作区进行拍摄,计算机通过本文使用的图像识别方法,提取跟踪特征,进行数据识别和计算,通过逆运动学求解得到机器人各关节位置误差值,最后控制高精度的末端执行机构,调整机器人的位姿。

  图1 喷涂机器人视觉定位系统组成

  3. 视觉定位系统工作原理

  3.1 视觉定位系统的工作原理

  使用 CCD 摄像机和1394 系列采集卡,将视频信号输入计算机,并对其快速处理。首先选取被跟踪物体的局部图像,该步骤相当于离线学习的过程,在图像中建立坐标系以及训练系统寻找跟踪物。学习结束后,图像卡不停地采集图像,提取跟踪特征,进行数据识别和计算,通过逆运动学求解得到机器人各关节位置给定值,最后控制高精度的末端执行机构,调整机器人的位姿。工作流程如图2 所示。

  图 2 视觉定位系统软件流程图

  3.2 基于区域的匹配

  本文采用的就是基于区域的相关匹配方法。它是把一幅图像中的某一点的灰度领域作为模板,在另一幅图像中搜索具有相同(或相似)灰度值分布的对应点领域,从而实现两幅图像的匹配。在基于区域相关的算法中,要匹配的元素是固定尺寸的图像窗口,相似准则是两幅图像中窗口间的相关性度量。当搜索区域中的元素使相似性准则最大化时,则认为元素是匹配的。

  定义P (i, j) P 是模板图像中一点,取以P (i, j) P 为中心的某一邻域作为相关窗口K ,大小为(2w +1),假设K 在原始图中,水平方向平移Δu ,垂直方向平移Δu 后,K 所覆盖下的那块搜索区域叫做子图S k ,若K 和S k 相同,则它们的差为零,否则不为零。由此定义K 和S k 的相关函数为:

  当D(K, S k )达到最小,K 与S k 达到最佳匹配。

  3.3 图像的特征提取

  工作台上的工件与工作台背景在颜色方面具有很大的差别,即工件呈现为黑色,将这一信息作为识别工件的重要特征。

  工件的边缘处灰度有急剧的变化,可以以此判断出工件的边界点。采用扫描线的方法,扫描方向上灰度剧变的像素点就是边界点。最后,通过最小二乘法把找到的边界点拟合出圆周,并计算出圆心位置。

  3.4 实验与分析

  实验目的是通过机器视觉,快速识别出工件的特征(这里是圆孔的圆心)。

  (1)首先在原始图像(图3)选取被跟踪工件的局部图像作为模板图像template(图4)。

  (2)以局部图像template 为模板,在原始图像中进行基于区域的匹配,并以template 的左

  下角为原点,建立坐标系。然后定义一个搜索区域ROI(region of interest),根据要提取的特征选择区域的形状,这里选择环形区域。搜索区域必须包含全部目标特征。在ROI 中提取工件的特征,如图3 所示。

  图 3 圆心识别

  该步骤相当于离线学习的过程。每次使用前只需要学习一次即可。通过离线学习,系统得到ROI 与工件的相对位置关系,以便实时识别中工件出现偏移、翻转等,ROI 都可以准确出现在合适位置。

  (3)离线学习后,视觉系统经过区域匹配、阀值分割和边缘提取等步骤找到需要识别的特征(这里是圆孔的圆点),如图4 所示。

  图4 实时识别

  (3)离线学习后,视觉系统经过区域匹配、阀值分割和边缘提取等步骤找到需要识别的特征(这里是圆孔的圆点),如图4 所示。

  3.5 结果分析如下:

  (1)识别率分析:第一步通过离线学习,训练提取形状特征。第二步使用离线学习得到的坐标关系,实时跟踪工件,得到需要跟踪的形状特征信息。只要离线学习恰当,目标特征就准确识别并且得到相关信息。

  (2)实时处理结果分析:图像采集卡的采集速度是25 帧/s,每幅图采集时间为40ms。摄像头采集一幅图像需要20ms,该图像处理的速度为10ms/幅。通过程序优化,在采集的同时进行图像处理,而且图像处理的速度比采集的时间要短,就避免了图像的失真和抖动。在物体运动不超过极限速度时,能够较准确地找到圆心的位置。

  4. 空间坐标的获取

  由一幅图像得到的信息是二维信息,程序中使用的坐标是以像素为单位的,机器人在空间运动需要将图像的信息换算成三维空间坐标。其计算过程如下:

  (1)以工件上圆孔的圆心为机器人定位基准,A(X ,Y, Z)圆心的世界坐标。当圆心与视觉图像的中心重合时,机器人定位完成。

  (2)标定摄像机,得到投影矩阵ce M ,即图像中两个像素间的距离与世界坐标系的转换关系。

  (3)摄像机拍摄图像后,经过特征识别得到圆心在图像中坐标a(x, y),计算出与图像中心的偏移量Δx、Δy。

  (4)以A(X ,Y, Z)为基准,按照下式计算机器人末端的世界坐标B(X ‘,Y ‘, Z‘):其中,Mc是摄像机与机器人末端的坐标转换参数。

  注意,本文使用单目视觉,所以这里假设 Z 坐标不变;如果使用双目视觉,就可以通过立体视觉计算出Z’。

  5. 误差分析与补偿

  本项目的喷涂机器人是六自由度的旋转关节操作臂,与Unimation PUMA560相似,关节4、5、6 的轴线相互垂直,且相交与一点。应用参考文献3 的方法计算如下:

  (1)通过机器视觉可以得到机器人末端的空间位置坐标B(X ‘,Y ‘, Z‘)。

  (2)确定机器人的连杆参数表,如下表:

  (3)运用DH 法计算各关节的转角θi :

  6. 结论

  本文描述了基于机器视觉的工业机器人定位系统,该系统将基于区域的匹配和形状特征识别结合,进行数据识别和计算,能够快速准确地识别出物体特征的边界与质心,机器人控制系统通过逆运动学求解得到机器人各关节位置的转角误差,最后控制高精度的末端执行机构,调整机器人的位姿以消除此误差。从而解决了机器人末端实际位置与期望位置相距较远的问题,改善了喷涂机器人的定位精度。该方法计算量小,定位准确,具有工程实用性。本系统是使用 C#在Visual Studio 2003 环境中编写。

时间: 2024-10-11 08:32:50

基于机器视觉的工业机器人定位系统的相关文章

车道线检测文献解读系列(一) 基于机器视觉的高速车道标志线检测算法的研究_李晗

作者背景 基于机器视觉的高速车道标志线检测算法的研究_李晗 东北大学车辆工程硕士学位论文 2006年 [GB/T 7714]李晗. 基于机器视觉的高速车道标志线检测算法的研究[D]. 东北大学, 2006. DOI:10.7666/d.y852642.` 论文结构一览 预处理 灰度化 [亮点]模式判别 选择日间模式还是夜间模式: 在每个检测周期开始时,首先判断采用日间模式还是夜间模式工作.摄像机视野中的上半部分为天空背景,天空亮度可以显著区分日间和夜间环境.由于天空的颜色为蓝离,日间天空的蓝色分

图像处理——基于机器视觉技术的人脸在线识别系统设计

基于机器视觉技术的人脸在线识别系统设计 本设计研究人脸检测与识别技术,在基于机器视觉技术上,构建了一套人脸在线检测识别系统,系统将由以下几个部分构成:计算机图像预处理.数据收集和预处理. 人脸图像定位检测.人脸识别模型训练.人脸识别.经过实验,确定该系统可对本人的人脸进行快速并准确的检测与识别. 关键词: 机器视觉: 图像处理: 人脸检测:人脸识别:OpenCV:人脸模型训练 一.设计目标 掌握人脸识别步骤: 熟悉条人脸识别的相关算法: 熟悉机器视觉系统设计的一般流程: 掌握常用图像处理技术与O

基于FPGA的线阵CCD图像测量系统研究——笔记

---恢复内容开始--- 本文是对基于FPGA的线阵CCD图像测量系统研究的阅读笔记 读了前面的摘要依然没有看懂作者要做什么.接着往下读.... 终于看到了一个字眼“基于机器视觉的图像测量技术”,看来我可以在这个方面找找文献了. 不同于大多数光电器件以电流或者电压为传感信号,CCD是以电荷为信号把一副空余分布的图像变为一列按时间域离散分布的电荷信号. 非接触式的快速精确测量 ---恢复内容结束---

机器视觉vidi深度学习   加密狗复制

我们团队业务范围:(擅长域天.坚石ET99.ET199 .江波龙安全芯(sChip).世纪龙脉NOX.DAM )承接加密解密服务,.软件解密..加密狗复制.复制加密狗.解密软件1.模拟狗: Rockey4,Rockey2,Rockey5,Rokey6,Rockey4ND. Hasp4系列,Hasp HL,Hasp SL,Hasp SRM,HARDLOCK SafeNet 微狗 Sentinel 系列.SSP,NET. 2.硬件复制: 彩虹狗/SafeNet: 并口狗,USB 狗,UMI,UMC,

基于Wi-Fi的室内定位在美团总部的实践和应用

作者:张小美 室内定位技术的商业化必将带来一波创新高潮,尤其是在 O2O 领域,各种基于此技术的应用将出现在我们的面前.我们可以想象一些比较常见的应用场景,比如在大型商场里面借助室内导航快速找到目标商铺,商店根据用户的具体位置向用户推送更多关于商品的介绍等等,这些应用会极好的服务于 O2O,提高用户体验. 目前室内定位技术有很多,如A-GPS.蓝牙.超声,红外.信标.射频.Wi-Fi.计算机视觉等,这些技术综合比较,其中以基于 Wi-Fi 的室内定位技术最为突出,无论从硬件投入.软件投入.实施难

基于物联网的自动氮吹仪

摘要:介绍基于物联网的自动氮吹仪的工作原理,硬件组成和软件构架,以及原型机. 关键词:物联网;氮吹仪;原型机 Automatic Termovap Sample Concentrator Basedon Internet of things Abstract: In this paper, theautomatic termovap sample concentrator based   on internet of things(IoT)was presented,whichinclued i

[转]基于TDOA声源定位算法仿真--MATLAB仿真

原文链接:https://blog.xxcxw.cn/2019/08/10/%e5%9f%ba%e4%ba%8etdoa%e5%a3%b0%e6%ba%90%e5%ae%9a%e4%bd%8d%e7%ae%97%e6%b3%95%e4%bb%bf%e7%9c%9f-matlab%e4%bb%bf%e7%9c%9f/ 转自:http://t.cn/AiTjYCqD 声源定位算法是利用麦克风阵列进行声音定位,属于宽带信号,传统的MUSIC和DOA算法并不适用该场景,本仿真主要用TDOA算法进行定位.

了解机器视觉

导读:传统的工业生产制造,由于科学技术的限制仍然主要采用人工检测的方法去检测产品表面的缺陷,这种方法由于人工的限制和技术的落后,不仅检测产品的速度慢.效率低下,而且在检测的过程中容易出错,从而导致了检测结果的不精确. 当今社会,随着计算机技术,人工智能等科学技术的出现和发展,以及研究的深入,出现了基于机器视觉技术的表面缺陷检测技术.这种技术的出现,大大提高了生产作业的效率,避免了因作业条件,主观判断等影响检测结果的准确性,实现能更好更精确地进行表面缺陷检测,更加快速的识别产品表面瑕疵缺陷. 产品

2014(马年)学年总结

l 2014.2.14 小学同学几个小聚,通过关系网通讯录又多个几个小伙伴,一起在大年正月逛街八卦回忆,印象最深的就是晚上放孔明灯. l 2014.2.25 继续在小哥(目前已签百度).详哥(和LZ一级)带领下,参与Mobisys实验室无线频谱项目,虽然一直在打酱油,但是跟着两位大牛也或多或少学习了一点,怪就怪这个项目不好,有点小坑. l 2014.3.12 可能是今年最大的收获吧,认识了一位美女,也凭借LZ的智慧成功追成为了女朋友.学年刚开始,学业略放松,整天LOL,女朋友管教下,戒掉了LOL