人机协作机械臂与视觉示教系统

人机协作机械臂与视觉示教系统

(1.南京工程学院自动化学院南京211167;2.南京工程学院自动化学院南京211167;

3.南京工程学院计算机工程学院南京211167;4.南京工程学院工业中心南京211167;

5.南京工程学院工业中心南京211167;)

摘要:工业机器人是面向工业领域的多关节机械手或多自由度的机器人。工业机器人是自动执行工作的机器装置,是靠自身动力和控制能力来实现各种功能的一种机器。但是现有的工业机器人大多存在“难用”的问题,操作人员需要经历较长周期的职业培训,我们希望设计一款桌面级机械臂,配合简单易用的视觉示教系统,让操作者可以通过动作演示来操作机械臂。

关键词:人机协作;机械臂;示教平台;串口通信

本项目设计了一款六轴工业机器人模型,采集STM32的单片机作为主控驱动,配合RGB——D传感器采集操作者体感信息,最终实现视觉示教功能。

一、机械臂结构与驱动单元

机器人一般是指在工厂车间环境中配合自动化生产的需要,能代替人来完成材料的搬运、加工、装配等操作的一种机器人。有关工业机器人的定义有许多不同的说法,通过比较这些定义,可对工业机器人的主要功能有更深入的了解。

工业机器人有主体、驱动系统和控制系统三个基本部分组成。主体即基座和执行机构,包括臂部、腕部和手部,有的机器人还有行走机构。我们设计的模型基座为固定式,简化结构,关节型的臂部有多个转动关节,有6个运动自由度,驱动系统包括动力装置和传动机构,全部的关节运动采用是MG90S数字舵机,转动角度:最大90-180°,用以使执行机构产生相应的动作;控制系统是按照输入的程序对驱动系统的和执行发出指令信号,并进行控制。

二、动作采样输入形式

工业机器人按程序输入方式区分有编程输入型和示教输入型两类,编程输入型是将计算机已编好的作业程序文件,通过RS232串口或者以太网等通讯方式传送到机器人控制柜(PCA9685芯片),采用的是I2C通信,内置PWM驱动器和一个时钟,最大优势不会不断发送信号占用我们的单片机。

示教输入型的示教方法有两种:一种是由操作者用手动控制器(示教操作盒),将指令信号传给驱动系统,使执行机构按要求的动作顺序和运动轨迹操作演示一遍,另一种是由操作者直接领动执行机构,按要求的动作顺序和运动轨迹操演一遍。

三、基于Kinect的人机交互和图像处理

手势识别是人机交互领域的重要组成部分,而手势检测是手势识别的关键步骤之一。传统的手势检测不仅采用肤色检测还需要人手定位,计算复杂度高。深度传感器的出现为手势检测提供一个新的思路,它获取的深度图像包含了物体的深度信息。单独的进行深度图像分割可以有效快速的分割出手势,但在复杂背景下手势检测准确率低。目前的手势检测算法大部分都是仅利用彩色图像(RGBImage)或深度图像(DepthImage)信息,很少将它们结合起来进行检测。本项目设计基于RGB——D图像信息,提出了一种新的手势检测方法,首先提出结合肤色高斯模型分割和深度阈值的方法对手势进行分割。实验结果发现,分割的手势常常含有空洞部分。项目支持的硬件Kinect有三个镜头,中间的镜头是RGB彩色摄影机,用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器,用来采集深度数据(场景中物体到摄影头的距离)。彩色摄像头最大支持1280*960分辨率成像,红外摄像头最大支持640*480成像。还搭载追焦技术,底座马达会随着对焦物体行动跟着转动。在预处理阶段通过OpenCV快速跟踪手部,有效分割手势,引入隐马尔夫模型(HMM)对手势轨迹进行训练和识别。捕获人体手的坐标移动以及手势变化,利用坐标转化等手段,将其转化为指令,发送到六自由度机械臂,使其能够在非特定条件下,按照人体手的轨迹做特定运动,并进行抓取物体等功能。

四、前景和创新性

围绕其人为主导思想,建立人机交互界面,所有人都可以通过自身设计出其所需要的动作轨迹,不需其本身掌握任何专业知识,也不需要了解机器背后的程序代码。本项目考虑到大多机械臂都难于使用操作,操作者需经过专项职业培训才能上岗操作,但是我们作品,视觉示教简单易用,操作者无需经过培训即可使用机械臂,其次,采用基于Kinect图像识别,就要求人和机器保持一定的有效距离,这样就符合“人机分离”的理念,大大保障了操作者人身安全,我们设计的机械臂模型简单易用,在人机协作机器人领域有较好的前景。

五、用于教育形式的人机界面

巧用OPENCV工具和微软VisualSTDUIO,通过文字,图片,以MFC为图形界面开发工具,采用串口通信实现示教装置和主控制器之间通信,该装置符合人体工程学,人机见面友好,运行稳定,满足控制的需要,实时反馈人与机械臂的动作关系。

参考文献

[1]韩宝俊,卢建华,闵华松.WinCE下串口通信模型设计与实现[J].计算机工程与设计,2008,(8):1997-1999.

[2]任海兵,祝远新,徐光祐,等.基于视觉手势识别的研究-综述[J].电子学报,2000,(2):118-121.

[3]韩峥,刘华平,黄文炳,等.基于Kinect的机械臂目标抓取[J].智能系统学报,2013,(2):149-155.

[4]张毅,张烁,罗元,等.基于Kinect深度图像信息的手势轨迹识别及应用[J].计算机应用研究,2012,(9):3547-3550.

标签:;  ;  ;  

人机协作机械臂与视觉示教系统
下载Doc文档

猜你喜欢