201 1年 工程图学学报 JoURNAL oF ENGINEERING GRAPHICS 201 1 N0.3 第3期 一种基于全维视觉与前向单目视觉的 目标定位算法 方宝富 一, 潘启树 , 洪炳镕 , 钟秋波 , 王伟光 (1.哈尔滨工业大学计算机科学与技术学院,黑龙江哈尔滨150001 2.合肥工业大学计算机与信息学院,安徽合肥230009) 摘 要:在机器人足球中,机器人周围的环境信息被颜色特殊化。在对基于颜色阈 值分割的分析基础上,针对不同光线的情况下提出了改进的颜色阈值分割法,实现了全维视 觉和前向单目视觉对场上不同颜色目标的识别。在此基础上实现了前项单目视觉和全维视觉 的目标定位,利用Kalman滤波算法,实现二者的信息融合,从而实现更准确的目标定位信 息。实验结果表明基于此算法可以弥补中远距离的目标信息的准确度,证明本算法是可行且 有效的。 关键词:数字图像处理;卡尔曼滤波;定位;颜色阈值 文章编号:1003—0158(2011)03.0006-07 中图分类号:TP 391 文献标识码:A An Obj ect Localization Algorithm Based on Omni-direction Vision and Front Monocular Vision ̄ FANG Bao—fu ’ ,PAN Qi.shu ,HONG Bing—rong ,ZHONG Qiu.bo ,WANG Wei.guang (1.School ofComputer Science andTechnology,HarbinInstitute ofTechnology,HarbinHeilongjiang150001,China; 2.School ofComputer andInformation,HefeiUniversity ofTechnology,HefeiAnhui 230009,China) Abstract:In the robot soccer system.the environmental information around the robot is characterized in colors.On the analysis of the color threshold segmentation.an improved algorithm practicable in different color environments is proposed to realize the identiifcation of objects in different colors in the field through omni—direction vision and front monocular vision. by the use of which,the robot’S object location through the two visions can be realized and then a more accurate obiect location can be achieved by combining the information from the two visions trough Kalhman filter algorithm.Experimental results prove the feasibility and validity of this algorithm which improves the accuracy of medium—and—long—distance object location. Key words:digital image processing;Kalman iflter;localization;color threshold 收稿日期:2009—12-18 基金项目:上海市机械自动化及机器人重点实验室开放课题(Z0802);国家自然科学基金资助项目(60705015);安徽省自然科学基金 资助项目(070412064) 作者简介:方宝富(1978一),男,安徽枞阳人,讲师,博士研究生,主要研究方向为机器人视觉及多机器人协作与竞争。 第3期 方宝富等:一种基于全维视觉与前向单目视觉的目标定位算法 在机器人足球、机器人追捕、机器人编队等 机器人应用系统中,关键技术之一就是对环境信 息的识别。环境识别的主要任务是快速准确对环 境中动态及静态目标实现定位,一般都是通过机 器人配备的传感器如摄像机、激光测距仪、红外 测距仪里程计等获得数据然后分析而得。本文是 基于摄像机实时采集图像数据、图像处理和识别 场地中的目标,然后现实机器人足球中的目标定 位。 对于基于视觉系统获得信息的机器人来说, 目标识别是建立在图像分割的基础上的,图像分 割Il1从可以看成是将图片的像素根据图像的特 征,按照一定的原则方法进行分类的过程,分类 所依据的特性:灰度、颜色、多谱特性、空间特 性和纹理。目前图像分割算法一般按照图片像素 的不连续性和相关性,可以分为两类:一类是基 于像素的亮度或值的不连续变化来分割图像,如 基于点、线和边缘的检测 j;另一类是根据应用 规则来分割图像的相关区域,如基于阈值选择、 区域生长和聚类的检测方法ljJ。 在机器人足球场地内,各个不同目标用不同 的颜色加以区分,本文利用目标的颜色信息,以 颜色特征作为图像分割的依据,提出基于全维视 觉和前项单目视觉的目标定位算法。颜色空间【4J 也称为颜色模型,如RGB、YCrCb、HSV、HIS、 CMY等,它们之间可以相互转换。最常用到的 是RGB颜色空问,但是RGB颜色模型存在各分 量高相关性的缺点【5J,即在相同颜色在不同的光 照条件下,得到的RGB颜色分量变化很大,即 受光照影响较大,而YuV颜色空问则较好,本 文则采用YUv颜色空间。 1基于颜色阈值的目标识别 1.1图像预处理 视频采集的RGB图像是采用的RGB24格 式,即RGB每个分量都是由8位数据位来表示 的,这样每个分量都有256个级别,图像数据转 换成YUV颜色空问之后,每个分量仍然是256 个级别,即每个分量由8位数据位来表示,所以 将转换后的Yuv颜色空间数据也像原RGB图像 的数据那样保存,大小一样,因此可以将图像数 据进行替换,图像的其它信息如图像大小、尺寸、 格式等数据还保留,以供后续程序进行目标识别 时方便使用。 图像预处理的主要工作是RGB颜色空间图 像数据转换为YUV颜色空间,这个转换为线性 变换,如公式(1)所示 l『 l. jU】, ]『I l:l_ -00..215478. 0.0.520941 0 0..40398]『9 _R]『_16] 0-439_0_368_0.071_JI .Il GB jf l+I 11228}(8_J 1) 1.2基于颜色阈值的目标识别 文献[6]中颜色查询表内存储的是目标颜色 的YUV分量范围,如图1所示,形成了一个阂 值长方体,若一个像素值在这个阈值长方体内, 则说明该像素很可能就是目标像素点,利用颜色 查询表便能够快速的判断一个YUV颜色空问的 像素值是否属于目标的颜色空间域。但该算法存 在一个潜在的问题,由于颜色查询表存储的是 YuV分量范围,于是在光线较暗的情况下对目 标颜色进行标定时,可能会出现两个目标的YUv 分量范围会有交叉部分,如图2fa)所示,当交叉 的部分较小时,对目标的识别没有太大影响,但 当交叉的部分较大时,对目标的识别有很大的影 响;若发生这种情况只能再次标定目标,并减小 标定范围,但减小标定范围时,可能会发生目标 识别不完整、不准确,这是一个矛盾。于是本文 提出了改进的颜色查询表,即让颜色查询表内存 储目标颜色的Yuv离散分量范围,转化为颜色 空间投影如图2(b)所示,即一个目标颜色对应的 是一个或多个阂值长方体。若在进行目标颜色标 定的时候,发生上述问题时,即会在识别窗口显 示出错误识别的颜色。 图1阈值长方体投影I 工程图学学报 (a) (b) 图2阂值长方体投影II 根据全维视觉系统反射镜的对称结构,光线直线 2基于全维视觉和前向单目视觉的 目标定位 基于颜色的目标识别要实现多个目标的同 时识别,该算法由3个环节组成:①基于目标 颜色的聚类,即实现图像分割;②目标区域提 取与生长;③多目标的识别。在识别目标时候 传播及小孔成像原理可知,景物的形变主要发生 在反射镜的纬度上,而在经度上的形变很小,所 以目标的方向定位比较准确。因此,可以利用反 正切函数求出目标的角度。 arctan( 一 = ) 。一xm)≠。时 当( 一 )≠0 >0时 一 采用了2种不同的视觉图像,在机器人头顶上的 全维视觉图像和在机器人前方的前向视觉图像。 当(Xo—xm)=0 <0时 (2) 本文分别阐述了如何实现全维和前向的定位方 法,最后采用Kalman滤波实现二者的信息融合, 从而得到更加准确的目标位置。 2.1全维视党系统的目标定位 2.1.1角度定位 公式(2)中, 0, )和 , )分别是目 标质心和全维视觉中心相对于以图片左下角为 原点的笛卡尔坐标系中的坐标。 是机器人极坐 标系中的极角,机器人坐标系如图3所示。 当摄像机的中心对准全维反射镜的轴心时, (a)源图像坐标系 (b)机器人坐标系 图3坐标变换示意图 2.1.2距离定位 在实际使用的时候采用插值的方法进行全维视 觉系统的目标定位,并且通过实验比较了双曲线 利用摄像机参数,全维反射镜的曲面方程, 以及全维摄像机的高度等数据,推导出了可以用 于全维视觉定位的公式。但受全维视觉系统的加 插值与线性插值的性能,在绝对误差和相对误差 工精度、摄像机畸变以及不易维护等因素影响, 比较接近的情况下,最终选用了方法简单的线性 插值,公式如下公式3所示 第3期 方宝富等:一种基于全维视觉与前向单目视觉的目标定位算法 +(P-P ̄-I)×( : (3) 为实际环境的三维数据信息的过程,通过摄像机 的内外参数、俯仰角和高度等信息,利用立体几 何的知识可以推导出转换公式。 如图4所示,摄像机在地面上的投影点为原 l 式中 =√( 一 ) +( 一 ) 其中 ,Y )和 ,Y )分别是目标质心和全维 视觉中心相对于以图片左下角为原点的笛卡尔 点,建立一个机器人直角坐标系,以机器人右侧 为X轴正方向,其正前方为Y轴正方向;成像平 面是以中心为原点的直角坐标系。 是摄像机的 坐标系中的坐标, 是第f次插值时的机器人极 坐标系中的像素距离, 是第f次插值时的实际 距离。 俯视角,h是摄像机到水平面的距离,LAOB是 摄像机的水平视角, 删是摄像机的垂直视 角。单目摄像机目标定位就是要把成像平面上的 点( , ,变换到机器人坐标系的坐标 ,),)。利用 立体几何知识,得到目标定位的如公式(4) 2.2前向单目视觉的目标定位 前向单目视觉的目标定位就是通过前向单 目视觉的目标识别后获得的二维图像数据转化 图4单目摄像机定位模型 』1 y=h.tan( 2 :tan(…).厢l ,l ,' I (4) 样就导致了误差增大。解决这种问题的方法是, 不使用目标识别后的质心数据进行目标定位,而 是采用目标的最低点数据进行定位,即将目标约 束在了地平面上了,这种方法适用于对立柱、球 门等侧表面直接与地面相接的物体定位。但当物 体是球,而且是直径比较大的时候,就需要进行 a,b为每单个像素的水平和垂直视角: 口=LAOB/[ABf,b:ZMON/IMNl 但这种转换方法需要一种约束,即假定所有 的目标点都在水平面上,当目标在水平面上时, 定位的绝对误差随目标与机器人的距离的增加 而增大,这是由于单位像素内的信息量相对增 大,失真较多造成的;当物体是具有一定高度的 物体时,如球等,则在距离机器人越近,相对误 修正,本文提出利用目标的先验知识修正误差的 方法。 如图5所示,把球投影到P oO平面上,利 用先验知识球的半径,,以及角度 OP'Q’,求 出l l,即在 轴方向上的修正值;再在立 差就越大,这是由于这种方法将所有的目标都投 影到地平面上,对具有一定高度的物体定位时, 体图形BQTP中,再利用立体几何知识求出 l P l,即在 轴方向上的修正值。修正后的定 位公式如公式(5) 同样将物体的高度信息也投影到了地平面上,这 J ( )=( 一,) (冗 2一 ) I ( ,V)= + ・tan(a・ )一r・tan(au)/cos(Tt/2一p+bv) 其中 是摄像机的俯视角,h是摄像机到水平 (5) 面的距离,口、b为每单个像素的水平和垂直视角: 工程=图学学报 ZAO,/I.481,b=ZMON/[MNl,( ,1,)是成像 在 和Y方向上的定位数据。 平面的坐标, ( ,v) ̄UA(u,v)分别是修正后的球 图5单目摄像机修正定位模型 但是,在实验室灯光稳定的环境下,前向摄 像机对球的识别后的质心,总体上随距离的增加 而降低,这是由于当球离机器近时,球的上表面 不是很亮,而下部暗,识别的球的质心偏高;当 卡尔曼滤波器是根据系统的状态方程和测 量方程,得出系统状态的最优估计的数学方法, 是对系统噪声、测量误差的不确定性描述,它是 以最优的方式融合传感器数据与系统状态。在卡 尔曼滤波理论中,被考查的系统被假定为线性系 统且具有高斯白噪声,该方法还可以将多个传感 器的测量值优化的合并成对系统状态的估计 。 假设系统有来自两个传感器的对目标的 球离机器远时,球的上表面变得光亮,识别的球 的质心偏低,所以本文针对这种情况对式(5)中的 ( v)进行了线性修正,如式(6) ( ,V)= 半/ ( ,1,)+C 2.3基于信息融合的目标定位 (6) 测量值q1和g2,方差分别为口12和口2 ,因此 可以利用这两个测量值分别得到对目标的估计 由于在全自主足球机器人上安装了全维视 觉和前向单目视觉两种视觉,而且两种视觉的视 野有重合的区域,如图6所示,因此在对目标定 』gf^ l ql (7) l :g 用加权最小平方方法得到 位时,需要采用一定的方法来使用视觉系统对目 标的定位数据。本文提出一种基于数据融合的目 标定位算法,采用卡尔曼滤波器算法,对全维视 觉与前向单目视觉的定位信息进行融合。 S=∑ (g—q ) 其中可以得到最小的误差估计 (8) Wf是g 的权重,对 求导,并使其等于零, 窆 ( 一 )z:2 ( 一gf):0(9) ag ag ag : q:圭 J_ ∑ ’ (10) iM 取Wf=1/ ̄Yi2状,代入式(10)得到 图6视觉系统视野 g g=g1+ 赢(g 一g2一g1) (11) 第3期 方宝富等:一种基于全维视觉与前向单目视觉的目标定位算法 ・11 按卡尔曼滤波的状态方程形式可以写出 Xk+1= + +1( +1一xk) (12) o- 2+ 1 3) 由于在全自主足球机器人的比赛中,自身与 球的运动都可以看作是随机运动,很难求出置信 度高的目标的位置的测量值的方差,但是可以根 据实验求出测量噪声的方差,因此两个传感器的 噪声可以利用公式(12)融合。目标位置的真实值、 测量值和噪声之间的关系如下 Z-_ :X 其中z为测量值, 为真实值, 为噪声,将 其代入公式f12)得到 Zk+l一 Zl 一升 +1((Z2 一(Zlk-73)= Zl 升 +l(Z2k-Zlk) (14) +l=-Zlk+Kk+ ̄(Z2k-Zlk) (15) 公式(15)即为本文中的数据融合公式,其中 口都是根据全维视觉与单目视觉的定位实验数 据算出的方差,由于Z1 和Z2 都是由传感器获得 的测量值,且z 1不作为系统的状态值成为下次 滤波的输入,所以卡尔曼滤波增益在融合过程中 保持不变,这样简化算法,计算速度快,是一种 稳态卡尔曼滤波。 3实验结果及分析 3.1角度测量实验 角度定位实验是利用HIT—III型机器的全 维视觉进行定位,选择的时间是晚上,室内环境 为4盏目光灯,避免目光变化对目标识别产生影 响。角度测量实验如图7所示。实验中,球做为 目标,在机器人周围随机移动,共测量25组实 验数据,试验结果如图8所示。 0。 /| 球 移动轨法 迹 / l 机器人 27o。 ■ / \\\ 180。\ 图7实验过程说明 图8角度实验结果 3.2距离定位实验 距离定位实验是利用HIT--III型机器的全 维视觉和前向单目视觉共同进行的定位。实验 中,球做为目标,在机器人前方由近及远运动, 如图9所示,共测量31组实验数据,图10是前 向视觉识别结果和实际距离关系图,图11是全 维视觉识别结果和实际距离关系图,图l2是数 据融合以后目标距离与实际距离关系图。 球 ●L 上 一 机器人 一 ■ 图9实验过程说明 g 枉匣 蛩 随机取点(数) 图10前向视觉识别结果和实际距离关系图 工程图学学报 图l 1 全维视觉识别结果和实际距离关系图 图12数据融合以后目标距离与实际距离关系图 3-3结果分析 由角度定位实验表明,全维视觉的角度定位 准确度很高,最大误差不超过4。,且误差随球与 机器人的距离的增加而减小,这是由于,当球离 机器较近时,球的面积较大,识别的球的质心跳 动较大,所以误差会较大;当球离机器较远时, 球的面积较小,识别的球的质心跳动较小,所以 误差会较小。通常当距离大于1.5米时,误差就 会减小下来。 由距离定位实验表明,当球与机器人的距离 小于2米时,全维与前向视觉的定位精度都比较 高,且全维的精度要高于前向的。但当距离进一 步增加时,全维和前向的误差都随之增大,全维 的定位整体上大于真实距离,而前向的定位整体 上小于真实距离,于是利用稳态卡尔曼滤波进行 数据整合后,距离大于2米的定位数据驱于真实 值。 4结 论 本文提出了一种基于彩色图像的目标定位 算法,主要解决机器人足球中准确定位目标问 题;通过分别实现基于前向视觉和全维视觉的图 像分割、目标的识别,继而实现在前向和全维图 像下的目标定位,最后采用Kalman滤波方法实 现二者之间的融合,试验结果表明该方法是有效 的,能够实现目标的准确定位。 参考文献 [1】Wang S,Siskind J M.Image segmentation with ratio cut[J].Pattern Analysis and Machine Intelligence, IEEE Transactions on,2003,25(6):675~690. [2]王书朋,姬红兵.自适应尺度目标跟踪算法[J].计 算机辅助设计与图形学学报,2008,20(11): 1466—1470. [3】 吕汉明,王扬,王天军.基于混合策略的区域增 长三角网格重构算法[J].计算机辅助设计与图形学 学报,2006,1 8(9):1426—143 1. 【4]Tkalcic M,Tasic J F.Colour spaces:perceptual, historical and applicational background [c]// EUROCON 2003,Computer as a Too1.The IEEE Region 8.Turku,Finncon,2003:304—308. [5】伍 翼.基于机器视觉的移动机器人控制研究[D】. 武汉:华中科技大学,2005. [6 谭6]琪.基于全维视觉的目标识别与定位[D】.哈尔 滨:哈尔滨工业大学,2007. [7】[美]Siegwart R,Nourbakhsh I R著.自主移动机器人 导论[M].李人厚译.西安:西安交通大学出版社, 2006 235-251