您好,欢迎来到爱站旅游。
搜索
您的当前位置:首页采用尺度空间特征点匹配的红外目标跟踪

采用尺度空间特征点匹配的红外目标跟踪

来源:爱站旅游
第40卷第l1期 Vo1.40 No.11 红外与激光工程 Infrared and Laser Engineering 2011年11月 NOV.2011 采用尺度空间特征点匹配的红外目标跟踪 孔军 ,汤心溢 ,蒋敏 ,刘士建 (1.江南大学物联网工程学院,江苏无锡214122;2.中国科学院上海技术物理研究所, 上海200083;3.中国科学院研究生院,北京100049) 摘 要:针对红外图像信噪比低,对比度不高,目标跟踪困难等复杂情况,提出了一种基于尺度空间特 征点匹配的红外目标跟踪算法。设计出一种基于尺度因子变化的高斯卷积模板尺寸自适应调整以及连 续帧目标区域双向配准的办法,前帧目标区域特征点匹配出后续帧目标区域特征点,以后者特征点集质 心坐标去建立目标跟踪搜索窗,完成在视觉效果差的背景下的红外目标跟踪。实验表明,基于尺度空间 特征点匹配的红外目标跟踪算法鲁棒性强,实时性高,能快速而有效地完成对红外目标跟踪。 关键词:尺度空间; 红外目标; 搜索窗; 特征点匹配 中图分类号:TP391.4 文献标志码:A 文章编号:1007—2276(2011)11—2104—06 IR target tracking based on scale space feature points matching Kong Jun , ,Tang Xinyi ,Jiang Min ,Liu Shijian。 (1.School of Internet of Things Engineering,Jiangnan University,Wuxi 214122,China; 2.Shanghai Institute of Technical Physics,Chinese Academy of Sciences,Shanghai 200083,China 3.Graduate University of the Chinese Academy of Sciences,Beijing 100049,China) Abstract:In order to solve the problems of IR image S low SNR and low contrast,and dificultfy of IR target tracking,a new IR target tracking algorithm based on scale space feature points matching was proposed.The size of template could automatically adjust along with the scale factor changing,and a bidirectional feature points matching algorithm of targets in sequential frames was proposed.After the feature points of a frame matching that of next frame in the trget aarea of IR image,the center of latter feature points was taken as the center from which the target searching windows were set up continually to track the IR targets under the bad visual condition.By the IR target tracking algorithm based on scale space feature points matching,the robustness and real—time performance were improved.Experiments show that the IR targets can be tracked quickly and accurately by the proposed algorithm based on scale space ̄amre points matching. Key words:scale space;IR target;searching window;feature points matching 收稿日期:2011—03-11; 修订日期:2011一o4—17 基金项目:教育部中央高校基本科研业务费专项基金(JUSRP211A36,JUSRPlllA41);国家自然科学基金多年期重大国际 合作研究项目(609l0H0O5) 作者简介:孔军(1974一),男,博士生,主要从事机器视觉和目标跟踪等方面的研究工作。Email:j—kong@163.com 导师简介:汤心溢(1970一),男,研究员,博士生导师,博士,主要从事成像系统技术、视频信号处理、红外动态仿真等方面的研究工作。 Email: ̄27@mail.sitp.ac.cn 第ll期 孔军等:采用尺度空间特征点匹配的红外目标跟踪 2105 分高斯图像金字塔和高斯差分图像金字塔。前者是以 0引言 红外图像空间相关性强、信噪比低、对比度不 不同卷积核盯的高斯滤波函数对原始图像滤波得到 的一系列离散化、分辨率不同的图像集合,见公式(1), 高、视觉效果差等特点,使得在分辨率不高的红外视 场下的目标跟踪成为研究热点。Kalmant卜 滤波跟踪 高斯差分图像金字塔是在前者基础上差分所得的。 L( ,y,o-):G( ,y,o-) I(x,),):——l_— e-(xz+y2)12o.Z ,( ,),)(1) 2 ̄ro" 算法通过既往时刻估计值和当前时刻观测值,利用 无偏最小均方差准则递推出当前时刻的目标最优估 式中:I(x, )为原始图像;G(x,Y,o-)为高斯滤波函数 计,该算法对目标的速度、位移、加速度等状态参数 要求较高。Mean Shift[3叫均值漂移跟踪算法是对目 标区域的色彩直方图为特征的概率密度函数模态不 断逼近,并以前后帧目标区域的色彩直方图概率分 布距离最小原则迭代出连续帧目标搜索窗,完成对 目标的跟踪。尽管Kalman滤波和Mean SlliR均值漂 移算法能有效地解决部分目标跟踪问题,但这两种 算法对图像的对比度、分辨率以及目标的色彩度要 求较高,所以不适合视觉效果差的红外目标跟踪。依 据两相邻帧之间的差值提取感兴趣区域(ROI)的帧 差法阎由于对光照变化的鲁棒性不强,以及对动态 场景的干扰比较敏感,所以其在对红外目标跟踪时 效果也不尽人意。 文中提出一种基于尺度空间特征点匹配的红外 目标跟踪算法,红外视频的每帧均生成多尺度图像 金字塔,提取目标区域稳定的特征点,完成前帧对后 续帧的特征点的匹配,并以后续帧目标区域的特征 点集外界邻域质心为中心建立跟踪搜索窗,完成对 目标的跟踪。特征点在不同尺度下被描述成具有缩 放、旋转和平移不变性的局部特征点描述矢量 ],并 做了归一化处理,以增强其在低对比度和低分辨率 的红外场景中的鲁棒性。另外,算法引入了基于尺度 因子变化的高斯卷积模板尺寸自适应调整,以及红 外视频连续帧双向配准的办法,进一步增强算法在 视觉效果差的红外场景中目标跟踪的实时性。 1尺度空间特征点提取与匹配 红外图像信噪比低,目标与背景对比度低,色彩 相近,先构建图像的尺度空间闭,获取和优化特征点, 并计算出具有位置、尺度、旋转、光照等不变的特征 点描述矢量。 1.1尺度空间建立 尺度(三维)空间 ,Y,cr)采用图像金字塔来表达, L(x,Y,o-)为经高斯模糊化处理后得到一幅图像尺度 空间; 表示尺度因子。 高斯图像金字塔在生成过程中,尺度因子按照 公式(2)递增: =o 2 n=l,2,…s+2 (2) 式中:S取经验值3。高斯卷积模板尺寸为NxN,其与 尺度因子符合如下经验公式: Ⅳ_ (3) 文中取 的初始化值为0.98,表l给出 和Ⅳ 的关系。 表1尺度因子与模板尺寸关系 Tab.1 Relationship between scale factor and template size 理论上,尺度因子or的值越大,对应的模板尺寸 也越大,图像的模糊化效果越好,但卷积时间也越 长。另外,实验统计发现,随着盯增加,特征点数目 并非一味增多,而是在到达临界值后减少了,这个临 界值一般出现在17"∈(1.20,1.7o)范围内。可见,模板 尺寸超过一定界线时,高斯滤波对稳定的特征点数 量的增加并没有做出贡献,却牺牲了算法的时间,不 利于算法的实时性要求。分析表1,or出现拐点所对 应的高斯滤波器模板尺寸正好落在9x9,llxll上, 所以,该研究在高斯图像金字塔生成过程中,随着or 2106 红外与激光工程 第40卷 由初始值0.98递增时,模板尺寸做自适应调整: < 1.50时,直接选用9x9模板; >1.50时,直接选用 1.3特征点的矢量化及其向量表示 以特征点为中心,以6 ( 是该特征点所处尺度 的尺度因子)为半径作圆 ,计算圆内X和Y方向的 Haar小波响应系数,给响应值赋高斯权值。在1T/3的 llxll模板,具体算法如下: (1)当前帧图像作为第一层,以尺寸为9x9卷积 模板对第一层图像进行高斯平滑处理得到第二层, 依然用9x9卷积模板处理第二层图像得到第三层。 然后改用llxll模板处理第三层得到第四层,并在 第四层基础上得到第五层、第六层。该帧图像生成六 层平滑图像即为第一组高斯图像金字塔; (2)第一组高斯图像金字塔中首幅图像进行下 采样得到第二组高斯图像金字塔的首幅图像,重复 “第1步”,构建第二组高斯图像金字塔,以此类推, 得到第三、第四组等高斯图像金字塔,共六组; (3)对以上每组高斯图像金字塔相邻尺度图像两 两相减,得到该组的高斯差分图像金字塔,共六组; (4)对后续帧重复上述3步。 1.2兴趣点检测与特征点确定 尺度空间中的中间层(去除高斯差分图像金字 塔中最底层和最上层)的每一个采样点要和它所在 的3x3x3立体邻域内所有点比较,若其比相邻上下 尺度和本尺度周围的共26个点的灰度值都大或者 都小,则视之为兴趣点。 对该兴趣点进行泰勒级数展开[8 ,取前3项: + } (4) 式中:兴趣点的值D(x)对其偏移量 求导,其中 x= ,Y,(r) ,可得x的极值 : 一 罟 (5) 联立公式(4)和公式(5),可得: D( + 1 x眦 (6) 若ID 1>10.03,则该兴趣点保留为特征点,否则丢弃。 为了进一步优化低对比度的特征点和不稳定的 边缘点,利用Hessian矩阵的特征值正比于兴趣点的 主曲率这一数学特性,推导出主曲率阈值,文中给出 的主曲率阈值的经验值为lO.3。 用同样的方法计算出其每帧所对应的所有组高 斯差分图像金字塔中的所有尺度上的特征点集合, 它们的交集将是该帧图像最终的特征点集。 扇形区域内求 和Y方向上的小波系数向量和,构 建向量,转动扇形遍历整个圆,选择最长向量方向为 该特征点主方向。 以特征点为中心将坐标轴旋转到主方向,将其 周围20g的正方形窗口划分成4x4个子窗口。以 为采样间隔,计算子窗口内X和Y方向上的Haar 小波响应 和dv,同时赋高斯权值,增加对几何变 化的稳健性,一个子窗口对应一个四维向量 rl ∑ ,∑ ,∑1 4 I,∑I d,I ]I ,所有子窗口的向量 共同构成该特征点的特征向量,共4x4x4=64维,通 过对其归一化处理,增强其对光照变化的鲁棒性,以 适应红外图像的特征点提取。 1.4特征点的双向匹配 连续帧图像的特征向量生成之后,可用多维空 间向量欧氏距离作为匹配准则,见公式(7): /兰 。\ d=sq ̄I \i=1 (置1-xa) j/  (7) 式中:置 表示其中一幅图像上的某特征点的特征向 量的第f维元素值; 表示另一幅图像上的某个特 征点的特征向量的第i维元素值。为了避免因红外 图像对比度和信噪比低而造成前后帧特征点错配和 漏配,采取特征点双向配准的办法,具体算法如下: (1)建立极线约束条件,减少图像配准时搜 索范围; (2)求出前帧图A中某一个特征点 与后续帧 图B中在对应极线上所有特征点的欧氏距离,搜索 出最近点 ,如果该欧氏距离小于匹配阈值,保留 ,进入第3步。否则,删除 ,重复第2步; (3)求出后续帧图B中 与前帧图A中对应 极线上所有特征点的欧氏距离,搜索出最近点F3; (4)判断 和 是否相等,若相等,匹配成功, 否则,重复第2步。 2基于尺度空间特征点匹配的红外目标跟踪 基于尺度空间特征点匹配的红外目标跟踪算法 是指,在完成了尺度空间的自适应构建,具有抗缩 第ll期 孔军等:采用尺度空间特征点匹配的红外目标跟踪 2107 放、旋转、放射、光照等鲁棒性的稳定特征点向量的 生成,以及连续帧特征点的双向匹配之后,进入红 外目标跟踪环节。由于连续帧之间所匹配的特征点 较多,但目标区域外的特征点对目标跟踪没有贡 献,所以,根据1.4节所提及的建立极线约束条件 的办法,手动在起始帧画出目标搜索窗,只需完成 在目标区域范围之内的前后帧的特征点双向匹配, 具体算法如下: (1)设定双向匹配阈值s; (2)读人视频序列,选择跟踪目标,在第k帧 手动初始化出目标区域搜索窗,建立帧间极线约 束条件; (3)根据匹配阈值s,完成第k帧与第k+l帧目 标区域上的特征点双向配准,记录第k+l帧目标的 特征点集外接邻域中心坐标 ; 瑚 姗 枷 (4)以 为中心,建立第k+l帧的搜索窗口; (5)k=k+l,重复第3步、第4步。 3实验结果与分析 为了验证基于尺度空间特征点匹配的红外目标 跟踪算法,利用某中波热像仪采集“汽车在道路上行 驶”红外视频“car序列”。帧频为30帧/s,图像分辨 率为640x480。运行机器:Intel Core 2 Duo E4700 2.6GHz PC,内存2GB,操作系统WinXP,开发平台 VC++6.0,结合OpenCV开源库函数。 对“Car序列”每帧图像基于尺度因子变换高斯 卷积模板尺寸自适应调整的算法构建高斯图像金字 塔,获得目标区域上的稳定的特征点集,图1显示出 视频第1帧和第2帧的特征点描述矢量,箭头起点 表示特征点位置,长度表示特征点大小,指向表示特 征点主方向,该算法计算出第l帧有290个特征点, 第2帧有289个特征点。其余帧同理。 200 400 600 800 1 000 1 200 图1特征点描述矢量 Fig.1 Character points description vector 以双向匹配阈值为0.48完成相邻帧的配准,也 就是帧l匹配帧2,帧2匹配帧3,以此类推。由于篇 幅限制,只给出当第一辆Car出现在视场时,帧123 与帧124的目标配准。第一辆car和第二辆car同时 出现在视场时,帧231与帧232,帧278与帧279的 目标配准。利用极线约束条件,减少图像配准搜索范 围,图2仅对Car序列中目标模型进行配准。 枷 姗 枷 啪 瑚 姗 栅 图2尺度空间特征点匹日己.结果 Fig.2 Results of the feature points matching in scale space 图3显示的是基于尺度空间特征点匹配的红 外目标跟踪情况,帧54后,第一辆car驶入视场, 在帧62,手动初始化出目标搜索窗。由于帧62与 帧63已经完成目标Car区域的特征点匹配,所以 帧63的car目标上的搜索窗将以Car目标区域的 特征点集外接邻域质心为中心建立矩形搜索窗。在 帧210后,第二辆car驶入视场,同时在给第二辆车 手动初始化出目标搜索窗,第二辆car也能很好被 跟踪上。 基于尺度空间特征点匹配的红外目标跟踪算法 的实时性主要体现在特征点提取、矢量化和匹配等 方面的效率上。表2给出第231帧和第232帧特征 点匹配时各个阶段的所需时间,其中总耗时仅为 0.151 S,满足实时性要求。 第ll期 孔军等:采用尺度空间特征点匹配的红外目标跟踪 2109 of a density function,with applications in pattern recognition keypoints【J】.International 2004,60(2):91-110. 【J】.衄40. Trans on Information Theory,1975,21(1):32- Kong Jun,Tang Xinyi,Jiang Min.Object loc ̄ion technique or movifng target based on multi—scale feature extraction[盯. Zhang Wei,Hou Qingyu,Wu Chunfeng.Mean—shift tracking for IR characteristics of trget based on onliane featm'e fusion J Infrared肘 Waves,2011,3O(1):21—26.(in Chinese) [J].Infrared and Laser Engineering,2010,39(2):352-357. (in Chinese) 孔军,汤心溢,蒋敏.基于多尺度特征提取的运动目标定 位研究[J】.红外与毫米波学报,2011,30(1):21—26. 张伟,侯晴宇,武春风.在线特征融合的均值移位红外目 标跟踪【J].红外与激光工程,2010,39(2):352—357. Meier T,Ngun K N.Video segmentation for content・based Minjie L,Liqiang W,Ying H.Image matching based on SIFT features and kd—rtee【C],/2010 2nd Intemational Conference on Computer Engineering and Technology(ICCET),2010. Bay H,Ess A,Tuytelaars T,et a1.SURF:speeded up robust coding[11.IEEE Trans 011 Circuits and Systems for Video Technology,1999,9(8):1190-1203. inctive image features from scale・invariant [6】 Lowe D G.Distfeatres[uJ】.Computer Vision and Image Understanding, 2008.110(3):346-359. 空间太阳望远镜主光学望远镜热效应分析 李蓉1,2,3,施浒立 ,。 (1.中国科学院国家天文台,北京100012; 2.中国科学院研究生院,北京100049; 3.中国科学院太阳活动重点实验室,北京100012) 摘要:空间太阳望远镜(SST)直接对日成像,其1m口径的主反射镜(MOT)接收到的上千瓦热量将严重影 响望远镜的成像质量,因此必须进行热控设计以确保SST的性能。首先讨论了SST主镜筒内的热状况,分析 了对日观测时主镜筒内的热流分布情况,然后根据SST轨道参数,计算望远镜的空间轨道外热流状况。在此 基础上提出了相应的热控措施,并使用热分析软件Sinda/G与Nevada计算了SST主镜筒温度分布。最后计 算了SST主镜相应的热变形,对主镜镜面热变形采用Zemike多项式拟合,热变形精度小于M40(A=633am), 确保SST获取0.1 一0.15”的高分辨率成像目标,验证了SST主镜筒热控设计的有效性。 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- azee.cn 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务