第40卷第1期 2017年3月 南京师大学报(自然科学版) JOURNAL OF NANJING NORMAL UNIVERSITY(Natural Science Edition) Vo1.40 No.1 Mar,2017 doi:10.3969/j.issn.1001—4616.2017.01.006 融合增量主成分分析与粒子滤波的 车辆表观模型跟踪 吴 刚1,2,3,曾晓勤 ,苏守宝 ,王池社 (1.金陵科技学院计算机工程学院,江苏南京211169) (2.金陵科技学院大数据研究院,江苏南京211169) (3.河海大学计算机与信息学院,江苏南京210098) [摘要] 针对车辆运动方向持续变化、目标车辆距离远近变化、光照强度变化等场景下,稳定且实时性地跟踪 车辆的难点问题,融合自相关矩阵增量主成分分析(Incremental Principal Component Analysis,IPCA)增量学习与 粒子滤波算法的基础上,提出一种新的基于表观模型(Appearance Model,AM)的车辆跟踪方法,从跟踪初始利用 自相关矩阵与特征值分解构建车辆的子空间图像,通过IPCA增量学习后的子空间均值、特征向量基共同参与似 然概率密度的计算,提高粒子滤波算法粒子权值计算的精度.标准视频的跟踪实验表明:对比P.Hall—IPCA与 D.Ross—IPCA表观模型跟踪方法,所提AM—IPCA车辆跟踪方法将跟踪成功率分别由82.7%~92.3%、92.1%~ 95.2%提升至95.1%~96.4%. [关键词]车辆跟踪,表观模型,自相关矩阵,增量学习,粒子滤波 [中图分类号]TP391.4[文献标志码]A[文章编号]1001-4616(2017)0卜0033—06 Vehicle Appearance Model Tracker Integrating Incremental Principal Component Analysis and Particle Filter wu Gang ’。 ,Zeng Xiaoqin ,Su Shoubao ,Wang Chishe , (1.School of Computer Engineering,JinLing Institute of Technology,Nanjing 211169,China) (2.Institute of Big Data,JinLing Institute of Technology,Nanjing 211169,China) (3.CoHege of Computer and Information,Hohai University,Nanjing 210098,China) Abstract:Aiming at the diicultfies on stably and timely tracking vehicle on the scenes such as volatile moving direction, varying pose and distance,illumination change,etc.,integrating autocorrelation matix,irncremental learning on IPCA and particle filter algorithm,new kind of vehicle tracking methods using appearance model is proposed.When beginning at original tracking time,the proposed method can timely learn the characteristic subspace images of vehicle,using autocor。 relation matix and eirgen value decomposition.Based on IPCA incrementl laearning,likelihood probability density is eom— puted on subspace mean and eigenveetor,increasing computational precision on weights of particles on particle filter algo— rithm.The tracking results demonstrate that success tracking rate of the proposed AM—IPCA vehicle tracking method is raised to 95.1%~96.4%.compared with 82.7%~92.3%of P.Hall—IPCA and 92.1%~95.2%of D.Ross—IPCA appear- nee model traacking method. Key words:vehicle tracking,appearance model,autocorrelation matrix,incrementl laearning,particle filter 目前基于图像的车辆跟踪方法中,多数方法在跟踪过程中存储或尽可能地保留目标车辆所有的相关 图像数据.由于受算法复杂度与设备存储容量的限制,在实验室仿真平台上这类跟踪方法虽然可以达到 收稿日期:2016-08-20. 基金项目:金陵科技学院高层次人才科研启动项目(jit—rcyj一201508)、国家自然科学基金项目(613 ̄5121)、国家自然科学基金项目 (61305011)、南京市经信委项目(交通大数据公共服务平台)、南京市科委重大项目(大数据驱动下的大型客运枢纽监控预警 与应急处置). 通讯联系人:吴刚,博士,副教授,研究方向:机器学习与智能系统.E—mail:zdhxwg@jit.edu.cn 一33— 南京师大学报(自然科学版) 第40卷第1期(2017年) 较高的跟踪精度,然而在实际车辆跟踪过程中,出于对跟踪实时性与硬件存储容量限制的考虑,这是不切 实际的一类跟踪方法.基于子空间符号的目标跟踪具备以下优点:1)并非将目标图像看作一组互不相关 像素的集合,低维的特征子空间可以简洁且紧凑地表达待跟踪目标;2)针对目标的特征量进行持续的学 习与更新,可以反映出跟踪过程中内在与外在因素引起的车辆表观变化….文献[2]提出通过选择多特征 融合和自适应粒子数量的方法来保证跟踪的持续稳定性,该方法可以自适应地调整每个特征的权值来适 应环境的变化,该算法在一定程度上解决了目标旋转、遮挡以及背景混淆等情况下的跟踪问题,主要存在 的问题在于粒子数量需达到一定程度才能保证算法的实时跟踪性能.文献[3]采用方向预测的CamShift 跟踪算法以提高运动跟踪的成功率,通过使用运动估计与自适应搜索机制以提高目标中心附近的区域搜 索,该方法可以提高目标运动方向发生变化时的跟踪成功率,存在的主要问题是需依赖CamShift算法保证 运动目标跟踪的性能,而CamShift算法在目标受到遮挡情况下会出现跟丢目标的现象.车辆跟踪过程中, 由于实际场景中存在随机噪声与光照强度的变化,现有的车辆表观模型跟踪算法尽管在设计上采用合理 的预测机制或跟踪特征,仍不能有效地跟踪住预定目标车辆,例如文献[4]提出一种基于支持向量机的目 标跟踪表观模型,将包括目标与背景在内的空间信息分解为子区域,然后针对每一个子区域信息构建目标 跟踪子模型,再集成各个子模型以构建最终的目标表观跟踪模型,该方法可以解决目标部分遮挡下的跟踪 问题. 目前多数跟踪算法在跟踪任务开始之前就已构造好待跟踪目标的区域特征,利用不变的特征应对跟 踪过程中光线、摄像机视角和目标姿态等多种因素造成的区域图像实时变化.针对车辆运动方向的持续 变化、目标车辆距离远近变化、光照强度变化等带来的车辆跟踪难点问题,基于自相关矩阵的增量主成分 分析与粒子滤波算法的基础上,本文提出一种基于表观模型的车辆跟踪方法,不同于先离线训练数据再预 测跟踪的传统跟踪方法,所提跟踪方法不需预先训练车辆图像数据、且不需假定目标车辆的子空间均值图 像固定,在跟踪初始时刻,利用自相关矩阵与特征值分解构建目标车辆的子空间图像,通过IPCA增量学 习目标图像特征子空间信息.所提跟踪方法将代表目标车辆图像的子空间更新与增量学习融合到粒子滤 波跟踪算法中,以解决上述车辆跟踪过程中面临的跟踪难点问题. 1 AM・IPCA车辆表观模型与算法执行流程 1.1车辆表观模型 给定t时刻代表目标车辆的图像 、目标状态变量 ,目标图像跟踪过程也即是在时刻t针对系统状 态变量后验概率的估计计算过程.使用马尔科夫理论与贝叶斯规则,后验概率由回归方程表达 j: e(x 1日 )Ot P( I )J e(x I )・P(X卜l I 一。) 卜。. 式中,e(x l 川)为系统状态转移模型, (1) P( I )为系统观测模型.目标位置由来自视频图像特定区域所提取的相应特征参数决定.为有效 表征目标表观模型,系统状态变量 由6个参数( ,Y ,0 ,s ,Ot ,咖 )组成,6个参数分别指示t时刻目标 中心X轴方向的坐标位置、目标中心l,轴方向的坐标位置、跟踪窗口旋转角度、跟踪窗口横向尺度大小、 跟踪窗口方向交比和窗口扭曲方向角度.跟踪过程中目标运动的动力学过程由Brownian运动建模,因此 系统状态转移模型表达为 J: P(置I置一 )=Ⅳ(置; 卜.,缈). (2) 式中, 为对角协方差矩阵,主对角元素为状态变量 的6个参数的相应方差or:,ro:,ro;,ro ,ro , 2 .假定 系统状态转移过程符合高斯分布,参数 描述跟踪窗口的运动期望.式(1)中,P(H I X )为最终后验概率 的决定性部分,给定由状态变量 预测的车辆位置所在区域图像 ,似然概率P( I )用下式表达 : P( I置)=Ⅳ(Ht;/x,UU +占J). (3) 式中, 为目标车辆子空间图像均值,J为单位矩阵,符号 对应于观测过程中附加的高斯噪声, 为t时 刻合并新图像数据后子空间的特征向量.为衡量粒子滤波算法中目标状态向量相应粒子的权值,似然概 率P(H Ix )也可以表达如下 : 一34— 吴刚,等:融合增量主成分分析与粒子滤波的车辆表观模型跟踪 P( IX )ctexp(一 __( Z ) (J一(1+ )一 UU )・(H-/x)). ,(4) 式中,s、J 和 的解释同式(3). 1.2 AM-IPCA跟踪方法的算法执行流程 图1为所提AM—IPCA车辆跟踪方法的执行流程框图,车辆跟踪执行流程分两个主要部分:①针对目 标车辆跟踪的粒子滤波状态推理过程;②目标车辆的自相关矩阵IPCA子空间增量学习与更新. 粒于滤放过程 。 自机关矩阵IPCA增量学习 ’图1 AM-IPCA车辆跟踪方法的执行框图 Fig.1 Flow diagram of MA-IPCA vehicle tracking method AM—IPCA车辆跟踪方法中,粒子滤波算法采用如下建议分布: q(X:I :川,日 : )。 =p( :l :一 , ). (5) (6) 式中, 和日同式(2.1)一(2.4),粒子权值W 的计算方法如下: W:兰 :一 ・P( l ). 式中,似然概率p( l )见式(4),将自相关矩阵IPCA增量学习所获得的目标特征子空间均值 与特征 向量基 参与粒子权值W:的计算.跟踪过程中,当后续新图像帧到来时,采用基于自相关矩阵的IPCA算 法 增量学习并更新目标图像特征子空间.在实时学习目标图像子空间的情况下,依据式(1)一(6)采用 粒子滤波算法计算目标车辆在当前图像帧中的最优位置,AM.IPCA跟踪方法的执行步骤: Step 1:从视频流的初始图像帧中定位目标车辆.初始化跟踪涉及的相关参数:粒子数Ⅳ 、缈与初始跟 踪窗VI大小,计算目标图像子空间 { , , }; Step 2:依据式(2)系统状态转移模型,产生粒子集 一P( l :一 ); Step 3:采集Step 2的粒子集、自相关矩阵IPCA增量学习的实时观测数据 ,依据式(4)计算引入观 测量后的似然概率P( l ),依据式(6)计算粒子权值W:; Step 4:规一化权值W:,当有效粒子尺度卵低于有效阈值时,进行重采样处理; Step 5:根据Step 3与Step 4计算出的粒子权值,定位当前帧中目标车辆所在的位置、更新车辆表观模 型的相关参数,获取状态变量 对应的6个参数(戈 ,Y ,0 ,s , ,咖 ),并在新图像帧中提取目标图像 ; Step 6:依据文献[9]自相关矩阵IPCA增量学习算法的执行步骤,使用16个主特征向量构建IPCA特 征子空间,增量性地学习t时刻目标图像子空间 {7D, , }.针对车辆子空间集合采取每5帧丢弃1 幅旧帧、同时补充1幅新帧的方法,始终保持车辆子空间图像集合日为6帧,实时更新车辆子空间并求取 子空间均值图像 特征向量u; Step 7:返回Step 2执行,至跟踪结束; 2实验结果与对比分析 图2为采用所提AM—IPCA跟踪方法对标准视频Car4的跟踪结果,实验基于的硬件平台为:Intel P6200系列2.13 G处理器、2 G的RAM,跟踪难点在于:①从第5~235帧剧烈的光照强度变化;②目标车 辆在长序列跟踪过程中受到的随机扰动;③跟踪过程中相似车辆的干扰;④目标车辆行驶方向与跟踪窗 口尺度的变化. 一35— 第40咎笫I (20I 7,fi) 跟踪实验中,』I=(2)lf1的参数qr=diag(5 ,5 ,0.025:,0.0l ,0.002 ,0.001 ),粒子滤波粒子数,v 取 300,仞始跟踪窗口的横纵方向大小设定为200像素X l50像素, ,归一化为32x32像素 . 3(a)~(f)L1】 车辆跟踪图像下 的4 小【奠I像,从左至右顺序依次为:当前时刻 辆子空间的均值罔像肛、跟踪的车辆 【纠像、跟踪与子 暇构 像J1_IJ的误差、IPCA子空间m构的 fji『车辆图像. 3(g)为主要关键帧对应的 子 像集合,第l行为子伞问均值 像 ,第2行为第一主分量对应的特征罔像,第3行为跟踪与子夺问 重构I冬1像间的误差 像. (a)第5帧 (a) 1帧 _ (d) I280 ̄i 。 .~ tl&蕊瓣 睦 汹 (e)第528帧 喾晰 《 纛婚 一 糍~ 簿 )第l~638 ● 辆跟踪过程tf 的f-1 ̄.l像 图2基于视频Car4的AM-IPCA跟踪方法测试结果 Fig.2 Testing results of AM-IPCA tracking method based un video Car4 (g) l~I92帧乍辆跟踪过程 的 像 图3基于视频test.3的AM-IPCA跟踪方法测试结果 Fig.3 Testing results of AM-1PCA tracking method based on video test3 从 2(a)~(f)Ⅵ :经历长时间冈像序列与剧烈光照强度变化等噪声干扰下的乍辆跟踪过程, AM—If CA跟踪方法川‘以稳健H.实时性地跟踪预定的目标车辆;在IPCA增量学习与更新的作川下,小同帧 口怀车辆的均值 像 均实时性地有所变化,总体J-反映fI1日标车辆图像在经历长时问跟踪下的变化 过程. 吴刚,等:融合增量主成分分析与粒子滤波的车辆表观模型跟踪 图3为针对雷丁大学视觉测试标准视频“test3.mpg”,采用所提AM.IPCA粒子滤波跟踪方法进行测试 的结果,test3车辆跟踪的主要难点在于路面上强烈反光的干扰以及目标车辆由远至近的尺度变化.图3 中各图像的含义同图3的类同解释.实验中 被设定为qF=diag(5 ,5 ,0.01 ,O.01 ,0.001 ,0.001 ),粒子 滤波算法采样粒子数Ⅳ。设定为300,初始跟踪窗口的横纵方向大小设定为34像素x32像素, 归一化为 32像素x32像素.从图3(a)一(f)可见:经历目标车辆远近和光线强度变化等噪声干扰下的车辆跟踪过 程,所提AM—IPCA粒子滤波跟踪方法可以稳健且实时I生地跟踪预定目标车辆. 将以上3种表观模型跟踪方法测试的实验结果列于表1,3种跟踪方法均使用16个主特征向量构建 IPCA特征子空间.除上述标准测试集Car4和test3以外,其余4个标准测试集的车辆跟踪难点具体解释 如下,其中dtneu—schnee车辆跟踪的主要难点在于:车辆运动方向的持续变化与目标车辆由远至近的尺度 变化;rheinhafen车辆跟踪的主要难点在于:车辆运动方向与目标车辆距离远近变化;dtneu—nebel车辆跟 踪的主要难点在于:车辆运动方向的持续变化与光照强度的变化;kwbB车辆跟踪的主要难点在于:光照强 度变化与车辆运动方向的持续变化. 表1 3种基于IPCA的表观模型跟踪方法的数据对比 Table 1 Data comparison of three methods of IPCA appearance tracking model 在粒子数选取为300个的情况下,所提AM—IPCA跟踪方法在执行时间上介于0.107~0.148 s/帧,平 均可以获得6.8~9.3帧/s的跟踪处理速度.通过表1实验数据对比:在dtneu_schnee、car 4、rheinhafen、dt- neu—nebel与test3的车辆跟踪实验中,采用P.Hall的IPCA表观模型跟踪方法 在跟踪执行时间上近似 于2倍AM—IPCA跟踪方法;相对于D.Ross的IPCA表观模型跟踪方法 ,所提AM-IPCA跟踪方法降低 16.7%的总体执行时间.目标车辆中心点的均方根误差(Root Mean Square Error,RMSE)的数据对比,在3 种跟踪方法中,AM—IPCA跟踪方法跟踪误差RMSE最小,主要得益于所提方法中有效的车辆表观模型、自 相关矩阵IPCA子空间增量学习、粒子滤波的预测与估计效率.由表1可观测:基于3个标准测试视频, P.Hal1.IPCA跟踪方法跟踪成功率在82.7%一92.3%之间,D.Ross.IPCA跟踪方法跟踪成功率在92.1%~ 95.2%之间,所提AM.IPCA跟踪方法跟踪成功率在95.1%~96.4%之间. 基于上述跟踪测试视频集,在粒子数分别选取为600和1 000个的情况下,采用所提AM—IPCA跟踪 方法进行车辆跟踪实验.当粒子数取600个时,所提AM—IPCA跟踪方法在执行时间上介于0.181—0.252 s/帧,平均可以获得4.0—5.5 J s的跟踪处理速度,跟踪成功率在95.3%~96.5%之间.当粒子数取1000 个时,AM—IPCA跟踪方法在执行时间上介于0.268~0.372 s/帧,平均可以获得2.7—3.7帧/s的跟踪处理速 度,跟踪成功率在95.4%一96.6%之间.由此可以分析出:当粒子数显著提升时,跟踪执行时间显著增加而 跟踪成功率仅提高0.3%以内,仅仅通过提高粒子数并不能显著改善跟踪成功率.在粒子数分别选取为 600和1000个的情况下,P.Hal1.IPCA跟踪方法在执行时间上分别介于0.33~0.51 s/帧、0.48—0.75 s/帧, 跟踪成功率分别在82.8%~92.4%、82.9%~92.4%之间;D.Ross.IPCA跟踪方法在执行时间上分别介于 一37— 南京师大学报(自然科学版) 第4O卷第1期(2017年) O.21~O.32 S/帧、0.32—0.45 s/帧,跟踪成功率分别在92.0% ̄95.2%、92.2%一95.3%之间.从平衡跟踪实时 性与跟踪成功率的角度考虑,在粒子数选取为300个的情况下,采用AM—IPCA跟踪方法已经可以很好地 满足车辆跟踪的实际需求.综合考虑跟踪执行时间、跟踪成功率和跟踪RMSE 3个方面因素,基于3种 IPCA增量学习的车辆表观模型跟踪方法中,所提AM—IPCA跟踪方法的跟踪效果最优. 3结语 基于自相关矩阵IPCA增量学习与粒子滤波算法的基础上提出一种新的基于表观模型的车辆跟踪方 法,利用自相关矩阵IPCA增量学习后的子空间均值、特征向量基共同参与似然概率密度的计算,提高粒 子滤波算法粒子权值计算的精度;同时粒子滤波算法定位的目标车辆图像为自相关矩阵IPCA增量学习 提供实时、动态的图像数据.通过不断抛弃旧帧采集新帧进行实时增量学习目标车辆子空间特征,采用增 量主成分分析的子空间学习与更新技术,利用新帧对图像子空间进行增量性的学习可以反映出运动车辆 表观的实时变化状况.在一致的车辆跟踪框架下,横向测试与对比主流车辆表观模型跟踪方法对车辆跟 踪性能的影响.综合3组标准视频的车辆跟踪测试表明:在粒子数选取为300个、每5帧进行一次IPCA 增量学习的情况下,所提AM.IPCA车辆表观模型跟踪方法的跟踪成功率达到95.1%~96.4%,跟踪执行时 间介于0.107 0.148 s/帧,平均可以获得6.8~9.3帧/S的处理速度.实验数据表明:在不损失目标特征子 空间细节信息的情况下,AM—IPCA跟踪方法可以快速性地跟踪目标车辆,特征子空间重构目标表观图像、 增量学习目标车辆的表观区域变化. [参考文献] [1] WALIA G S,KAPOOR R.Recent advances on multicue object tracking:a survey[J].Artiifcial intelligence review,2016, 46(1):1—39. [2]杨欣,刘加,周鹏宇,等.基于多特征融合的粒子滤波自适应目标跟踪算法[J].吉林大学学报(工学版),2015,45(2): 533-539. [3]HSIA C H,LIOU Y J,CHIANG J S.Directional prediction CamShift algorithm based on adaptive search pattern for moving object tracking[J].Journal of real-time image processing,2016,12(1):183—195. [4] SUN J,ZHANG S,ZHANG L.Object tracking with spatila context model[J].IEEE transactions on signal processing letters, 2016,23(5):727—731. [5]MUTHUSWAMY K,RAJAN D.Particle iflter framework ofr salient object detection in videos[J].IET computer vision,2015, 9(3):428—438. [6]CEHOVIN L,LEONARDIS A,KRISTAN M.Visual object tracking performance measures revisited[J].IEEE transactions on image processing,2016,25(3):1 261—1 274. [7]CHOUVARDAS s,KOPSINIS Y,THEODORIDIS S.Robust subspace tracking with missing entrles:the set—theoretic approach[J]. IEEE transactions on signal processing,2015,63(19):5 060—5 070. [8] MIHAYLOVA L,CARMI A Y,SEPTIER F,et a1.Overview f oBayesin saequentila Monte Carlo methods orf group nd eaxtended object tracking[J].Digitla signal processing,2013,25(1):卜16. [9]YIN Y,XU D,WANG X,et 1.Onlaine state—based structurd eSVM combined with incrementla PCA for robust visual tracking[J]. IEEE trnsaactions on cybernetics,2015,45(9):1 988—2 000. [责任编辑:顾晓天] 一38一