您好,欢迎来到爱站旅游。
搜索
您的当前位置:首页基于非线性特征提取和SVM的人脸识别算法

基于非线性特征提取和SVM的人脸识别算法

来源:爱站旅游
维普资讯 http://www.cqvip.com 第26卷第2期 2004年2月 电子与信息学报 Journal of Electronics&Information Technology V01.26No.2 Feb.2004 基于非线性特征提取和SVM的人脸识别算法 孙大瑞 吴乐南 (东南大学无线电工程系南京210096) 摘要: 传统的PCA或LDA都是从像素的二阶依赖上考虑的,对于多像素之间的依赖性或像素的高 阶关系不敏感.该文利用核函数方法提取像素高阶相关,并与线性SVM柏结合来进行人脸|只别从Yalc 人脸库上的实验结果可以看出,非线性特征提取是很有效的,并且SVM分类器的性能优于最近邻分类器关键词: 非线性特征提取,KPCA,KDA,线性SVM .. 中图分类号:TP391.42,TN911.73 文献标识码:A 文章编号:1009 .5896(2004)02—0307—05 Face Recognition Based on Nonlinear Feature Extraction and SVM Sun D rui Wu Le-.nail (Department o,Radio Engineering,Southeast University:,Nanjiing 210096,China) Abstract Both PCA and LDA are performed by only using thc second-.order statistics among image pixels,and not sensitive to high order statistics in the data.In this paperthe ,kerndI function method iS used to extract the high order relationsand the Linear Support .Veortor Machines(LSVM)iS selected to per:"form the face dassiifcation.T'he experiment 011 Yale face database shows that the nonlinear feature extraction method is eriective,and SVM :IS better than nearest neighbor classiifer. Key words Nonlinear feature extraction,KPCA,KDA Linear SVM 1引言 子空间法在人脸检测、人脸识别、三维目标识别和跟踪等视觉识别领域获得了巨大的成功, 主分量分析(PCA)和线性辨别分析(LDA)是典型的子空间方法。无论PCA,还是LDA,它 们都是从像素的二阶依赖上考虑的,对于多像素之间的依赖性或像素的高阶关系不敏感 图像 的高阶统计量(H0S)包含了像素间的非线性关系,比如边缘、曲线等结构信息,显然这有利于 识别。 Scho ̄kopf将PCA推广到非线性领域,他直接利用像索的高阶依赖,通过核函数使得非线 性问题转化为普通的特征值问题【 。相对于传统的PCA,这种方法称为核PCA(KPCA)或 非线性PCA。 Bandat根据同样的处理方法,将LDA推广到非线性领域,称为核辨别分析 (KDA)[引。核方法中的核函数只要满足Mercer条件即可,具体应用中大多采用多项式核或径向 基核。Kim采用“One—against—all”方式的线性支撑矢量机(SVM)作为分类器,在0RL人脸 库上应用“Hold—out”验证策略得到结论认为,KPCA性能优于线性的PCA[引。Moghaddam 比较了几种子空间方法的性能t41,认为虽然KPCA优于PCA,ICA,但却不如概率子空间 法。Yang将KDA和KPCA在人脸识别上进行了比较L5 J,他又称这两种方法为核特征脸和核 Fisher脸,在 Lle和0RL库上根据“Leave—one.-out”交叉验证策略得到的实验结果可知, KDA性能优于KPCA, SVM,并且SVM不一定优于KPCA。核方法的分类器为最近邻分 类器(NN),Yang未将SVM和核方法相结合。 2002..10—07收到,2003-.02—28改回 维普资讯 http://www.cqvip.com 308 电 子 与 信 息 学 报 第26卷 SVM是Vapnik统计学习理论的直接实现[引,它是用来解决两类分类问题的。SVM的目 的是要寻找一个超平面使两类可以无错误地分开,并且分类间隙最大。这个超平面称为最优分 离超平面(OSH)。SVM分类器在视觉处理领域有着重要的应用[ 。 本文第1节为引言,第2节分别介绍KPCA和KDA的特征提取原理,第3节给出多类 SVM分类方法,第4节为实验结果,第5节为结论。 2非线性特征提取 2.1核主分量分析(KPCA) Scholkopf利用核方法将PCA推广到非线性领域,从而达到提取像素高阶相关的目的【 。 给定一组均值为0的样本z , =1,…,M,zk∈R ,∑ 1 zk=0,则协方差矩阵为C= 击∑ 1 xix ̄r,对角化C即为特征值问题Av=Cv,对于所有特征值 0,且 ∈RⅣ\{0), 由于 =面1∑ 1(Xi,v)xi,因此所有的特征矢量都是z 一,XM的线性组合,特征值问题 可以写为 A(xk,V)=(Xk,Cv), k:1,…,M (1) 存在非线性映射 :R 卜÷R ,z ( ),F>N,协方差矩阵为 : ∑M ( T =1 对角化协方差矩阵等效于特征值问题 Av ̄: 考虑到所有 都是 ( )的线性组合,即 =∑ l Q ( 1)。式(3)两边对 ( )做内积,得 ( ( ), )=( ( ),co ), k:1,…,^ 将 代入上式 M , M / M \ ∑Q=1  ( ), ))=击∑Q=1  (\ ) ,∑地)=1 / )( ), )), 后=1,…,M(5) 定义Kij=( ( ), ( )),式(5)可简化为 MAKa=K2Q或MAa=Ka 2.2核辨别分析 Mika将LDA采用相同的处理方式推广到非线性领域,建立了两类核Fisher辨别分析 (KFD)[s]。Baudat进一步将两类问题推广到多类问题,称为推广的辨别分析(GDA)[引,其他 的称谓含义是一样的,如KDA,KFLD。 假定类别数为 ,第f类的样本数为Ttl,有∑ 1 Ttl=M。存在映射 :R R , ( ),F>N。协方差矩阵如式(2)。 类间散布矩阵 B = ∑几 , (7) 其中 = ∑ ( f ), GDA等效于如下的特征值问题 :Bey ̄ 维普资讯 http://www.cqvip.com 第2期 孙大瑞等:基于非线性特征提取和S、’M的人脸识别贷:法 309 与KPCA中处理方式同理,特征矢量 也可表示为 (zpq),P=1,…, ,q=1,…,r 的线 性叠加: 分别将式(2),(7),(9)代入式(8),化简,得 )、KKd=KwKQ (10) 其中K=(Kpq)p:1,…,L,Kpq=(kij)i=1,…,, , (‰j)pq=( ( p ), ( 叮J)), W=( ),:1,….L, q=1,…,L j=l,…,na Wl是nl×nl矩阵,每个元素均为1 rig。 考虑到算法稳定性问题,没有采用类内散布矩阵,特征位问题的求解需要一定的技巧,可 参见文献[2]。为了保证 归一化,最终OL需要除以、/Q.I Q。前述的KPCA以非线性方 式提供了样本在低维空间的最优表征,但最优表征并不意味着具有最优的辨别能力。 GDA是 ≯ LDA的非线性推广,是在最优辨别思想下得到的特征提取方法。由样本的GDA得到的特征表 ll 示是辨别特征,因此,对比于KPCA,GDA空间应具有更好的分类性能。 3支撑矢量机(SVM)分类器 p L性判别函数的一般形式为.q( )=W +b,归一化 ,使得1q.( )l 1。分类面方程为 ≯ Z p ∑ 设可分样本集为(Xi,Yi),i=1,…,n, ∈R ,Y∈{+1,一1)是类别标号。Ⅳ维空间中线 ∑ WT +b:0 (11) 如果分类面对所有样本正确分类,则满足 Yi(wT +b)一1 0,i=1,…,n (12) 分类间隔最大等价于I II 最小,因此最优分类问题可转化为约束优化问题,即在式(12)的约 I束下,求解函数式(1/2)wTW的最小值。由Lagrange乘子法可以变为对偶问题: min QTQQ—eTQ, n t 0, i=1,.一,礼, TQ=0 (13) 其中e= Q =yiYjg(xi, ),K(xi,xj)=(Xi,xj)。 在线性不可分的情况下,需要在条件式(12)中增加一个松弛项∈ 引,则约束优化问题变为 丢 c t( T t+b)一已 0,已 0,i=1,・一,n (14) 由于SVM是面向两类问题的,对于多类问题可以通过建立多个SVM分类器的方式加以解决。 种方法就是“One—against—one”,如果有 个类别,则每两类都需要建立一个SVM,共有 一K(K一1)/2个SVM,采用投票的方式进行分类。对于输入的样本,使之通过所有SVM分类 器,最后票数最多的类即为样本类别。 4实验结果 本实验是在Yale人脸库上进行的。库中含有15个人,每人11个图像,具有表情(眨眼、 微笑、恐惧等)、光照(侧向光)和附属物(如眼镜)的变化,如图1所示。 维普资讯 http://www.cqvip.com 310 电 子 与 信 息 学 报 笫26卷 圆 雪曩固雪 蠢雪雷管雪 图1’ le库中人脸图像示例 实验中主要考察了非线性特征提取的问题,即KPCA和KDA在余弦分类器干¨SVM分类器 下的性能。我们采fI】_线性SVM分类器,核方法特征提取中采用多项式核函数K =( ( t), ( ((Xi,XJ))“。表1给出的是每人训练样本为4,检测样本为7时的实验结果。 = 在表1中,d=1对应的是线性情况。由表1可以看出,非线性特征提取的性能优于线性特 征提取。在多项式核d的指数较小时,如果特征提取方法(KPCA或KDA)确定,一般来说, SVM分类器优于COS分类器。如果分类器确定,KDA优于KPCA。但当d较大时(如d为 10),SVM分类器反而不如COS分类器。这说明SVM分类器并不总是最优的。由表1还可以 看出,随多项式指数的增加, SVM分类器性能有所下降。实际上,从更大的指数范围看,COS 分类器性能也是下降的,这是因为并非所有的非线性特征都有利于识别分类 ,并且高次非线 性特征的辨别能力有可能低于较低次的非线性特征。 表2给出的是不同非线性特征提取方法和相应SVM的典型训练时间,与表1识别性能比 较,增加的核方法训练时间和SVM的附加训练时间是值得的。图2给出的是随特征数目的不 同,两种特征提取方法的识别率变化。由图中可以看出,如果特征维数较低,则SVM分类器性 能不如COS分类器,随特征维数的增大(对KPCA须大于2O,对KDA须大于12),SVM分 类器性能优于COS分类器。 表1 训练样本为4,KPcA(特征数且为40)和KDA的识别性能(%) 多项式指数d COS分类器 1 2 3 4 5 6 KPCA SVM分类器 97.14 97.14 95.24 95.24 95 24 95.24 KDA COS分类器 94 29 96.19 96.19 96.19 96.19 95.24 SVM分类器 97 14 98 10 97.14 96 19 96.19 96.19 92.38 93 33 93.33 94.29 94.29 94.29 10 95.24 93 33 95.24 94.29 表2 KPCA、 KDA特征提取和SVM分类器的训练时间(S) d=1 KPCA KDA 0.99 2.53 d=2 1.05 2.58 d=3 1.15 2.75 SVM 0 22 0.11 一般地,对于给定的样本,我们总能找到足够的特征建立一个合适的SVM分类器,其性 能优于最近邻(NN)分类器。这是因为NN严重地依赖于训练样本所包容的类内变化和类间变 化,在小训练集情况下,NN分类器的推广能力较差;而SVM是以结构风险最小化为基础的, 它不仅减小了训练集的错分风险,也减小了未见样本的推广的错分风险[引。因此,SVM可以 维普资讯 http://www.cqvip.com 第2期 孙大瑞等:基于非线性特征提取和SVM的人脸识别钾:法 311 Ⅲ 0 10 20 30 40 50 O 2 4 6 8 特 数Ff 图2训练样本为4,d=3时,不 持征数F】下的识别率 获得比NN更优的性能。 5结论 本文主要研究了基于核的非线性特征提取问题,通过核函数的使用达到提取像素高维相关 性的目的。由于传统的PCA和LDA只利用二阶相关,因此可以称为线性PCA或线性辨别分 析。文中核函数为多项式形式,高次多项式反映了高阶相关。我ff]也实验丫核方法和线性SVM 相结合的情况,由Yale人脸库上实验结果可知,非线性特征提取性能确实优于线性情况。KDA 的性能也优于KPCA,这和线性情况下是一致的。从实验中还可以看出线性SVM的优越性。 我们工作的下一步将集中在研究非线性SVM的性能以及SVM分类器的优化上。 参 考 文 献 Scholkopf B Snmla A Muller K.Nonlinear colnponent analysis a kel・liel eigeu ̄rallle])ro1)len1. Neuraf Computation,1998,10(5):1299 1319. Baudat G Anouar F.Gelmralized discriminant analvsis using a kernel approach.NE?LTaf Corn. putation,2000,12(10):2385 2404. Kim K I,Jnng K Kim H J.Face recognition using kernel principal component analysis.旭EE Signaf尸roccssing Letters,2002,9f21:40 42. Moghaddam B.Principal manifolds and probabilistic subspaces for visual recognition.IEEE ns.on Pattern Analysis and Machine Intelligence,2002 PAMI.24(61:780 788. Yang M H,Kernel eigenfaces VS.kernel fisherfaces:face recognition using kernel methods.Proc. of 5th IEEE Int Conf.on Automatic Face and Gesture Recognition } hington D C 2002: 215-220. Vapnik V.The Nature of Statistical Learning Theory,New York,NY:Wiley,1998,Chapter 5. GUO G.Li S Z.Chan K L.Support vector machine for face recognition.hnage and Vision Computing,2001,19(9-10):631—638. Mika S,Ratsch G,et a1..Fisher discriminant analysis with kernels.In Y.H.HU,J.Larsen,E. W.】soll,S.Douglas,ed.,Neural Networks for Signal Processing,IEEE,1999,IX:4卜48. Scholkopf B,Smola A,et a1..New support vector algorithms.Neural Computation,2000,12(5): 1207-】245. 孙火瑞 吴乐南 男, 1975年生,博士生,研究方向为人脸识别、计钟机视觉等. 男, 1952年生,教授,博士生导师,研究方向为多媒体信息处理、智能信息处理等 

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- azee.cn 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务