第5卷第5期 江南大学学报(自然科学版) Vo1.5 No.5 2006年1O月 Journal of Southern Yangtze University(Natural Science Edition) 0ct. 2006 文章编号:167i一7147(2006)05—0513—05 基于肤色及深度信息的人脸轮廓提取 刘 岗 , 沈晔湖 ' 胡静俊, 刘济林 (浙江大 学信息与通信工程研究所,浙江杭州310027) 摘 要:提出并实现了一种新的提取人脸封闭轮廓的方法.首先通过三目立体视觉系统获得彩色 图和深度图,然后利用彩色图的肤色信息和深度图的深度信息而惟一确定的面部区域,最后再通 过对面部肤色区域轮廓提取并结合活动轮廓模型(Snake)提取下巴,从而完成整个人脸轮廓的提 取.该算法能够较好地提取人脸的轮廓线,克服了下巴边界难以从颈部区域提出的困难,定位精度 高,边缘连续性好,满足了人脸轮廓特征提取的要求. 关键词:立体视觉;人脸检测;轮廓提取;活动轮廓模型 中图分类号:TP 391.41 文献标识码:A Face Contour Extraction Algorithm Based on Skin Luma and Depth Information LIU Gang,SHEN Ye—hu,HU Jing-jun,LIU Ji—lin’ (Institute of Information Science and Electrical Engineering,Zhejiang University,Hangzhou 310027,China) Abstract:This paper proposes a new method for face contour extraction.Triclops Stereo Vision System is used to get color images and depth images.Then,we make use of skin luma in color images and depth information in depth images to get the face area.Finally,we extract the whole face contour by extracting upper face contour in the face region through skin color model and extracting chin contour through active contour model(Snake).This algorithm can get rid of the trouble that chin contour is hardly extracted from the neck area,robustly extract face contour with high precision and satisfy the demand of face contour feature extraction. Key words:stereo vision;face detection;contour extraction;active contour mode1 人脸轮廓的提取可以实现人脸分割与纹理的 课题研究相对较少. 提取,是人脸特征检测和人脸识别等人脸图像分析 人体肤色是一种简单有效的特征,对颜色特征 的重要前提,也是许多其他艺术影像处理的基 的处理方法较人脸其他特征的处理方法简捷.常用 础 ¨.但目前许多提取人脸轮廓的方法都是基于二 的肤色检测空间有RGB归一化、HIS、CYMK、 维(2D)的,对三维(3D)条件下如何提取人脸轮廓的 CbCr方法等嘲.使用皮肤的颜色模型,就可从图像 收稿日期:2005—02-27;修订日期:2005一O4—15. 作者简介:刘岗(1974一),男,江苏盐城人,通信与信息系统专业硕士研究生. *通讯联系人:刘济林(1947一),男,湖北红安人,教授,博士生导师.主要从事机器视觉智能、智能交通系统和数 字音视频等研究.Email;liujl@isee.zju.edu.ca 维普资讯 http://www.cqvip.com
514 江南大学学报(自然科学版) 第5卷 中检测出类似皮肤的像素.因为对于皮肤而言,其 类似皮肤的像素会聚类在一起形成一个区域,而不 像复杂背景中类似皮肤的像素是离散的,不能聚类 成一个族.当然利用颜色信息的缺点,使其受光照 的影响很大,当光照变化时,图像的像素值也随之 变化.在2D条件下,判断一块肤色区域是否为人脸 需要较为繁杂的算法,而且为了准确起见,肤色模 型的建立也较复杂.但在3D条件下,找出人脸位置 则较容易,同时可以不考虑背景中类似肤色的影 响,这样肤色模型可选择较为简单的算法. 在2D条件下,下巴检测比较困难.因为多数算 法都是利用亮度信息,然而亮度信息受光照影响较 大,导致了算法的局限性.但如果利用深度信息,就 可避免光照的影响,而且由于人的下巴跟脖子之间 深度值相差较大,容易检测,所以算法的鲁棒性也 好得多. 基于上述思考,在拥有3D数据的情况下,提出 并实现了一种简单实用的人脸封闭轮廓提取的方 法:用肤色和深度信息惟一确定面部区域,通过对 肤色区域轮廓提取结合Snake算法提取整个人脸 轮廓.提取的人脸外轮廓线有单边线,具有定位精 度高,边缘连续性好,杂散边缘少的特点. 1三目立体视觉系统 立体视觉(Stereo vision),指通过一个场景的 两幅或更多不同视角的图像推理获得场景的三维 结构信息的过程.其基本工作原理是基于人眼的3D 感知机制.人的两只眼睛在视物时,因为所处角度 的不同,看到的图像也有一定的差别.利用这种差 别信息可得到物体到眼睛的距离,即物体的3D结 构信息. 目前在商业产品中,基于立体视觉技术的3D 数据获得系统主要有Triclops、ShapeCapture等.文 中使用的3D数据是通过Trielops公司三目立体视 觉系统获得的.通过该设备可以得到彩色图像、立 体图和深度图,文中算法中只用到了彩色图像(见 图1)与深度图像(见图2). 图1彩色图 Fig.1 Color image 图2深度图 Fig.2 Depth image 2算法基本思想 文中算法的基本思想,首先是根据肤色特点将 图像中所有可能的类似肤色的区域都检测出来,同 时根据深度信息将人物从背景中分离出来,并且根 据人头部的特点获得仅包括头部的矩形区域,然后 利用获得的矩形区域,结合肤色检测的结果将人脸 提取出来.通过轮廓提取,可得到人脸的初步轮廓, 再根据先验知识,剔除掉轮廓中的脖子部分,最后 利用深度图,结合Snake算法,将下巴检测出来,从 而得到一个完整封闭的人脸轮廓,具体流程见图3. 三目视觉没备 深度图 II 彩色图 水平投影 II 垂直投影 ll 肤色检测 初步轮廓提取 头部矩形框 下巴初始点 面部粗轮廓 二二[ 外围轮廓跟踪 Snake提取 ===厂一 下巴轮廓 皇 上半脸轮廓 完整闭合轮廓 图3算法框图 Fig.3 Diagram of algorithm 3 算法描述 3.1肤色检测 假设图像大小是M×N,第72幅图各点像素值 为J ( ,3,).在正确的人脸区域中,肤色一定是占主 导地位的像素色彩值.肤色虽然因人而异,但研究 表明,肤色在色彩空间中一定范围内还是呈聚类特 性的,特别是在排除了光照亮度和经过变换的色彩 空间中.目前肤色模型的分类方法有很多种,但是 由于文中算法已经通过深度信息,提取出头部区 域,去除了绝大部分的背景中接近肤色的物体,这 维普资讯 http://www.cqvip.com
第5期 刘岗等:基于肤色及深度信息的人脸轮廓提取 515 样可以用较为简便的肤色模型嘲来区分面部和头 发以及少量的背景,现已取得较好的效果. 肤色模型描述:定义r—R—+— G+B, g— ,Y一0・30R+0・590+0・11B 其中,RGB为原图像素的值.那么,当满足式(1) 时,该像素颜色即为皮肤的颜色. f I0.333<r<0.664 1 0.246<g<0.398 {r>g I ( ) l g≥0.5—0.5r 【Y>40 采用此模型的优点是:检测出的肤色点密度较 好,缺点是面部眼睛、嘴、鼻子等信息不够突出.也 就是说,细节方面比其他模型如Rein—lien Hsu的 YC C,色彩模型Ⅲ要差得多.但是本文算法目的是 提取轮廓,而不是提取特征,所以采用这种肤色模 型更为适应.由于噪声普遍存在于数字图像中,会 在人脸区域中产生非肤色的噪声,所以进行轮廓提 取前要进行去噪处理.亦即在以每一个肤色像素为 中心的5×5邻域内统计肤色像素的个数,当超过半 数时,中心点保留为肤色,否则认为是非肤色,处理 结果见图4. 图4去除噪声的肤色图 Fig.4 The result after skin。color detection and filtaning 3.2初步轮廓提取 初步轮廓提取的算法非常简单,即如果原图中 有一点颜色为白色,即RGB值都为255,而且当它 的8个相邻点皆为白色时,则将该点变成黑色,即 RGB值都为0.为了比较,对采用本算法的肤色检测 结果和采用YC C,的肤色检测结果分别进行轮廓 提取.由于Rein—lien Hsu的YC C,色彩模型检测出 来的肤色密度不够,导致提取出的轮廓无法进一步 处理.而本文采用的肤色模型检测出的肤色点密度 很高,所以提取出来的轮廓连续性很好,而且杂点 也相对较少. 3.3头部矩形框提取 根据深度信息的特点,离摄像头越近,深度值z 越小,离摄像头越远,深度值z越大.反映在图2中,亦 即离摄像头近的地方颜色亮一点,离摄像头远的地方 颜色暗一点.背景比人物离摄像头远,所以背景的深 度值比人物的深度值大,可以通过设定一个阈值 thresh将图1中人物提取出来,得到的即是图5.即 16(x,y)一 I1  ̄thre s 恤。为了方便处理,将图5作二值化处理,得 一 25 :㈤ 鉴于人头部的特点,头部较小而肩膀较宽,可 在水平方向上投影得到水平投影I ( ),在垂直方 向上投影得到垂直投影I ( ),即 I ( )一 I(x, ) (4) I ( )一 I(x, ) (5) 根据投影结果,设计两个单峰检测器,分别检 测出人物头部的宽度和高度,从而得到包括完整头 部的初始矩形框,见图6.用图6的矩形框,对图7进 行截取,对超过矩形框外的部分舍弃,只保留矩形 框内的部分,再做进一步处理. 图5 去除背景的图1 Fig.5 The fig.1 after background erasion 图6 矩形框 Fig.6 Rectangle block in fig.1 一 图7 初步轮廓的提取结果 Fig.7 The result of contour preextraction 维普资讯 http://www.cqvip.com
516 江南大学学报(自然科学版) 第5卷 3.4外围轮廓跟踪 因为在初步提取出的轮廓里包含了很多杂点, 而且它们的轮廓边缘粗细不均匀.为了去除轮廓内 部的杂点,并且使轮廓边缘粗细均匀,文中采用了 轮廓跟踪法.轮廓跟踪法具体方法是:首先找到最 下面一行的轮廓边界点A,B.其中,A是最左边的 轮廓边界点,B是最右边的轮廓边界点.然后由A开 始进行轮廓跟踪,按左上、上、右上、右、右下、下、左 下、左的顺序找相邻点中的边界点C.如果C就是B 点,则表明已经跟踪了一圈,程序结束.否则从C点 继续找,一直找到B点为止.然后,再逆序由B点找 到A点,这样得到的轮廓不仅粗细均匀,并且去除 了轮廓内的杂点,见图8. 一 图8 轮廓跟踪结果 Fig.8 The result after contour track 通过观察图8,得知人脖子的轮廓接近两根直 线,而人脸的轮廓接近于一个椭圆,并且直线在椭 圆下方.文中首先检测出轮廓中接近直线的部分, 即脖子部分,又因为一般脖子部分轮廓曲率变化相 对于左右脸颊部分是相反的[5].根据这个原则可以 找到脖子部分的边缘,再将脖子去除,同时获得轮 廓的最下面的两点E,F的坐标,见图9. 一 圈9 去除脖子的轮廓 Fig.9 The fig.8 after neck erasion 3.s下巴提取 由于人脖子与下巴肤色相同,所以仅通过肤色 信息无法提取出下巴.如果使用亮度信息检测下 巴,极易受光照的影响,但若利用深度信息,就避免 了光照影响,而且人的下巴与脖子之间,深度跳跃 明显,所以文中利用深度图提取下巴.首先在图2 中找到文中3.4节所述中的E,F两个坐标点,然后 以E,F作为椭圆长轴的两个端点,再作1个长短轴 之比为2:1的下半椭圆曲线作为下巴的初始曲 线,采用Snake算法[6]得到下巴部分的轮廓. 文中采用的Snake能量函数(离散形式)为[7] " E一 I[EInt( )+E ( )] (6) =1 E ( )一口(f)・E ( )+fl(i)・E-nt 2( )(7) E.nt1( )一I 一口卜1 I (8) EInl 2( )一I口斗1—2vi+口 1 I (9) E ( )一y( )I I2(z, )I (10) 式中:E 为Snake的内部能量;E。 为外部能量; 为曲线上的第i个控制点; 为控制点数目;E 和 E 。分别为一阶和二阶连续强制力;a( )为离散的 一阶项系数; ( )为离散的二阶项系数;y( )为梯度 幅度系数. 然后,再对Snake提取结果进行曲线拟合.拟 合实验的结果表明,如果曲线拟合阶数过高,会在 边缘处产生振荡;拟合阶数太低,拟合曲线较平滑, 会导致拟合曲线与原边界点偏离较大[8].文中对 Snake提取结果采用了14阶曲线拟合,拟合结果见 图10.最后,结合3.4节得到上半部人脸的轮廓(见 图9)和下巴部分的轮廓(见图10),这样就得到了完 整人脸的轮廓(见图11).观察图10可以发现,轮廓 的定位误差在2~3个像素之内,定位精度较高,而 且是单边线,边缘连续性较好,杂散的边缘也较少. 图lO下巴轮廓 Fig.10 Chin contour in fig.2 图11人脸轮廓图 Fig.11 Facial contour in fig.1 4 结 语 作者提出并实现了一种基于肤色及深度信息 的提取人脸轮廓的算法,其思路是用二维彩色图像 与三维深度图像相结合,由于是利用深度信息提取 出下巴轮廓,能够较好地避免光照影响,克服了下 巴边界难以从颈部区域提出的困难.经过对多幅图 维普资讯 http://www.cqvip.com
第5期 刘岗等:基于肤色及深度信息的人脸轮廓提取 517 的轮廓提取,实验结果较理想.同时,该算法还可以 平单峰检测器,把多个人脸分成多个单独的人脸图 推广为检测多个人脸轮廓.具体做法是通过多个水 像,然后就可运用本文的算法分别处理. 参考文献: E1]Gunn S R,Nixon M S.Global and local contours for head boundary extraction[J].International Journal of Computer Vision,1998,30(1):43-54. E2]康学雷,邵凌,张立明.一种基于肤色和模板的人脸检测方法EJ3.红外与毫米波学报,2000,19(3):209-214. [33张宏林.Visual C++数字图像模式识别技术及工程实践[M].北京:人民邮电出版社,2003:389-390. [4]Rein Lien Hsu,Abdel-Mottaleb M,Jain A K.Face detection in color image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):696。706. [5]陈其杰,张桂林.人脸外轮廓线的提取方法[J].红外与激光工程,2001,30(4):271-274. [63 Kass M,witkin A,Terzopoulos D.Snakes:Active contour models[J].International Journal of Computer Vision,1988,1 (4):321-331. [73李熙莹,倪国强.一种自动提取目标的主动轮廓法[J].光子学报,2002,31(5):606-610. E83毋立芳,沈兰荪,孔潇,等.基于曲线拟合的人脸分割算法[J].计算机学报,2003,26(7):893-897. (责任编辑:彭守敏) (上接第512页) (512×512,12bit)为例,用查找表替换线性算法,使 式替换固有的线性变换,缩小了图像数据变换的范 围.另外,将几个转换子步骤合并为一个,减少了不 必要的中间操作. 在灰度转换过程中,还引入更快的Bresenham 算法构造线性查找表.通过改进,提高了GSPS灰度 转换过程的性能,改善了原有实时动态调窗严重迟 滞的现象,满足了判片医生对调窗的性能要求.该 得线性运算数据量减少到原来数据量的1/64;合并 不同步骤的查找表,使得查表次数减少近2/3. 采用Bresenham算法创建查找表,避免了浮点 除法运算,用整数和移位操作,使得建表更为迅速, 这一点在高色深、大窗宽情况下尤其明显. 4 结 语 在DICOM 3.0标准的基础上,采用查找表方 算法高效、实用,内部各子步骤具备统一的算法形 式,通过适当裁减可应用于其他类似的场合. 参考文献: [1]National NEMA standards publication PS 3.14.Digital imaging and 0111m ̄mications in medicine(DICOM),Part 14: Grayscale Standard Display Function[C]//Washington,D C:National Electrical Manufacturers Association,1998:37-38. [2]Working group 11 display:Digital imaging and communications in medmine(DICOM).DICOM standards committee[S]// Supplement 33:Grayscale Softcopy Presentatlon State Storage,Final text,1999. [3]Marco Eichelberg,JOrg Riesmeier,klaus kleber,et a1.Consistency of softcopy and hardcopy,Preliminary Experience with the New DICOM Extensions for Image Display[C]//Medical imaging 2000:PACS design and evaluation:engineering and clinical issues,Blaine G J,Siege1.E L,Washington,D C:Eds Proc.SPIE,2000:57-67. [4]David Clunie.DICOM softcopy presentation state storage and print presentation LUT,NEMA Seminar SPIE MI 2000 [EB/0L].(2000—05—16)[2000—10-123.http:/www.dclunie.com/papers/sipe_mi—nema—softcopy.pdf/2oooo516.htm1. [5]张尤赛,陈福民.DICOM医学图像窗I:1变换的加速算法[J].计算机工程与应用,2003,39(13):218-220. [6]潘云鹤.CAD系统与方法[M].杭州:浙江大学出版社,1996. (责任编辑:彭守敏)
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- azee.cn 版权所有 赣ICP备2024042794号-5
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务