第３６卷 第ｌ５期 Ｄ，正３６ ・计算机工程 ２０１０年８月 Ａｕｇｕｓｔ ２０１０ Ｎｏ．１５ Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ 人工智能及识别技术・ 文章编号：ｌ００ ＿－３４２８（２ｏ１０）１５—＿ｏ１９１—．ｏ３ 文献标识码：Ａ 中圈分类号：ＴＰ３０１．６ 用于疲劳驾驶检测的人眼快速跟踪方法 彭召意 ，周玉 ，朱文球。 （１．湖南工业大学计算机与通信学院，株洲４１２００８；２．湖南工业大学电气与信息工程学院，株洲４１２００８） 摘要：针对疲劳驾驶检测中头部运动多变情况下的人眼跟踪问题，提出一种改进的Ｍｅａｎ－ｓｈｉｔ算法，通过对像素值分布特征及目标梯度 ｆ方向的密度分布特征的迭代公式进行交替迭代运算，实现对运动目标的平移跟踪和旋转跟踪，以改善头部深度旋转运动下的人眼跟踪性能。 实验结果表明，该方法在驾驶员头部运动姿态多变的情况下，能快速有效地对人眼进行跟踪和定位。 关健诃：人眼跟踪；疲劳驾驶；改进的Ｍｅａｎ—ｓｈｉｔｆ算法；梯度方向；多姿态 Ｆａｓｔ Ｈｕｍａｎ Ｅｙｅｓ Ｔｒａｃｋｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｄｒｏｗｓｙ Ｄｒｉｖｉｎｇ Ｄｅｔｅｃｔｉｏｎ ＰＥＮＧ Ｚｈａｏ．ｙｉ ，ＺＨＯＵ Ｙｕ ，ＺＨＵ Ｗｅｎ－ｑｉｕ （１．Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｈｕｎａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｚｈｕｚｈｏｕ ４ １ ２００８； ２．Ｓｃｈｏｏｌ ｏｆＥｌｅｃｔｒｉｃａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｈｕｎａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＴｅｃｈｎｏｌｏｇｙ，Ｚｈｕｚｈｏｕ ４１２００８） ［Ａｂｓｔｒａｃｔ］Ａｉｍｉｎｇ ａｔ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｅｙｅ ｔｒａｃｋｉｎｇ ｕｎｄｅｒ ｈｅ ｔｈｅａｄ ｍｏｖｅｍｅｎｔ ｖａｒｉｅｄ ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ｄｒｏｗｓｙ ｄｒｉｖｉｎｇ ｄｅｔｅｃｔｉｏｎ，ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａｎ ｉｍｐｒｏｖｅｄ Ｍｅａｎ—ｓｈｉｔ ｆａｌｇｏｒｉｔｈｍ．Ｂｙ ｕｓｉｎｇ ｐｉｘｅｌ ｇｒａｙ ｖａｌｕｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ａｎｄ ｔｈｅ ｄｅｎｓｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｅａｔｕｒｅ ｏｆ ｔａｒｇｅｔ ｇｒａｄｉｅｎｔ ｄｉｒｅｃｔｉｏｎ，ｉｔ ｐｅｒｆｏｒｍｓ ａｎ ａｌｔｅｒｎａｔｅ ｉｔｅｒａｔｅｄ ｏｐｅｒａｔｉｏｎ ｆｏｒ ｔｈｅ ｔｗｏ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｉｔｅｒａｔｉｏｎ ｆｏｒｍｕｌａ，ａｎｄ ｃａｒｒｉｅｓ ｔｈｅ ｒｏｔａｔｉｏｎ ａｎｄ ｔｒａｎｓｌａｔｉｏｎ ｍｏｖｅｍｅｎｔ ｔｒａｃｋｉｎｇ ｂｅｔｔｅｒ ｏｒ ｆｔｈｅ ｍｏｖｉｎｇ ｔａｒｇｅｔ，ＳＯ ｔｈｅ ｍｅｔｈｏｄ ｃａｎ ｉｍｐｒｏｖｅ ｔｈｅ ｅｙｅ ｔｒａｃｋｉｎｇ ｕｎｄｅｒ ｔｈｅ ｈｅａｄ ｒｏｔａｔｉｏｎ ｉｎ ｄｅｐｔｈ Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｅｔｈｏｄ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｒａｃｋ ｔａｎｄ ｐｏｓｉｔｉｏｎ ｔｈｅ ｈｕｍａｎ ｅｙｅ ｕｎｄｅｒ ｍｕｌｔｉ—ｐｏｓｅ ｈｅａｄ ｍｏｖｅｍｅｎｔ． ［Ｋｅｙ ｗｏｒｄｓ］ｈｕｍａｎ ｅｙｅｓ ｔｒａｃｋｉｎｇ；ｄｒｏｗｓｙ ｄｒｉｖｉｎｇ；ｉｍｐｒｏｖｅｄ Ｍｅａｎ－ｓｈｉｆｔ ａｌｇｏｒｉｔｈｍ；ｇｒａｄｉｅｎｔ ｄｉｒｅｃｔｉｏｎ；ｍｕｌｔｉ—ｐｏｓｅ １概述 疲劳驾驶问题是很多司机都会遇到的问题。据报道，近 几年全世界每年有近１００万人死于交通事故，而疲劳驾驶是 造成交通事故的主要因素之一。所以，研究一套有效的疲劳 驾驶检测和监控系统并及时给予报警，对于降低交通事故和 人员伤亡以及保护国家财产等方面具有十分重要的意义。早 期出现的接触式检测系统由于需要司机的配合，并且会对司 机的行车带来一定的影响，因此并不实用，取而代之的是非 接触式的检测系统。非接触式检测系统通过摄像或各种非接 触式的感应器来获取司机的表情和操作行为，判断他是否处 本文利用目标梯度方向的密度分布特征来改进Ｍｅａｎ—ｓｈｉｔ算 ｆ法，并利用该算法进行人眼快速跟踪和定位实验，结果证明， 在头部运动姿态多变时，该算法可以改善眼部跟踪问题，同 时节省了当目标丢失时需要重新检测初始位置的时问。 ２人眼跟踪 由于驾驶员需要随时关注车辆行驶过程中的各种情况， 因此在驾驶过程中，其头部在不断地运动。在依据眼部状态 对驾驶员进行疲劳检测时，需要实时跟踪定位眼部的位置， 从而取得眼部状态。 Ｍｅａｎ—ｓｈｉｔ算法是一种传统梯度估计算法，通过使用迭 ｆ于疲劳驾驶状态，进而进行适当处理。其中，通过采集驾驶 员面部视频对面部表情和人眼进行检测是广泛使用的一种非 接触式检测方式” Ｊ。 代计算方法，避免了穷尽搜索，具有较高的效率，所以，被 广泛应用于实时性较高的目标跟踪及定位领域。Ｍｅａｎ—ｓｈｉｔｆ 算法的迭代公式可表示为 ＪＪ２、 当采用对人眼状态进行检测判断疲劳驾驶时，需要对人 眼的位置和状态进行实时的跟踪和识别。目前，Ｍｅａｎ—ｓｈｉｔｆ ∑ ｇ… ＩＩｒ， ｚ Ｉｌ Ｊ＿ ．，， —— —— （１） 算法因其算法简洁、实时性好、能够处理目标变形、部分遮 挡等情况而广泛运用在对实时目标的跟踪上＿４ Ｊ。在实际应用 中，为了取得更好的跟踪效果，不少学者对Ｍｅａｎ．ｓｈｉｔ算法 ｆ进行了改进。比如，文献［５】基于Ｌｉｎｄｅｂｅｒｇ的尺度空间理论， 提出了一种方法用来解决Ｍｅａｎ－ｓｈｉｔ算法不能很好地适应目 ｆ标尺度变化的问题。文献［７】针对Ｍｅａｎ－ｓｈｉｔ跟踪算法由于均 ｆ… ｎ 二 Ｉ ｈ 计算过程主要由Ｙ，迭代计算出 ＋。一 ，然后通过判断 ≤￡是否满足来结束迭代过程。对于式（１），首先应 该设置目标的初始位置值Ｙｏ，所以，在疲劳驾驶的人眼跟踪 中，应先检测出初始的人眼位置。 基金项目：湖南省自然科学基金资助项目（０９ＪＪ３１１５）；湖南省教育厅 基金资助项目（０９Ｃ３２４） 匀剖分整个颜色空间造成许多空的直方图区间从而不能准确 表达目标颜色分布的缺点，提出了一种改进方法：先对目标 的颜色进行聚类分析，然后自适应地划分目标的颜色空间， 最后将新的颜色模型应用于Ｍｅａｎ－ｓｈｉｔ算法中。但是当司机 ｆ头部的运动频繁、姿态多样、旋转角度相差很大时，这些 作者简介：彭召意（１９６８一），男，哥４教授、硕士，主研方向：数字图 像处理，模式识别；周玉，副教授、硕士；朱文球，教授、硕士 Ｍｅａｎ—ｓｈｉｆｔ算法的跟踪效果不佳。针对头部姿态多变的情况， 收穑日期：２０１０—０４－１９ Ｅ－ｍａｉｌ：ｐｅｎｇｚｈａｏｙｉ＠１６３．ｃｏｒｎ 一】９１— ２．１初始人眼位置确定 为了获得初始的眼部位置，首先要进行人脸检测，然后 定位到眼部位置。本文采用基于自适应肤色和结构模型的多 姿态人脸检测方法进行人脸检测 Ｊ：先根据人体肤色模型检 因此，人眼跟踪可以简化为通过Ｍｅａｎ－ｓｈｉｔ向量反复迭 ｆ代，目标由当前帧Ｙｏ位置不断向Ｙ 移动，寻找使候选目标特 征与目标特征最相似的位置。在迭代过程中，如果Ｉｌｙ，一Ｙｏ『ｆ＜￡ 或者迭代次数达到预先设定的值，则终止迭代；否则，令 １ 测出人脸图像候选区域，在此基础上使用人脸结构模型定位 人脸和眼部位置。在检测人脸的同时，采用圆形模板检测出 似眼物，再使用圆形模板检测眼珠，进而检测出人眼。由于 双眼的移动都是随着头部的运动而进行的，它们的相对位置 是固定的，因此在对眼部进行跟踪时，不必对２只眼睛分别 进行跟踪，而是把２只眼睛合起来作为一个目标进行跟踪， Ｙ， ÷（Ｊ，。＋Ｊ， ），继续使用式（７）进行迭代计算。 ２．３ Ｍｅａｎ－ｓｈｉｆｔ算法的改进 在大部分情况下，司机眼睛都是盯着自己的前方，但是， 由于司机需要随时查看自己车辆两边的情况或者仪表情况， 因此其头部位置会有较大的变化，会有各种姿态出现。虽然 Ｍｅａｎ—ｓｈｉｔ人眼跟踪算法对于头部的平移运动跟踪有较好的 ｆ效果，但是对于多种姿态的情况，比如低头或头部旋转，跟 踪候选窗口中就会包含更多的背景像素，造成跟踪的偏差， 所以，跟踪效果不好。比如，图２所示的眼部跟踪结果中就 没有全部覆盖眼部区域，容易导致跟踪目标的丢失。文献［１ｏ】 以提高跟踪效率。初始定位人眼效果如图１所示。 旧明 提出了一种核窗宽自动选取的算法，对跟踪窗口渐变的目标 跟踪很有效，但是，在对驾驶员眼部跟踪时，眼部窗口大小 图１扭始定位人眼效果 ２．２基于Ｍｅａｎ—ｓｈｉｔｆ算法的人眼跟踪 定位初始人眼位置后，就可以使用Ｍｅａｎ—ｓｈｉｔｆ算法进行 跟踪，通常包括如下３个步骤： （１）确定目标窗口。目标窗口就是通过人眼定位检测到的 窗口。用｛ ： 表示在目标模型区域内标准化像素位置， 并采用一个等向核和单调递减的函数ｋ（ｘ），表明离中心越远， 该像素的权值越小 Ｊ。 设函数映射ｂ：Ｒ ｛１，２，…，ｍ），把ｘ 位置的像素颜色进 行ｍ级量化，用函数６（ ）表示，则目标模型中的特征ｑ （ ＝１，２，…，ｍ）的概率如下： 吼＝ｃ∑ ｌｋ（Ｉ ｌＸｉ ＩＩ５） ６（ ）一 ］ （２） 其中， 是Ｋｒｏｎｅｃｋｅｒ ｄｅｌｔａ函数；常数Ｃ为标准因子，其取 值为 Ｃ＝ｌ／Ｚ＂：。ｋ（Ｉｌ ） （３） （２）候选目标的表示。用 表示候选目标的像素 位置，当前帧的中心为Ｙ。使用相同的核函数ｋ（ｘ），带宽为ｈ， 候选目标中第ｕ（ｕ：１，２，…，ｍ）个特征的概率Ｐ （ ）可表示为 ¨２、 Ｐｕ（Ｙ）＝ ∑叫ｆＪ Ｉ （ （４） 其中， 为标准化常数，不依赖于Ｙ： ＝ Ｉ『］ ： 羽 √ 】 （８） 变化不大，而窗口的角度变化可能更大，所以，这种方法在 驾驶员头部旋转角度过大时，对眼部的跟踪效果并不好。为 此，在考虑Ｅｌ标的像素值分布特征和几何信息的基础上，本 文利用目标梯度方向的密度分布特征改进Ｍｅａｎ—ｓｈｉｔｆ算法， 从而改善头部做多姿态运动时的眼部跟踪性能。 图２头部旋转时的跟踪效果 设｛ 为目标像素值梯度幅角离散值，相当于把 （－７ｃ，Ⅱ］等分为 个角度，其对应的密度分布为Ｂ（ ） 。 ． 然后设计基于ｋｅｒｎｅｌ的加权直方图公式 ］： ） ｌ『］ （９） 尼 ｌ『］ 其中， 表示目标的密度分布； （ ）表示候选目标的密度 分布；Ｃ和 为归一化系数： Ｃ＝ ７／ ｌ『］ （１１） ＝／∑ ｌ『］ （１２） 参照式（６），把目标相似度定义为 （ ）＝∑ ｔ√ｐ （ ） （１３） 参照式（７），可得使 （ ）极大时０的估计值 ，， 其迭代 计算公式如下： ＋。＝ 『］ （１４） ］ 式（１４）是从方向角度对目标进行跟踪的， 因此，能跟踪 目标的旋转。 改进后的算法在目标平移跟踪的基础上， 结合了目标的 旋转跟踪，算法步骤如下： （１）利用前述的方法进行初始人眼定位，获得初始的搜索 窗口，即设定式（７）和式（１４）中的初始位置值Ｙ０和方向角 。 （２）计算当前位置的Ｐ （Ｙ），通过式（７）计算ＹＩ。 （３）计算ｐ （ ），并通过式（１４）计算得到 。 （４）如果 一ｙｏｌＪ ＜￡，并且 一 ，ＪＪ＜￡，则终止；否则， Ｊ，０ Ｙ１，０， ０…，转至第（２）步。 溷阻 疆阻 图４算法改进后的跟踪效果 改进后的方法通过对式（７）和式（１４）的交替迭代运算进行 ４结束语 在疲劳驾驶检测中的眼睛跟踪及定位方面，一旦头部运 动姿态多变，传统的Ｍｅａｎ—ｓｈｉｆｔ算法在跟踪时窗１２１偏差较大， 容易丢失目标。本文在采用像素值分布作为特征的基础上， 结合目标梯度方向的密度分布特征，对传统Ｍｅａｎ—ｓｈｉｔ方法 ｆ进行了改进。改进后的方法通过对２个特征的迭代公式进行 眼部平移和深度旋转的跟踪。由于传统Ｍｅａｎ—ｓｈｉｆｔ算法在对 移动目标进行跟踪时，一旦目标丢失，需要重新进行目标检 测和定位。特别是在驾驶员眼部跟踪过程中，由于其头部的 旋转动作较多，更容易丢失目标，因此需要花费大量时间进 行眼部初始位置的检测。采用本文的改进方法后，即使目标 做了旋转运动，由于考虑了目标的方向角度，因此不太容易 交替迭代运算来实现对头部姿态多变时的眼部跟踪，从而减 少了跟踪过程中由于丢失目标导致的重新检测和定位人眼的 过程，大大提高了跟踪的效率。实验结果表明，该方法在头 丢失目标，可以大大减少重新检测和定位人眼的过程，实现 对驾驶员眼部进行快速有效的跟踪。跟踪到人眼后，可以通 过判断眼睛闭合时间的长短来分析驾驶员的疲劳程度，闭合 时间越长，说明驾驶员的疲劳程度越严重。 部运动多变时具有较好的跟踪效果，并且算法本身的处理速 度能满足实时性的要求。但是，在驾驶员突然转头，或者对 面有强光的照射时，仍需要重新进行人眼定位，从而影响跟 踪的效率，这是下一步要继续研究的问题。 ３实验结果 为了验证算法的有效性，拍摄了不同状态、不同光照和 不同姿态的头部运动视频。然后，对每段视频截取一系列的 位图，形成图像序列。在检测前对这些位图进行滤波等预处 理，然后对第１幅位图进行人眼检测，实验中把双眼合起来 作为一个目标，然后标记初始位置和方向角。整个实验截取 了１５０幅不同光照和姿态的图像序列。 表１是算法改进前后的跟踪效果统计数据，其中，跟踪 不成功表示丢失了目标。通过分析发现，跟踪不成功的情况 大多发生在头部偏转角度较大的情形下。所以，在头部处于 不同姿态过程中，比如在头部深度旋转时，改进后的算法比 未改进的算法跟踪更准确，也很少出现丢失目标的情况，节 省了很多用于眼部重新检测定位的时间，大幅提高了跟踪的 效率。 表１ ２种算法的跟踪结果比较 参考文献 ［Ｉ】Ｖｕｒａｌ Ｅ，Ｃｅｔｉｎ Ｍ，Ｅｒｃｉｌ Ａ，ｅｔ ａ１．Ｄｒｏｗｓｙ Ｄｒｉｖｅｒ Ｄｅｔｅｃｔｉｏｎ Ｔｈｒｏｕｇｈ Ｆａｃｉａｌ Ｍｏｖｅｍｅｎｔ Ａｎａｌｙｓｉｓ［Ｃ］／／Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｈｕｍａｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ．ｉｓ．１．］：ＩＥＥＥ Ｐｒｅｓｓ， ２００７：６．１８． ［２］林广宇，魏 朗 基于数字图像的汽车驾驶员行驶状态判别［Ｊ］． 计算机工程，２００７，３３（２２）：１ ９３—１ ９４． ［３］张祖涛，张家树．基于ＵＫＦ非线性人眼跟踪的驾驶员疲劳检 测［Ｊ］＿西南交通大学学报，２００８，４３（６）：６９７—７０２． 【４］Ｃｏｍａｎｉｃｉｕ Ｄ，Ｒａｍｅｓｈ Ｍｅｅｒ Ｅ Ｋｅｒｎｅｌ—ｂａｓｅｄ Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａ￣ｅｍ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２００３， ２５（５）：５６４－５７５． ［５］ＣｏＬｌｉｎｓ Ｒ Ｍｅａｎ—ｓｈｉｆｔ Ｂｌｏｂ Ｔｒａｃｋｉｎｇ Ｔｈｒｏｕｇｈ Ｓｃａｌｅ Ｓｐａｃｅ［Ｃ］Ｎ Ｐｒｏｃ．ｏｆ Ｃｏｎｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａａｅｍ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｗａｓｈｉｎｇｔｏｎ，Ｄ．Ｃ．，ＵＳＡ：ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ，２００３：２３４—２４０． ［６】齐飞，罗予频，胡东成．基于均值漂移的视觉目标跟踪方法综 图３、图４显示了算法改进前后人眼跟踪的效果。可以 看出，算法改进后，目标区域基本全部覆盖了目标像素点， 从而保证了跟踪的稳定性。 述［Ｊ１．计算机工程，２００７，３３（２ １）：２４—２７． ［７】李培华．一种改进的Ｍｅａｎ—ｓｈｉｆｔ跟踪算法［Ｊ］＿自动化学报，２００７， ３３（４）：３４７—３５４． ［８］文志强．基于均值偏移算法的运动目标跟踪技术的研究【Ｄ］． 曩 曩 图３算法改进前的跟踪效果 长沙：中南大学，２００８． ［９］Ｐｅｎｇ Ｚｈａｏｙｉ，Ｚｈｏｕ Ｙｕ，Ｗａｎｇ Ｐｉｎｇ．Ｍｕｌｔｉ—ｐｏｓｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ Ｂａｓｅｄ ｏｎ Ａｄａｐｔｉｖｅ Ｓｋｉｎ Ｃｏｌｏｒ ａｎｄ Ｓｔｒｕｃｔｕｒｅ Ｍｏｄｅｌ［Ｃ］／／Ｐｒｏｃ．ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｏｉｌ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ Ｓｅｃｕｒｉｙ．［ｔＳ．１．］：ＩＥＥＥ Ｐｒｅｓｓ，２００９：３２５－３２９． 【１Ｏ】彭宁嵩，杨杰，刘志，等．Ｍｅａｎ—ｓｈｉｔ跟踪算法中核函数窗 ｆ宽的自动选取［Ｊ］．软件学报，２００５，１６（９）：１５４２．１５４９． ［１ １］王长军，朱善安．基于Ｍｅａｎ—ｓｈｉｆｔ的目标平移与旋转跟踪（Ｊ】． 中国图象图形学报，２００７，１２（８）：１３６７．１３７１． 编辑一张帆 １９３—
