基于局部锐度分布耦合核典型相关分析的图像匹配算法

Vol. 42

No. 7

西南师范大学学报（自然科学版）

Journal of Southwest China Normal University (Natural Science Edition)

2017年7月

Jul.

2017

DOI：10. 13718/j. cnki. xsxb. 2017. 07. 006

基于局部锐度分布耦合核典型相关

分析的图像匹配算法^

李学囯、

陈珂

2

1. 重庆科创职业学院信息与机电工程学院，重庆永川402160;2. 广东石油化工学院计算机与电子信息学院，广东茂名525000

摘要：提出了基于局部锐度分布耦合核典型相关分析的图像匹配算法.首先引入Forstner算子对特征点进行精确 提取；随后计算每个特征点对应的锐度值，从而构造局部锐度分布模型，生成低维度的特征描述子；接着引入归一 化互相匹配策略（Normalized Cross Correlation, NCC),完成特征点的匹配，增强算法的鲁棒性；最后基于核典型相 关分析（Kernel Canonical Correlation Analysis, KCCA)技术，建立归一化距离函数，对匹配特征点进行提纯，剔除 误匹配点.仿真实验结果表明：与当前图像匹配算法相比，本文算法不仅具有较高的匹配精度及较强的鲁棒性，而 且还具有较高的匹配效率.

关键词：图像匹配；局部锐度分布；核典型相关分析；Forstner算子；归一化距离函数中图分类号：TP391

文献标志码：A

文章编号：1000 - 71(2017)07 - 0031 - 08

图像匹配作为数字图像处理的一项重要技术，已在医学检测、军事侦察、遥感探测等多个领域得到了 广泛的应用[1i]. Mubarak™提出了基于广义图的多最近邻特征匹配图像地理定位的方法，利用多最近邻 修剪方法剔除无关特征点，然后利用广义最小团图选取单一最邻近点的方式完成图像匹配，实验证明该方 法能较好完成图像地理位置的匹配，但当图像被噪声严重污染时，该方法的匹配效果较差；杨新锋[4]等人 提出了基于空间变换迭代的SIFT特征图像匹配算法，通过将特征点集匹配转化为特征向量与点集的几何 分布信息相关的函数最优化求解问题，并且在退火框架下，迭代求解点集匹配和空间仿射变换的对应关 系，完成图像匹配，但由于该方法在空间变换约朿上选用的是仿射变换，在非刚性变换及宽基线情况下该 方法匹配效果不是很好；Sima[5]等人利用参数优化策略对SIFT方法进行改进，并用改进的SIFT方法完 成了图像匹配，实验表明该方法具有很好的匹配精度，但由于SIFT描述子具有较高的维度，使得计算量 较大，匹配速度较慢，最终导致算法的效率不高；杭利华[6]等人提出了基于仿射变换与B样条自由形变的 医学图像配准，采用互信息作为相似性度量，利用仿射变换进行粗配准，B样条自由形变进行精配准，进而 实现医学图像的匹配，但当匹配图像之间的仿射变换较大时，由于B样条自由形变容易陷人局部极值，故 容易导致匹配失败.

对此，本文提出了基于局部锐度分布耦合核典型相关分析的图像匹配算法.实验表明本文算法具有匹 配精度高、鲁棒性强以及匹配效率高等特点.

①收稿日期：2016 - 07 - 21

基金项目：重庆市2017年度教委科学技术研究项目（KJ1752486, KJ1752485);广东省自然科学基金项目（2016A030307049). 作者简介：李学国（1975 -)，男，四川资中人，副教授，主要从事图像处理、信息安全、数据挖掘技术的研究.

32西南师范大学学报（自然科学版)

http ：//xbbjb. swu. edu. cn

第42卷

基于局部锐度分布耦合核典型相关分析的图像匹配算法

本文图像匹配算法的流程图如图1所示.从图1可见，首先利用Forstner算子对图像进行特征点精确 提取，接着构造局部锐度分布模型并利用该模型生成特 征描述子，然后采用归一化互相匹配策略（Normalized

Cross C〇rrelati〇n，NCC)对特征点进行匹配，从而完成图

像的初始匹配，初始匹配的图像中难免会存在一些错误 匹配点，最后，根据KCCA方法构建归一化距离函数，对初始匹配的特征点进行提纯，将错误匹配点筛除，进 一步提高算法的匹配精度，完成图像匹配.

1. 1

提取特征点

在现有的众多特征点提取算子中，Forstner算子具 有精度和效率较高、复杂度低的优势[7].该算子对各像 素点的Robert梯度及窗口的灰度协方差矩阵进行计算，通过搜索近似圆的误差椭圆的点作为特征点[€，Forst-

ner算子提取特征点的主要过程如下[9]:

1)对各像素点的Robert梯度进行计算：

K

dh

du

dhdv

h(i + l, 7+1)

(1)

h i i, j + 1) — h(i + 1, j

)图1 本文图像匹配算法流程图

2)对大小为々X々窗口的灰度协方差矩阵进行计算：

G = P 1(2)

在本文中，依据文献[10]，取

3)对兴趣值进行计算：

=6M6.

iDetP

(trPy2DetPtrP

(3)

其中：DmP是矩阵P的行列式，

4)定 位阀值和

是矩阵P的迹.

依据文献[11]，的值通常在0. 5〜0. 75之间选取，其计算式如下：

^acv (a = 0. 5 ~ 1. 5 )

\\/3j〇^(j3 = S)

(4)

若步骤(3)中得出的g和满足9>&且则该点为备选点.

1.2

5) 确定一个合适的窗口，并对位于其中的所有备选点进行比较，最大的备选点即为特征点.

生成特征描述子

采用基于局部锐度分布的方法获取特征描述子.可通过边缘检测器获取边缘图.假设在第g个边缘\\ 上有z个特征点：

& = {尺，…，尺，…，以

(5)

随机选取一个特征点作为中心，然后分别向前和向后移动t个点的位置，以获取两个特征点

第7期

李学国，等：基于局部锐度分布耦合核典型相关分析的图像匹配算法33

，3^1)和，ym) •该过程如图2所示.

在图2中，外部的实线表示Sg的一段边缘线，虚线 表示一个圆弧，该圆弧是以〇为中心，利用P,

个点做圆拟合得到的.约定整数t 6 [2, 4]，由于t的值 较小，可将三角形P,

Pi tP i+t I

I

I Pi tP,| PiPi t | + |

看成近似等腰三角形，即

p,-t

有| P,P, , | = | P,P,+, |，则有以下关系成立：

• /

\\ — I

— I

3

Pi (P i+t I

—

|

(6)

图2 构造局部锐度分布模型示意图

那么在第g个边缘上的第z个特征点对应的锐度值YP?表述如下:

YP?

'A \\ — 1 1 - sin/1

' , I Pi tP

.PiPi t | + |

|

(7)

设A是第g个边缘的中心点，按照同样的方法将其向前和向后进行移动获取2Z个点，则可通过(7)式 进行计算得到包括尺在内的2Z + 1个点的锐度值，则尺的局部锐度分布模型表述如下：

DYPl = (YPb :，…，风

其对应的平均值MYP?为：

MYPI -V YP^土，+ 1

其对应的方差FYP?为：

FYPI = 2(YP^d-MYPV221 -\\- 1d = -l

1，…wv,)(8)

(9)

(10)

则点A的特征描述子为：

TPi = (xb，yb，MYH，FYPh b，q)(11)

其中：^为特征点h在图像中的坐标.特征描述子的维数大小对算法效率有很大的影响，从式（11)可

见，本文的特征描述子的维数为1X 6,该低维数的特征描述子在很大程度上减少了算法的计算复杂度，提 高了算法的效率.

1.3

图像的粗匹配

NCC算法具有对光照强度的线性变化敏感度低且抗干扰性能强等特点[12].在此将引用NCC方法完成

图像的粗匹配.

设0表示初始图像，^表示待匹配图像.设0的第w个边缘Sw上的特征点为：

C- = {CT，…，C7, \".G”

(12)(13)(14)

其中A表示边缘&„上特征点的总数.通过式(7)可求每一个特征点的锐度值：

YPm = (YP?，…，YPT，\".YPl1)

通过(8)式可求出Sw上第7个特征点的局部锐度分布模型：

DYPT = (YP]、，…，YPT，\".YP;)

通过式（9)和（10)式可求出其对应的平均值MYP;\"及方差FYP;\".

同理可得出 > 的第〃个边缘义上的特征点及每个特征点的锐度值YP\"，艮上第々个特征点的局部 锐度分布模型DYP〗及其对应的平均值MYPr和方差FYP〗.则0中特征点和 > 中特征点Q之间的相 似性度量可通过计算其对应的NCC系数完成，计算表达式如下[13]:

I

2 (YP]+d - MYP]1) (YPl+d - MYPl)

NCjk = ^------------, ------

(2Z + 1) /FYPf X FYPl

(15)

34西南师范大学学报（自然科学版)

http：//xbbjb. swu. edu. cn第42卷

从^中随机选取一个特征点，然后通过式（15)计算其与&中所有特征点对应的NCC系数，并用其构成

NCC矩阵V的一列，对所有特征点重复这个过程，即可获得NCC矩阵V.类似求取&中每个特征点与0中

所有特征点对应的NCC系数便可获得其对应的NCC矩阵歹.若V中第列的最大值为▽中第 是列的最大值为，则判定^中的特征点与7中的特征点巧为一对匹配点，如此便可完成特征点的 匹配[14].

1.4

匹配特征点提纯

通过NCC匹配方案获取的匹配特征点难免会存在一些错误的匹配，在此将根据KCCA方法构建归一 化距离函数剔除错误匹配点，对匹配特征点进行提纯.

令:r e

和:y e

为两个中心化了的随机多变量，其对应的n个观测值组成的观测数据集分别为，•）和'(•，•）分别表本z和的核函数.则KCCA可表述为：为观测数据集

{工! }!- 1, 2, , N 和{ ：y! } !- 1, 2, , N， 在Hilbert空间上对应的图像为■{炉（a )，炉（尤2 )，…炉（心）}和{的（w )， 的（3〇，…的（心）}，

寻找向量a和6使得随机变量M =〈a，@(:r)〉和t;=〈6, @(；y)〉达到最大的相关程度.a和6位于观测数 据生成的空间中，表述为[15]:

N

N

a = .〉: j3ii-i

i-i

(16)

(17)

通过求解下述广义特征值问题可以得到其最优解，从而通过式（16)获取到a和6[16].

r 0

KxKy')0

8Kl 0 '

8KyKx 〇 K2y

通过KCCA方法可获取所有匹配特征点的第一典型相关成分，然后可用特征点集拟合成直线，最后通 过计算点与线之间的距离，将错误匹配点进行剔除[17].

设拟合直线为似+知+ c = 0,则点（M。，％)到该直线的距离为：

dist (0)=

那么归一化距离函数表述如下：

l(t)-—

2U〇 bv〇 + C I /a2 +b2(18)

dist (〇

N

N

| au t bv t c

|

(19)

'yAJ dist (i)\\ au, + bv, + c \\

设定阀值T，若点（队，a T则判定该点为错误匹配点，否则为正确匹配点.

2仿真实验与分析

本文仿真实验所用的测试图片来源于INRIA图像数据集，该图像数据集包含了模糊变换、JPEG压缩

变化、旋转变换、光照变化等条件下的场景图像[18]. PC实验平台的配置为：Windows XP操作系统，Intel

core 15 2. 8GHz CPU，500 GB硬盘，4 GB内存，仿真软件采用MATLAB 7. 0•将文献[19 —21]的图像匹

配方法与本文算法进行对比实验.

2.1图像匹配效果分析

不同算法的图像匹配视觉效果图如图3和图4所示.图3(a)为初始图像，图3(b)为初始图像经过光照 变化后所得图像，不同算法的匹配效果如图3(c) —（f)所示.图4(a)为初始图像，图4(b)为初始图像经过 模糊变换后所得图像，不同算法对其的匹配效果如图4(c) 一（f)所示.

从图3可见，在对图3(b)进行匹配时，不同算法的匹配效果都较好，但是图3(f)比图3(c) —（e)的匹 配精度更高，而且存在的错误匹配点也更少.从图4可见，在对图4(b)进行匹配时，图3(f)比图3(c) —（e) 的匹配更好，匹配点数量更多，而且在所有的匹配点中，存在的错误匹配点也更少.由实验可知，本文的匹 配算法不仅拥有更好的鲁棒性，而且还具有更高的匹配精度.本文采用了 Forstner算子对图像特征点进行

第7期李学国，等：基于局部锐度分布耦合核典型相关分析的图像匹配算法35

精确提取，而且联合引人归一化互相匹配策略与核典型相关分析技术，建立归一化距离函数，完成图特征 点的匹配与提纯，降低误配率.文献[19]是采用传统的SURF算子对特征点进行提取以及生成特征描述 子，但是该算子严重依赖局部区域像素梯度方向，当彩图亮度发生变化时，其找到的主方向容易出现误差， 导致存在部分特征提取错误，虽然也采用了随机样本一致策略来剔除错误匹配点，但由于该策略会将错误 匹配点也纳人计算，降低了其提纯效果.文献[20]通过利用SIFT算子与聚类机制完成特征匹配，但是

SIFT算子对图像中灰度变化较小或彩图的亮度信息较为敏感，忽略了图像色彩信息，且K值聚类受初值

影响较大，缺乏相应的误匹配降低策略，导致其对彩图的特征匹配精度不佳.文献[21]通过利用Hams-

Laplacian算子对特征点进行检测，采用SURF计算特征点的特征描述符，最后通过Gauss-Laplace算子完

成图像匹配，由于Harris-Laplacian算子提取的特征点存在伪特征点，而且Gauss-Laplace算子进行图像匹 配时，容易受噪声干扰，从而使得图像匹配效果不理想.

2.2 图像匹配效率分析

图像匹配算法效率是评价图像匹配算法优劣的一项重要依据.在INRIA图像数据集中的boat图子集 和graf图子集中分别选取一组图像对不同算法的匹配速度进行测试，测试结果分别如表1和表2所示.在

Morel_YU数据集[==]中随机选取12幅图像，设置不同的特征点个数，对每幅图像施加25%的噪声处理，以

此测试不同算法的匹配正确度，测试结果如图5所示.

(a)初始图像(b)亮度变化图像(c)文献[19：1算法图像匹配效果图

(d)文献[20]算法图像匹配效果图 ⑷文献[21 ]算法图像匹配效果图

(f)本文算法图像匹配效果图

图3 不同匹配算法对亮度变化图像的匹配效果图

36西南师范大学学报(:自然科学版)

http：//xbbjb. swu* edu. cn

第4=2卷

(a)初始图像 （b)模糊变换图像 （c)文献[19]算法图像匹配效果图

(f)本文算法图像匹配效果图

® 4 不同匹配算法对模_糊变化®像的匹配效.果图

实验结果表明本文算法进行图像匹配的耗时最少，约为3.

而且匹配賍确度最高.原因是本文算法构

造了局部锐度分布模型用f'生成特征描述營:(，该方法生 成的特征描述子的维度较低，有效降低了算法的复杂度，

从而.提高了_算識的效率，同时本文利用Forstner:算:子谢 特征点进行提取，提高:了特征点的提取准确度，并且本 文还引人了归一化互相匹配策略与核典型相关分析技 术，用以完成图特征点的匹配与提純，进一步提高了算 法的匹配确度-文献〔]腿1采用SURF算法生成的特征 描述子的维度较高，采用随机样本一致策略进行提纯的 计算量较大d曽加了算法的复杂度，同时由宇SURF算 子:严■依赖局都K域像素梯度方向会导致主方向的建 立存在误差，而M文献[19：!中采用了随机样本一致策略

® 5

不同匹配算法的匹配正确度对比固

来提纯匹配特征点，该策略提纯效果不是很好，从而使得文献D9]算法的匹配正确度有所下降.文献[2(Q 中采用SIFT算法与聚类机制生成的特征描述子的维度更裏，尤其是K值聚类f运算量大，耗时最长，约 为8.12 s，同时SIFT算子忽略了图像色彩信息，而K值聚类受初值影响较大，缺乏相应的误匹配降低策 略，导致匹配正确度低.文献[麵]利用Harris-Laplacian算子对特征点进行检测，效率要低于本文算法，旦

第7期李学国，等：基于局部锐度分布耦合核典型相关分析的图像匹配算法37

文献Forstner中还利用Gauss-Laplace算子来完成图像匹配，能较好克服对像素梯度的依赖性以及能较好 获取图像彩色信息，故而该方法的匹配正确度比文献NCC和文献NCC中的方法更优越，但该方法容易受噪声干扰，缺乏匹配提纯措施，使其匹配正确度要低于本文算法.

表1 不同算法对boat图像进行匹配的耗时

算法耗时/s

文献[19]文献[20]文献[21]本文算法3.

5. 12

表2

8. 12

不同算法对graf图像进行匹配的耗时

4. 05

算法耗时/s

文献[19]文献[20]文献[21]本文算法4. 17

7. 1311. 294. 53

6结 论

本文提出了基于局部锐度分布耦合核典型相关分析的图像匹配算法，采用特征点提取精度较高的

Forstner算子对图像的特征点进行提取，构造了局部锐度分布模型，并用其生成了维数较低的特征描述子，

降低了算法的计算量，提高了算法的效率，然后用NCC方法建立NCC矩阵，利用双向约朿的NCC矩阵匹 配方案完成了特征点的粗匹配，最后，根据KCCA方法建立归一化距离函数，对匹配特征点进行提纯，进 一步提高了算法的匹配精度.实验结果显示，本文提出的图像匹配算法不仅具有较好的匹配效果，而且还 具有较好的鲁棒性及匹配效率.

参考文献：

[1]张 龙涛，孙玉秋.基于模糊熵改进的直方图匹配算法研究[J].西南大学学报（自然科学版），2016, 38(4): 124 —129.[2]张 儒良，席泓，王林.一种基于Hu不变矩的匹配演化算法[J].西南师范大学学报（自然科学版），2012, 37(5):

11-15.

[3] AMIR R Z, MUBARAK S. Image Geo-Localization Based on Multiple Nearest Neighbor Feature Matching Using Gener­

alized Graphs [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014，36(8) ： 16 — 1558.[4] 杨新锋，滕书华，夏东.基于空间变换迭代的SIFT特征图像匹配算法[J].红外与激光工程，2013, 42(12):

3496-3501.

[5] 杭利华，蒋佩钊，邓冲.基于仿射变换与B样条自由形变的医学图像配准[J].兰州交通大学学报，2013, 32(3):

44-48.

[6] SIMA A A? BUCKLEY S J. Optimizing SIFT for Matching of Short Wave Infrared and Visible Wavelength Images [J].

Remote Sensing，2013，5(5) ： 2037 — 2056.[7]

曾凡永，顾爱辉，马勇骥，等.几种特征点提取算子的分析和比较[J].现代测绘，2015, 38(3): 15 —18.

[8] CHI M A, ZHU Yong-yong, TIAN Ying. Ear Recognition Based on Forstner and SIFT [J]. TELKOMNIKA： Indone­

sian Journal of Electrical Engineering, 2013，11(12) ： 367 — 373.

[9] 贺一楠，耿娟，秦军，等.结合Forstner与NCC约束的UAV图像配准研究[J].国土资源遥感，2015, 27(1):

48-.

[10] 郭丙轩，罗光光，肖雄武，等.Forstner特征点分类和精确定位方法探讨[J].科学技术与工程，2016, 16(16): 73 —78.[11] 张艳，张志成.混合Forstner算法和SIFT灰度图像特征点提取[J].科技通报，2012, 28(10): 94 — 95.

[12] BULKIS K. Pencocokan Citra Sidik Jari Menggunakan Korelasi Silang Ternormalisasi [J]. Journal Rekayasa Elektrika?

2015, 4(11) ： 144-148.

[13] HEAD T，KAAB A. Evaluation of Existing Image Matching Methods for Deriving Glacier Surface Displacements Global­

ly from Optical Satellite Imagery [J]. Remote Sensing of Environment, 2014，118: 339 —355.

[14] DIEGO O, ERIK C, GONZALO P. Template Matching Using an Improved Electromagnetism-Like Algorithm [J]. Ap­

plied Intelligence? 2014, 41(3)： 791 — 807.

38西南师范大学学报（自然科学版)

http：//xbbjb. swu. edu. cn第42卷

[15] PATRIKK, ROBERT H, MIROSLAV B. 2D~3D Face Recognition Method Based on a Modified CCA-PCA Algorithm [J].

International Journal of Advanced Robotic Systems, 2014, 6(11) ： 1271 — 1282.

[16] 郭辉.基于KCCA的特征匹配方法[J].红外与激光工程，2013, 13(12): 3488 — 3491.

[17] YAN Wei-dong, SHE Hong-wei, YUAN Zhan-bin. Robust Registration of Remote Sensing Image Based on SURF and

KCCA [J]. Journal of the Indian Society of Remote Sensing, 2014, 42(2) ： 291~299.

[18] 席海峰，田超.基于SVR的宽基线图像匹配方法[J].重庆邮电大学学报（自然科学版），2013, 25(2): 197 — 202.[19] 张永宏，阚希.基于SURF的抗重复特征干扰图像配准方法[J].计算机工程与设计，2013, 34(3): 978 — 982.[20] AMIN S，HAMID E. Very High Resolution Image Matching Based on Local Features and K-means Clustering [J]. The

Photogrammetric Record, 2013, 150(30) ： 166 — 186.

[21] WANG Wei-xing，CAO Ting，LIU Sheng. Remote Sensing Image Automatic Registration on Multi-scale Harris-Lapla-

cian [J]. Journal of the Indian Society of Remote Sensing，2015，433(3) : 501 —511.

[22] 耿利川，苏松志，李绍滋.基于透视不变二值特征描述子的图像匹配算法[J].通信学报，2015, 36(4): 1 — 10.

On Image Matching Algorithm Based on Local Sharpness Distribution and Kernel Canonical Correlation Analysis Method

LI Xue-guo1, CHEN Ke2

1 • College of Information & Electrical Engineering，Chongqing Creation Vocational College，Yongchuan Chongqing, 402160，China ；2 • College of Computer & Electronic Information, Guangdong University of Petrochemical Technology, Maoming Guangdong 525000, ChinaAbstract ： The image matching algorithm based on local sharpness distribution and kernel canonical correla­

tion analysis method has been proposed in this paper. Firstly, the feature points were accurately extracted by introducing the Forstner operator. Then the local sharpness distribution model was constructed by cal­culating each feature point sharpness value to generate low dimension feature descriptor, the matching of feature points were finished by introducing the normalized matching strategy to enhance the robustness. And finally, the normalized distance function was established based on the kernel canonical correlation a­nalysis purifies the matching feature points to eliminate the false matching points. The simulation results show that： this algorithm not only has high matching accuracy and strong robustness, but also has a high matching efficiency compared with the current image matching algorithm.

Key words： image matching； local sharpness distribution； kernel canonical correlation analysis； Forstner

operator； normalized distance function

责任编辑张枸

崔玉洁