测绘与空间地理信息
GEOMATICS&SPATIALINFORMATIONTECHNOLOGY
Vol.42ꎬNo.1Jan.ꎬ2019
无人机遥感图像中不均匀雾霾的去除算法研究
杜漫飞ꎬ孙华生
(辽宁工程技术大学测绘与地理科学学院ꎬ辽宁阜新123000)
摘要:由于雾霾的存在ꎬ无人机(UnmannedAerialVehicleꎬUAV)获取的图像受到严重影响ꎮ利用单一算法很难
有效地去除无人机遥感图像中不均匀的雾霾ꎮ本文提出了一种新的去雾算法ꎬ该方法将图像分割技术与暗原色方法结合起来ꎬ实现不均匀雾霾的综合去除ꎮ该方法的具体处理过程如下:首先ꎬ利用图像分割技术将原图像根据雾的浓度分为淡雾、浓雾两部分ꎻ其次ꎬ依据暗原色先验理论ꎬ获取比较准确的大气光ꎬ分别求取大气光的模、方向ꎻ再次ꎬ利用引导联合双边滤波细化透射率ꎬ针对浓雾部分利用局部视网膜皮层理论(Retina-cortextheoryꎬRetinex)增强进一步处理ꎬ最终得到恢复的图像ꎮ实验结果表明ꎬ相比于He和Retinex算法ꎬ本文算法在图像细节还原、色彩保真等方面具有更好的处理效果ꎮ
关键词:去雾处理ꎻ无人机遥感图像ꎻ图像分割ꎻ暗原色法
中图分类号:P237 文献标识码:A 文章编号:1672-5867(2019)01-0174-03
ResearchonDehazeAlgorithmofHeterogeneousHazein
UAVRemoteSensingImage
(SchoolofGeomaticsꎬLiaoningTechnicalUniversityꎬFuxin123000ꎬChina)
Abstract:TheexistenceofhazeseverelyaffectedtheimageacquiredbyUAV(unmannedaerialvehicle).ItisdifficulttoeffectivelyremovetheheterogeneoushazeintheremotesensingimageoftheUAVbyusingasinglealgorithm.Thereforeꎬthispaperproposeanewdehazealgorithmꎬwhichwasadvancedthatcombinestheimagesegmentationtechniquewiththedarkchannelpriority.Thespecif ̄parts(mistanddensefog)accordingtotheoriginalimage.Secondlyꎬaccordingtothedarkchannelprioritytheoryꎬthemodeanddi ̄icprocessofthismethodisasfollows:Firstlyꎬtheimagesegmentationtechniqueisusedtodividetheconcentrationofthefogintotworectionofatmosphericlightareobtainedrespectivelyinordertogettheaccurateatmosphericlight.UsingguidedjointbilateralfiltertorefinetransmittanceandRetinexforthedensefogfurtherprocessingꎬfinallygettherecoveryimage.Theexperimentalresultsshowthatimageandpreservingthecolorinformation.
Keywords:dehazeꎻUAVremotesensingimageꎻimagesegmentationꎻdarkchannelprior
comparedwiththeKaiwen'salgorithmandRetinexalgorithmꎬthealgorithmproposedhasabettereffectinrestoringthedetailsofthe
DUManfeiꎬSUNHuasheng
0 引 言
尽管无人机航拍的高度只距地面几十米到几百米ꎬ但是其获取的图像仍然会受到雾霾的影响ꎮ这严重地降低了图像的质量ꎬ对图像的应用ꎬ尤其是定量化的应用产生了很大影响ꎮ如果雾霾的影响程度大体相同ꎬ雾气浓度分布也相对均匀ꎬ目前ꎬ很多去雾霾的算法都可以很好地实现去除效果ꎮ现存的去雾算法主要分为基于物理模
收稿日期:2017-09-15
型和非物理模型ꎮ基于物理模型的算法ꎬ主要是使用大气散射模型ꎬ利用数学方法求解图像降质逆过程ꎬ最终达到恢复清晰图像的目的ꎮFattal等通过假设透射率和场景表面投影局部不相关ꎬ用独立成分分析法估计反射率ꎬ从而得到去雾处理后的彩色图像ꎬ但是该算法在浓雾情况下会因雾图缺少足够的颜色信息导致去雾效果不理想[1]ꎻOakley和Bu的算法假设景深已知ꎬ提出多参数统计模型ꎬ通过估计的像素点散射值和透射率进行去雾ꎬ虽
作者简介:杜漫飞(1992-)ꎬ女ꎬ满族ꎬ辽宁锦州人ꎬ测绘科学与技术专业硕士研究生ꎬ主要研究方向为无人机图像处理ꎮ
通讯作者:孙华生(1980-)ꎬ男ꎬ山东莒南人ꎬ副教授ꎬ博士ꎬ2008年毕业于浙江大学农业资源利用专业ꎬ主要从事无人机摄影测量与
遥感方面的教学研究工作ꎮ
第1期
杜漫飞等:无人机遥感图像中不均匀雾霾的去除算法研究
175
然此方法较好地估计了大气光雾天成像模型ꎻHe等通过大量实验ꎬ以最大限度地保持真实的物方辐射信息ꎬ提出的暗原色先验理论简化了ꎬ但易引起图像过度去雾[2]ꎬ
该算法在雾图满足暗原色先验条件下ꎬ对于薄雾有很好的去除效果ꎻRetinexꎬ但在浓雾区域会出现透射率被低估的情况
[3-4]
到相关信息的增强的效果算法是通过压缩图像颜色值的动态范围达ꎬRetinex算法对于淡雾部分有很好的去雾效果ꎬ但是对于浓雾部分会导致细节丢失[5
-6]
像获取ꎮꎬ或者在云下飞行进行航拍由于无人机航拍时经常采用倾斜的方式进行图
ꎬ经常会出现雾霾分布不均匀的情况ꎬ所以有必要采用能够适应不均匀雾霾去除的算法ꎮ
1 研究数据和方法
本文实验数据采用大疆精灵3无人机拍摄的图像ꎬ镜头参数:FOV94°、20mm(35mm格式等效)、F2.8ꎬ图像尺寸为4000×3000ꎮ拍摄区域为辽宁省阜新市农业区ꎮ
本文提出的方法是基于雾天无人机图像退化模型ꎬ结合图像分割技术ꎬ利用暗原色先验理论估计大气光和透射率并用局部Retinex算法增强来实现图像去雾的目的ꎮ在图像处理领域中ꎬ雾天无人机图像退化模型(雾天图像降质的物理原理)可表示为:
I(x)=J(x)t(x)+A(1-t(x))
(1)
式中ꎬx是图像I(x)的像素坐标ꎬI(x)为输入的有雾图像ꎬJ(x)为所求的去雾后的无人机图像ꎬt(x)为反射光的透射率ꎬA为大气光矢量ꎬJ(x)t(x)为入射光衰减部分ꎬ
A(1-t(x))为进入相机的空气光ꎮ通过估计A和t(x)即可得到去雾图像ꎮ
1.1 暗原色先验理论
式(1)中存在着未知量有J(x)、t(x)以及Aꎬ即使可以根据图像中天空区域估计出大气光Aꎬ仍有两个未知量ꎮ因此ꎬ必须借助一些先验知识来求方程的解ꎮ
暗原色先验理论是由He等
[3-4]
通过观察大量无雾图
像信息的统计特征所提出的ꎬ在清晰无雾图像的非天空区域里ꎬ若把图像分为多个子块ꎬ则每个子块中都会有一定像素点的某个颜色通道的亮度接近于x)=mingꎬb}
(minJ0ꎮ
Jdark(Cc∈{rꎬ(yy∈)Ω(x)
)≈0
(2)
式中ꎬΩ(x)是x的邻域ꎬJC
是图像J(x)的一个通道ꎬ
J
dark
代表图像的暗原色图ꎬ按照暗原色先验理论ꎬ其值近
似等于0ꎮ这是由图中景物在背向光的一面产生阴影、颜色较深的物体和具有鲜艳颜色的物体导致的ꎮ
1.2 图像分割
在含有雾的图像中ꎬ雾的颜色是灰白色ꎬ导致图中本应该很小的暗原色部分的亮度值变大ꎬ因此从视觉效果上来看ꎬ图像的整体亮度相比于常规无雾图像要高一些ꎮ从图1(a)、图1(b)可以直观地看出:图1(a)中浓雾区域与图(a)1(b)暗原色中的像素呈白色的部分大致接近ꎬ图1越亮中的雾浓度越大ꎬ因此通过暗原色图可以判断雾的浓度ꎬ图1(b)中对应区域的暗原色值就ꎬ即暗原色图
中灰白点的密集程度ꎮ
使用光谱差异分割算法ꎬ根据雾的浓度将暗原色图像粗分割为淡雾(图1(b)中黑色区域)、浓雾(图1(b)中白色区域)ꎮ图1(a)至图1(c)依次为原图像、暗原色图像、分割后图像ꎮ
图1 图像分割过程Fig.1 Imagesegmentationprocess
1.3 大气光矢量的估计
无人机航拍图像的特点之一就是图像中一般不存在天空区域ꎬ对大气光估计的影响就很小ꎮ大气光矢量A可以表示为以下两个部分:
Y=Y×V
(3)
式中ꎬ|Y|为大气光矢量模ꎬV为大气光矢量方向ꎮ准确估计大气光作为获取清晰图像的首要步骤ꎬ然
后分别求取大气光矢量的模和方向[7]1.3.1 ꎮ针对无人机所获取的图像为多通道的彩色图像大气光矢量的模
ꎬ通
过对能量函数[3]改进ꎬ表达如下:
Skρp-ρ-
xpx
2
mc(λrꎬλgꎬλb)=
1
kp∈{∑RꎬGꎬB}
∑
x=1
(ρ-p
×x-λp
)
exp{
k-
31kp∈{∑RꎬGꎬB}
x=1
-λp)2
}
(5)
其中ꎬρR∑ln(ρpxx、ρGx、ρB
x分别为像素x在R、G、B通道上的
值ꎬK为总的像素个数ꎬρ-
Rx、ρ-
G-
x、ρB
x代表3个通道的低通
1.3.2 滤波图像在像素根据数学中矢量方向的求法大气光矢量的方向
x处的值ꎬ(λR、λG、λB)即为所求ꎮ
10ꎬ把图像划分成大小为
量进行主成分分析得到对应的特征向量×10的若干图像块ꎬ将得到小图块的每个像素的颜色矢ꎮ利用图像块权值函数计算每个图像块的权值ꎬ选取权值最大的10个图像块即可ꎮ每个小图像块可得10条图像块直线ꎬ由此构造出10个平面ꎬ这些平面经过两两相交ꎬ得到了45条参考直线ꎬ计算出每条参考直线到10条图像块直线的欧式距离并求和ꎬ则最小距离直线的方向为所求方向[7]1.4 透射率的求解
ꎮ
由于雾图暗原色的亮度和透射率存在一定关联性ꎬ所以ꎬ依据暗原色先验理论及无人机遥感图像雾天成像模型估计透射率是可行的ꎬ则透射率t(x)可表示为:
t(x)=1-ωICymin∈Ω(x)
(min
(AYC
))(6)
为使处理后的图像具有真实感ꎬ保留一定程度的雾ꎬ引入了参数ωꎬ常取0.95ꎮ
176
测绘与空间地理信息
2019年
双边滤波[8]虽然能很好地保存边缘信息ꎬ但是对于彩色图像里的高频噪声ꎬ双边滤波器不能够干净地滤掉ꎬ因此ꎬ采用引导联合双边滤波[9]得到较好的导向图并以此来细化透射率t(x)全局Retinex算法1ꎮ
[10]对于淡雾部分有很好的去雾效
果ꎬ但是对于浓雾部分会导致细节丢失ꎬ因此针对浓雾部分采用局部Retinex增强ꎮ
1.5 去雾后的无人机图像
经上述算法ꎬ获取到比较精确的大气光和较精细的
透射率t(x)去雾后的无人机图像1ꎬ将这两个量代入雾天成像模型中即可得到ꎮ
J(x)=
式中ꎬt是为投射率设定的下限值max(I(tx)(x-)A
1ꎬt0)
+A(12)
ꎬ常取0.1ꎮ作用是
避免t(x)01过小ꎬ甚至趋于0ꎬ导致上式中等号右侧的第一项过大ꎬ从而使图像整体向白场过渡ꎮ
2 结果与分析
3.20为了证明本文算法的有效性GHz/2G内存/Matlab2012a环境下对无人机航拍有ꎬ在Intel(R)Core(TM)
雾图像(a)、图(5雾分布不均匀(a)为实验拍摄图像)进行测试(b)、ꎬ图ꎮ图2(2(a)、b)、图图33(a)、(b)、图图44
机倾斜拍摄图5(b))和图为网上的无人机航拍图像2(c)、图3(c)、图4(c)、ꎮ
图5(c)(无人图2 测试图像Fig.2 Testimages
图3 He算法去雾后的图像Fig.3 ResultsofHealgorithm
图4 Retinex算法去雾后的图像Fig.4 ResultsofRetinexalgorithm
图5 本文算法去雾后的图像Fig.5 Resultsofproposedalgorithm
2(b)、从主观来看:图2(a)、图3(a)、图4(a)、图5(a)和图
去雾效果显著图3(b)、ꎬ图图24(至图b)、图5中5((b)a)中图农田中的道路ꎬHe算法对薄雾部分、田块边缘以及图2至图5中(b)图房屋轮廓、道路等信息得到很好的复原ꎬ图像整体色彩较暗ꎻRetinex算法则在整幅图像色彩恢复方面效果最好ꎬ边缘信息的恢复程度不高ꎮ二者在浓雾部分去雾效果都比较差ꎬ而本文算法在浓雾区域很好地恢复了边缘信息ꎬ并且具有一定的色彩恢复度和清晰度ꎬ去雾效果最好ꎮ图2、图3、图4、图5中(c)图天空区域对He的算法影响较大ꎬ该算法对山体的薄雾部分去雾效果仍很明显Retinexꎬ他区域信息细节丢失算法较好地恢复了房屋及周围树的信息而浓雾部分存在过去雾的情况ꎻꎬ边缘信息可识别性不高ꎻ而针对图ꎬ但是其中的浓雾部分ꎬ本文算法对图像信息恢复程度最高且整体亮度适中ꎮ
选择平均梯度、边缘保持度、均值作为评价指标
[11-12]
像中薄雾区域都有很好的复原效果ꎮ从表1中的数据可以看出ꎬHe3种去雾算法对于图
算法相比Retinex算法的去雾效果ꎬ在细节信息恢复度方面更有优势ꎬ但是整体亮度相比于后者去雾后的图像亮度较暗ꎬ本文算法综合了二者的优势ꎬ既复原了图像信息细节ꎬ处理后的亮
度也适中ꎬ不会给人过分增强的视觉感ꎮ表2中浓雾区域的指标数据则显示本文提出的算法图像清晰程度最好ꎬ同比其他两种算法ꎬ去雾后图像的边缘恢复程度也较高ꎬ并且去雾后的像素值为125左右ꎬ从人的视觉角度也有更好的视觉效果ꎮ
表1 薄雾区域的评价指标
Tab.1 Evaluationindicatorinmistregion
算法指标RetinexHe算法
平均梯度6.064边缘保持度本文算法算法5.36768.221115.329均值
7.655
53.52979.127
146.307128.924
表2 浓雾区域的评价指标
Tab.2 Evaluationindicatorindensefogregion
算法指标边缘保持度均值
RetinexHe算法
平均梯度1.863本文算法算法1.53916.3513.561
13.869158.56395.82234.113
132.076
(下转第180页)
180
测绘与空间地理信息
2019年
4 结论与讨论
本文采用Landsat-8OLI焦作地区遥感数据分别基于监督与非监督中的各种算法进行土地覆盖分类ꎬ并对分类结果进行分析和精度评价ꎬ主要得出以下结论:
1)平行六面体法、最小距离法和马氏距离法对于道路的分类效果都不是太好ꎬ其中平行六面体法对于耕地、林地和部分建筑用地容易产生错分现象ꎬ分类效果最差ꎮ最小距离法和马氏距离法对于林地以及部分水系分类效果较差ꎬ但马氏距离法要优于最小距离法ꎮ最大似然法分类精度相对较高ꎬ漏分错分最少ꎬ总体分类精度达到87.152%ꎮ
2)K-均值对于建筑用地、耕地和道路的分类效果比较差ꎬ道路与水体容易产生错分ꎮK-均值分类预先设置的类别数是十分重要的ꎬ这直接影响着分类效果的好坏ꎮISODATA分类中部分建筑用地被错分到林地类别中ꎬ但是从聚类效果、漏分错分以及计算时间上综合分析要优于K-均值分类ꎮ
长补短ꎮ此外ꎬ新理论、新方法、新技术的引入ꎬ为影像分类提供了广阔的前景ꎬ然而不可能存在一种分类方法在所有情况下都优于其他方法ꎬ因此ꎬ必须根据具体情况选择合适的分类算法ꎮ
参考文献:
[1] 李爽ꎬ丁圣彦ꎬ许叔明.遥感影像分类方法比较研究[J].
河南大学学报:自然科学版ꎬ2002ꎬ32(2):70-73.[2] 桂新ꎬ戴微.MASK在遥感影像水系提取中的应用[J].
测绘通报ꎬ2015(9):79-82.
[3] 刘文锴ꎬ杨磊库ꎬ梁洪有ꎬ等.Landsat卫星遥感影像在[4] 刘慧平.遥感实习教程[M].北京:高等教育出版[5] 杨鑫.浅谈遥感图像监督分类与非监督分类[J].四川地
质学报ꎬ2008ꎬ28(3):251-254.[6] 梅安新.遥感导论[M].北京:高等教育出版社ꎬ2001.[7] 刘国成ꎬ杨长保.遥感图像处理软件的设计与关键技术[8] 杨存建ꎬ周成虎.基于知识的遥感图像分类方法的探讨
[J].地理学与国土研究ꎬ2001ꎬ17(1):72-77.[9] 刘纪远.国家资源环境遥感宏观调查与动态监测研究
[J].遥感学报ꎬ1997ꎬ1(3):225-230.
社ꎬ2001.
焦作市建成区扩展变化监测中的应用[J].河南理工大学学报:自然科学版ꎬ2009ꎬ28(4):445-448.
5 结束语
传统的监督与非监督遥感影像分类方法因其算法成熟、操作简单等优势ꎬ仍然是使用较广泛的分类方法ꎬ但二者从理论、过程以及使用范围条件上都不相同ꎬ各有优缺点ꎬ因此ꎬ应该根据实际分类的需求ꎬ合理灵活地运用这两类方法ꎬ甚至可以将监督与非监督分类混合使用ꎬ取
研究[J].吉林工程技术师范学院学报ꎬ2009ꎬ2(3):75-77.
[编辑:刘莉鑫]
(上接第176页)
3 结束语
本文针对单一算法很难有效地去除无人机遥感图像中不均匀的雾霾的情况ꎬ提出了一种去雾的新方法ꎮ该方法是将图像分割技术与暗原色方法结合起来的一种优化方法ꎮ首先ꎬ利用图像分割技术将原图像根据雾的浓度分为淡雾、浓雾两部分ꎻ其次改进大气光的计算方法ꎬ避免了一些干扰因素ꎻ然后利用引导联合双边滤波优化估计透射率ꎬ针对浓雾部分利用局部Retinex增强进一步处理ꎻ最后对比He算法、Retinex算法的去雾实验结果ꎬ将平均梯度、边缘保持度、均值作为参考指标对去雾后的图像做出评价ꎬ通过评价结果验证提出方法的可行性及有效性ꎮ实验结果表明:本文方法在恢复图像细节、色彩的保持等方面具有很好的效果ꎮ在今后工作中ꎬ将把精细分割雾图的浓度、更好地估计透射率作为研究重点ꎮ
[4] [5] [6] [7] [8] [9] [10] [11] [12]
参考文献:
[1] SulamiMꎬGlatzerIꎬFattalRꎬetal.Automaticrecovery
oftheatmosphericlightinhazyimages[C]//IEEEInter ̄nationalConferenceonComputationalPhotography.IEEEꎬ2014:1-11.
[2] OakleyJPꎬBuH.CorrectionofSimpleContrastLossin
ColorImages[J].IEEETransactionsonImageProcessingꎬ2007ꎬ16(2):511-522.
[3] HeKꎬSunJꎬTangX.SingleImageHazeRemovalUsing
DarkChannelPrior[J].IEEETransactionsonPatternA ̄nalysis&MachineIntelligenceꎬ2011ꎬ33(12):2341.HeKꎬSunJꎬTangX.Guidedimagefiltering[J].IEEETransactionsonPatternAnalysis&MachineIntelligenceꎬ2013ꎬ35(6):1397-1409.
LandEHꎬMccannJJ.Lightnessandretinextheory[J].JournaloftheOpticalSocietyofAmericaꎬ1971ꎬ61(1):1.吴迪ꎬ朱青松.图像去雾的最新研究进展[J].ActaAu ̄tomaticaSinicaꎬ2015ꎬ41(2):221-239.
范郁锋ꎬ曹永锋.基于暗原色先验的无人机遥感图像去雾算法[J].现代计算机旬刊ꎬ2015(11):46-49.ParisSꎬDurandF.AFastApproximationoftheBilateralFilterUsingaSignalProcessingApproach[J].InternationalJournalofComputerVisionꎬ2009ꎬ81(1):24-52.
XiaoCꎬGanJ.Fastimagedehazingusingguidedjointbi ̄lateralfilter[J].VisualComputerꎬ2012ꎬ28(6-8):713-721.
曹静.浓雾图像去雾算法研究[D].大连:大连理工大学ꎬ2014.
TangLꎬChenSꎬLiuWꎬetal.ImprovedRetinexImageEnhancementAlgorithm[J].ProcediaEnvironmentalSci ̄encesꎬ2011ꎬ11(PartA):208-212.
刘海波ꎬ汤群芳ꎬ杨杰.去雾图像质量客观评价方法研究[J].量子电子学报ꎬ2016ꎬ33(1):20-28.
[编辑:张 曦]
因篇幅问题不能全部显示,请点此查看更多更全内容