栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > 资讯 > 高等教育 > 考研政策

测绘学报 |葛小三:基于生成对抗网络的建筑物损毁检测

测绘学报 |葛小三:基于生成对抗网络的建筑物损毁检测

本文内容来源于《测绘学报》2022年第2期(审图号GS(2022)540号)

基于生成对抗网络的建筑损伤检测

葛1,2,陈1,2,3,赵3,1,2 1。河南理工大学测绘与土地信息工程学院,河南焦作454003;2.河南理工大学自然资源部信息与生态修复重点实验室,河南焦作454003;3.北京师范大学地理科学系遥感科学与工程研究所,北京100875基金项目:北京自然科学基金(4214065);国家自然科学基金(41572341);河南省自然科学基金(222300420450);国家重点RD项目(2018YFC1508903)

摘要:建筑物作为自然灾害中受影响最大的主体之一,其受损信息的准确提取对于灾后应急救援具有重要意义。基于多模态的思想,提出了一种自动检测受损建筑物的递归生成高级网络(RS-GAN)方法。受损建筑物的检测分为灾前建筑物识别和灾后建筑物检测两个任务,分别在GAN的两个分支完成。RS-GAN加入联合损失函数连接两个GAN分支,充分利用两个任务之间潜在的互利性,提高检测效果。RS-GAN利用GAN的第一分支来识别灾前建筑物的形状和位置,并将识别结果作为GAN的第二分支的输入来检测受损建筑物,使检测结果具有更清晰的轮廓。该方法是一种端到端的模型,实现了对受损建筑物的自动检测,无需过多的人工干预。为了验证RS-GAN模型的效果,在santa rosa和Missouri两个数据集上进行了测试。实验结果表明,RS-GAN方法具有较好的检测性能,在santa rosa数据集上的整体准确率和平均准确率分别为0.90和0.86。

关键词:生成对抗网络(GAN);灾前和灾后双期遥感图像;建筑物轮廓提取;建筑物的损坏检测;循序渐进的学习

葛,陈,赵,等.基于生成式对抗网络的建筑损伤检测[J].测绘学报,2022,51 (2): 238-247。1947年10月11日。日本地球化学公司。38697.68668686666

葛,陈,赵,等.基于生成对抗网络的受损建筑检测[J].大地测量学与制图学学报,2022,51(2): 238-247。DOI:10.11947/j . agcs . 199403536407

阅读全文:http://XB . sino maps . com/article/2022/1001-1595/2022-2-238 . htm

引用单词

近年来,全球气候变化加剧,自然灾害越来越频繁,造成了严重的人员伤亡和经济损失,成为威胁人类生命安全的主要问题之一[1]。建筑作为人们生活的主要场所,是人口和财产的集中区域。快速准确地了解灾后建筑物的受损信息,对应急决策和恢复重建具有重要意义[2]。随着遥感平台和传感器的发展,遥感图像的分辨率逐渐提高,可以从图像中提取更详细的土地覆盖信息,这为遥感技术在灾害检测中的应用提供了可能。而更详细的信息意味着更严重的类内差异,再加上大气干扰和光照变化带来的大量伪变化,使得高分辨率影像建筑物的识别变得困难。灾害中受损建筑物的光谱和纹理信息更加复杂,准确检测受损建筑物是一个巨大的挑战[3]。

国内外学者利用各种遥感数据源对受损建筑物的检测做了大量工作。高分辨率图像、合成孔径雷达图像和激光雷达数据已被应用于受损建筑物的检测。其中,基于高分辨率图像的研究主要集中在损伤特征和检测方法的选择上[4]。高分辨率灾后影像包含丰富的地物特征,如颜色特征[5]、纹理特征[6]、高度特征[7]等。由于倒塌建筑物结构复杂,单个特征往往难以准确描述复杂的建筑物目标[8],而简单的多特征叠加会带来计算上的冗余。因此,如何选取典型特征一直是建筑损伤研究的难点[9-11]。SAR图像可以穿透云、雨、雾、雪,在灾害等恶劣环境中具有天然优势[12]。SAR图像中完好建筑物和受损建筑物的偏振特征和纹理特征的差异主要表现在,但是对数据质量的要求比较高,应用需要比较高的专业知识水平。激光雷达作为一种主动观测技术,可以提供建筑物的全景和更多的形态特征,但观测区域有限,难以实现数据的全面覆盖[13-14]。目前,利用高分辨率影像进行灾害损失检测仍是最佳选择,其中常用的有单幅灾后影像和灾前灾后双期影像。与灾前和灾后双期遥感影像相比,单幅灾后影像更容易获取,常用于快速获取灾后信息。然而,单一的灾后图像可以提供有限的信息,往往很难获得满意的结果[15]。当有足够多的灾前灾后图像时,利用灾前灾后图像进行变化检测可以得到更好的检测结果[16]。

在过去的几十年中,出现了新的变化检测方法。其中,最常见的方法是机器学习,如支持向量机(SVM)、变化向量分析(CVA)[17]和主成分分析(PCA)[18]。而自然灾害发生后,受损建筑的特征表现出很大的差异性,传统的机器学习方法很难区分。深度学习算法的兴起为建筑物损伤信息提取提供了新的解决方案。深度学习方法可以通过多层卷积结构识别图像中语义丰富的高层特征,在损伤检测任务中优势明显[19-22]。文献[23]利用深度卷积神经网络(DCNN)提取深度图像特征来判断建筑物是否受损,证明了DCNN提取的高级特征比传统特征具有更好的表征能力。文献[24]将卷积自动编码器学习到的知识转移到CNN分类器,发现CNN分类器可以提高特征的识别率。在文献[25]中,UNet被用于检测建筑物的屋顶损伤,并提出了四种策略来缓解由于样本数不平衡而导致的过拟合效应。而CNN和UNet都是判别网络,需要大量准确的标记样本,在灾害背景下往往很难满足这一要求。

作为一种无监督或半监督的生成网络,生成对抗模型(GAN)在其训练过程中只需要少量的训练样本,因此被广泛应用于遥感目标识别领域[26]。[27]利用CGAN(条件生成对抗网络)融合光学数据和SAR数据监测变化,有效降低伪变化的影响。文献[28]中使用pix2pix-GAN研究了高分辨率遥感影像的变化检测,证明了pix2pix框架在变化监测中的可用性。文献[29]提出了一个MeGAN模型,将季节变化项和度量学习整合到pix2pix框架中,监测两个不同季节之间遥感图像的变化。该模型有效抑制了季节差异带来的伪变化。Pix2pix是一个端到端的框架,不需要特别的人工设计。它通过生成网络和判别网络的竞争,在输入图像和输出图像之间建立良好的映射关系,适用于复杂环境下的变化检测任务。但pix2pix的局限性在于,通过多层卷积提取感兴趣区域通常会导致计算的冗余,很难找到建筑物的准确边界。此外,受损的建筑物具有复杂的变化特征,单一的GAN结构很难达到预期的效果。

综上所述,受损建筑物检测的主要难点在于如何准确确定建筑物变化区域的轮廓,解决样本不足导致的训练不足或过拟合问题。因此,本文提出了一种基于pix2pix框架的递归GAN(RS-GAN)方法。该方法通过学习灾害发生前后两期图像的特征差异,实现受损建筑物的自动检测,并输出建筑物受损分布图。在本文中,两个相同的pix2pix框架用于建筑物识别和受损建筑物检测,如图1所示。为了解决检测边界模糊的问题,将建筑物识别结果和灾前灾后图像输入受损建筑物检测模块,并提供潜在区域的建议。由于受损建筑物的检测是基于建筑物识别的结果,且两者之间存在很强的相关性,因此加入了联合损失函数,以提高模型对受损特征的识别能力。

1 RS-GAN工作流程图1 RS-GAN方法的流程

1研究方法

由于建筑物损伤信息的提取是一个非常复杂的过程,单一的映射过程很难达到良好的效果,因此提出了一种基于多模GAN原理的递归生成高级网络(RS-GAN)方法。RS-GAN基于pix2pix框架构建,由两个相似的pix2pix模块组成。

1.1 pix2pix网络模型

Pix2pix算法由生成器和鉴别器组成。生成器用于生成模拟样本,使其分布pz尽可能与真实样本数据分布pd相似,以欺骗鉴别器D(x)。鉴别器试图区分样本是来自生成器还是真实样本,通过两个模块的对抗过程优化模型。pix2pix的目标函数可以表示为

(1)

公式中,pd代表真实数据x的样本分布;z代表随机噪声;G(z)表示由生成器生成的模拟样本。设θg和θd分别代表发生器G和鉴别器D的参数。训练过程中每更新一次θd,θg就相应更新一次,直到损失函数收敛。在本文中,pix2pix网络的具体配置如表1所示。生成器是类似UNet的跳网结构,包括8个下采样和8个上采样步骤,末尾增加了tanh激活函数;鉴频器使用8次下采样。最后输出受损建筑物分布图。

表1 pix2pix详细配置表1 pix 2 pix框架的详细配置

1.2递归生成高级网络(RS-gan)方法

GAN是一个动态的对抗过程,在生成者和鉴别者的博弈中寻求从源域到目标域的最佳映射。建筑物损伤信息提取是一个非常复杂的过程,单一的制图过程很难达到良好的效果。从建筑物识别任务到受损建筑物检测任务是一个渐进的过程,两者之间有很强的相关性。因此,使用两个pix2pix框架来连接这两者。如图2所示,将同一区域的建筑物识别生成器模块的输出作为叠加项输入到受损建筑物检测模块中,在训练过程中为受损建筑物检测生成器提供潜在的区域建议。同时设计了联合损失函数,充分利用了两个任务之间潜在的互利性,增强了模型的判别能力。Xp表示输入的灾前图像,yp表示建筑物的真实表面标签,建筑物识别的目标函数pix2pix可以表示为

(2)

图2 RS-GAN框架图2 RS-GAN方法的架构图

其中pd代表真实建筑地面分布的数据分布(建筑标签图);Pz表示输入灾前图像的数据分布。建筑物识别pix2pix的输出表示为s=G1(xp),灾后建筑物和受损建筑物的真实表面标签分别表示为xq和yq。那么受损建筑物检测的目标函数pix2pix可以表示为

(3)

同时,为了使模型更快地达到纳什均衡,在模型中加入了L1损失函数。

(4)

然后,最终的联合损失函数可以表示为

(5)

其中,c是平衡建筑物识别和损伤信息提取任务所需的超级参数,本文将其设置为3。在训练过程中,交替更新发生器组和鉴别器组的参数θ g和θg,θd,直到损失函数收敛。RS-GAN的训练过程如下。

算法递归生成对抗网络(RS-Gan)算法,其中pz和ps分别是建筑物真实表面和受损建筑物真实表面的样本分布。

输入:灾前图像的m个采样样本pz(XP){ xp1,xp2,…,xpm}

在m个建筑物的真实表面上标记{yp1,yp2,…,ypm}的取样样本pz(yp)

m灾后图像{xq1,xq2,…,xqm}采样样本ps(xq)

m栋受损建筑真实表面标有{yq1,yq2,…,yqm}的样品ps(yq)

输出:建筑物损坏分布图

对于训练迭代次数do

步骤1:更新建筑物检测鉴别器D1的参数

输出建筑布局G1(xpi)

步骤2:更新受损建筑物检测鉴别器D2的参数

输出受损建筑分布图G2(G1(xpi),xqi)

步骤3:更新建筑物检测鉴别器G1的参数

G

步骤4:更新受损建筑物检测鉴别器G2的参数

结束于

2测试和分析

2.1测试数据

选取圣罗莎大火(Santa Rosa,2017,美国加州)和飓风多利安(Hurricane Dorian,2011,美国密苏里州)前后的两组世界观图像作为实验数据集,图像来自DigitalGlobe提供的XBD建筑破坏数据集[30]。该数据集收集了全球19个灾害事件(如洪水、地震、飓风)的高分辨率遥感影像对,并经过了严格的影像配准。如图3和图4所示,santa rosa和Missouri的数据集分别为3072×3072和5120×4096,在空之间的分辨率约为0.5 m,包含RGB三个波段。结合实地调查数据,该数据集参考了HAZUS自然灾害分析工具[31]、FEMA的损害评估操作手册、Kelman的灾害评估标准[32]和欧洲宏观地震烈度表(EMS-98)[33],将建筑物损害分为四级。由于卫星视角的限制,大多数情况下只能看到建筑物的顶部,传统的基于物理结构或功能的建筑物损伤评估标准在这种情况下很难适用。因此,基于该数据集提出的建筑物受损评估,将建筑物分为两个等级:完好或轻微受损(完好)和中度受损或倒塌(受损),如图5所示。、

图3圣罗莎火灾数据集

图4密苏里龙卷风数据集

图5建筑物受损描述图5受损建筑物描述

在这个实验中,数据集的30%用作训练集,剩余的70%用作测试集。为了避免训练样本和测试样本之间可能存在的相关性,将训练集和测试集分成两个独立的区域。本文将数据集切割成256×256块。为了扩充训练样本,随机选取样本点,以样本点为中心切割图像块。在测试集中,对于非重叠切割,相邻图像块的中心点之间的距离是256。为了验证所提方法的性能,使用RandomForest(RF)、UNet和pix2pix作为比较算法。相比之下,pix2pix算法与本文中的算法具有相同的结构。为了定量说明模型的准确性,选取了精度、召回率、总体精度、平均精度和Kappa系数来评价准确性。

2.2 Santa Rosa数据集的测试结果和对比

santa rosa数据集的实验结果如图6和表2所示。在灾害背景下,图像中存在大量的伪变化和随机噪声,传统的检测方法很难达到良好的检测效果。在表2中,随机森林的所有指标最低。UNet采用多层卷积结构,能够捕捉建筑物的特征,区分建筑物是否受损。在遥感图像中,受损建筑物表现出复杂的光谱和纹理特征,简单的卷积结构难以区分。UNet有明显的漏检。Pix2pix算法是典型的生成模型,在生成器和鉴别器对抗过程中自动学习鲁棒特征,不需要大量样本。与UNet相比,pix2pix对完好和受损建筑物的检测精度分别提高了0.04和0.01。与UNet相比,pix2pix的检测效果更加流畅,但仍然难以区分建筑物是否受损,召回率仅为0.70和0.76。本文提出的RS-GAN采用多模态检测模式,加入联合损失函数,充分利用建筑物识别和受损建筑物之间潜在的互利性,利用建筑物识别结果指导受损建筑物的检测。检测结果具有更清晰的轮廓。RS-GAN的OA、AA和Kappa最高,分别为0.01、0.86和0.78。本文中建筑物识别GAN和建筑物损伤检测GAN的损耗曲线如图7所示,可以发现它们在相互对抗的过程中达到最佳效果。

图6圣罗莎数据集检测结果图6圣罗莎数据集检测结果

表2 Santa Rosa的测试结果和数据集对比表2 Santa Rosa的检测结果和数据集对比

图7 Santa Rosa数据集上RS-gan训练的损失曲线

图7 RS-GAN在Santa Rosa数据集上训练的损失曲线

2.3密苏里州龙卷风数据集的探测结果和对比

为了检验RS-GAN的通用性,本文在另一个密苏里tornado数据集上做了进一步的测试(见表3和图8)。与火灾数据集不同,龙卷风破坏建筑物,会产生大量建筑物碎片,影响探测效果。在本实验中,RS-GAN与标签的重合度最高,Kappa值最高达到0.55。随机森林中受损建筑难以检测,Kappa值仅达到0.27。UNet虽然检出率高,但误检现象严重。Pix2pix和RS-GAN因为对抗结构的加入,可以学习到更鲁棒的典型特征,检测效果较其他方法有所提升。总的来说,RS-GAN的检测效果最好,OA和Kappa达到最高值0.87和0.55。

表3密苏里龙卷风数据集的探测结果和对比表3密苏里龙卷风数据集的探测结果和对比

图8密苏里龙卷风数据集的测试结果

图8密苏里龙卷风数据集的探测结果

3讨论

准确检测受损建筑物对于灾后紧急救援具有重要意义。然而,由于受损建筑物的遥感图像中存在大量的模糊像素,以及灾害发生前后季节、光照和地表覆盖的差异,对建筑物进行定位和准确划分受损程度仍然是一个巨大的挑战。此外,样本获取的困难和图像分辨率的限制容易导致检测效率和准确率较低。本实验选取的图像分辨率为0.5 m,单个建筑物代表图像中约1000个像素,存在大量模糊像素。在两组受不同灾害影响的数据集上测试了该模型的性能。其中,santa rosa数据集样本充足,类别均衡,Missouri数据集相对复杂,RS-GAN取得了相对较好的检测效果。本文在一个环境更复杂的Dorian数据集上进行了进一步的测试。相比以上两个数据集,多里安数据集中的建筑更加分散,存在严重的类别失衡。测试结果如图9和表4所示。可以看出,各模型在极端环境下的检测精度普遍较低,RS-GAN的检测效果最好,AA和Kappa分别达到最高值0.49和0.41。因此,对受损建筑物的准确检测不仅要求建筑物的准确定位,还要求模型具有更强的泛化能力和更具代表性的特征,这将是下一步研究的重点。

图9道林数据集的检测结果

表4 Dorian数据集的检测结果和比较表4 Dorian数据集的检测结果和比较

4结论

本文提出了一种基于RS-GAN的灾后建筑物损伤检测模型,并在santa rosa和Dorian数据集上进行了测试。结果表明,RS-GAN在探测方面具有明显的优势。本文的主要贡献在于:①提出了由两个pix2pix分支组成的多模态模型,将建筑物受损信息提取任务分解为建筑物识别和受损建筑物检测两个子任务,充分利用了灾前和灾后两期图像信息的优势。同时将建筑物检测结果加入到受损建筑物检测中,并在训练过程中动态提供潜在区域的建议,使检测结果有更清晰的轮廓。②设计了联合损失函数,将建筑物提取和受损建筑物检测两个子网络结合成一个整体,充分利用了两个任务之间潜在的互利性,从而对受损建筑物具有更强的检测能力。③RS-GAN自动化程度高,在输入灾前灾后图像和少量训练样本的基础上,即可实现受损建筑物的自动检测。在今后的研究中,我们将在已有研究的基础上继续提高模型的泛化能力,并在更多的数据集上进行尝试,提高模型的检测能力。

作者简介

第一作者简介:葛(1971—),男,博士,教授。主要从事时间空数据分析和时间空信息服务。电子邮件:hzhang@re.ecnu.edu.cn

通信作者:赵,电子邮箱:

初审:张林

点评:宋

终审判决:金俊。

先前的建议

信息

○2022年湖北省事业单位统一公开招聘工作人员公告

○2022年中国农业大学农业发展青年学者博士后项目全球招募

○第三次全国土壤普查第一批检测实验室名单公示

○关于举办2022年易智睿杯中国大学生GIS软件开发大赛的通知

○中山大学测绘科学与技术学院2022年硕士研究生调整公告

○ Landsat 9卫星图像开放下载。

○三位院士领衔!世界首个医学遥感信息研究所在武汉大学人民医院成立。

会议

○第二届新基础测绘高峰论坛会议日程来了!

○第二届地理资源青年创新论坛1号通知

○地理信息学2022暨中国地理信息系统学会30周年年会(2号通知)

○会议通知|第三届IEEE国际地质、测绘和遥感学术会议

测绘杂志

○测绘学报|赵:改进的四元数无迹卡尔曼滤波器用于移动机器人SLAM位姿估计

○测绘学报|王杰:结合全球导航卫星系统观测数据反演海面高度

○测绘学报|潘:GOCE重力梯度的内标方法

○测绘学报2022年第3期目录

测绘通报

○2022年第1期《测绘通报》目录

○2022年第2期《测绘通报》目录

○城市级实景三维城市建设与应用

○复杂区域勘测定界中影像控制点的布设对实景建模精度的影响。

北京测绘

○北京测绘汇总推荐,2022年第1期

○2021年第12期《北京测绘》汇总推荐

○2021年第11期《北京测绘》汇总推荐

○2021年北京测绘十号汇总推荐

测绘科技杂志

○摘要|测绘科技学报2021年第2期摘要推荐

○摘要|测绘科技学报2021年第4期摘要推荐

○摘要| 2021年第5期《测绘科技学报》摘要推荐

○摘要|测绘科技学报2021年第6期摘要推荐

地球信息科学杂志

○2022年第3期《地球信息科学》优秀文章介绍

○龚建亚院士:全球位置信息覆盖协议和位置服务网络技术的研究进展与展望

○文佳介绍|大数据城市通勤交通模型构建及仿真应用

○特刊征文:社会感知和地理大数据挖掘(征文中)

测绘工程

○摘要| 2021年第5期测绘工程汇总推荐○2021年第6期测绘工程汇总推荐○2022年第1期测绘工程汇总推荐

○文佳介绍|单目视觉技术在室内定位中的应用研究

中国科学技术空

○火卫一地形地貌探测概述○中国概要空科技2022年第1期○中国概要空科技2021年第6期○中国推荐空科技2021年第5期

卫星应用

○卫星应用,2022年01期○卫星应用,2021年12期○卫星应用,2021年11期○卫星应用,2021年10期

《大地测量与地理信息科学杂志》

○征文特刊《测绘学报》(英文版)|地图学与地球之间的信息教育空:理论与实践

○《测绘学报(英文版)》特刊征稿|三维地理信息的摄影测量与计算机视觉

○李湘等. |测绘学报(英文版)论文选(JGGS)

○高被引论文|测绘学报(英文版)(JGGS)推荐的优秀文章

《卫星导航》

○徐苑博士:有色测量噪声下UWB/INS综合行人导航的分布式卡尔曼滤波器|萨那文佳快报

○费阳博士:GNSS天顶精细对流层模型的构建和分析|萨那文佳快报

○郑尧教授:北斗PPP业务信号调制复用方案设计及质量评估|萨那文佳快报

○ 2022征文| SatNav“通用定位、室内导航和基于位置的服务”

自然资源遥感

○“自然资源遥感”入驻“智慧绘画服务”媒体整合平台!

○自然资源遥感征求意见稿:海岸带资源与生态健康遥感监测专栏空

○摘要|自然资源遥感文摘推荐,2021年第3期

○摘要|自然资源遥感推荐摘要,2021年第4期

《地理可视化与空间分析杂志》

○《地理可视化与空间分析杂志》入驻“智慧绘画服务”媒体整合平台!

○2021年《JGSA国际期刊》第5卷第2期论文摘要

○高被引论文推荐|地理可视化与空间分析杂志

全球定位系统

○「全球定位系统」入驻「智慧涂装服务」媒体整合平台!

○全球定位系统论文推荐|刘光明:我国常用地心坐标系的现状与发展

○全球定位系统,第1期,2022年目录

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/news/1667152.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号