使用MASI最新版软件对最高分辨率商业卫星Pléiades Neo 30 cm三视立体进行全流程处理

本文使用MASI最新版软件对全球最高分辨率商业卫星Pléiades Neo 30 cm三视立体影像进行全流程处理,处理生成融合影像、高精度高密度DSMDEM,正射影像、三维实景模型等,成功实现了测绘产品制作(DSM/DEM, DOM等)、建筑物高度属性信息提取、高密度城区实景三维数据制作等应用。

一、Pléiades Neo卫星星座介绍

Pléiades Neo是目前最先进的光学遥感卫星星座,建成后将包括四个均为30公分地面分辨率卫星,整个星座且具有极高反应能力和数据获取能力。完全由空中客车公司投资、制造、拥有和运营的Pléiades Neo是对地观测领域的一个突破。

Pléiades Neo星座最大特点是拥有30公分地面分辨率,且每个卫星均为敏捷星。卫星为太阳同步轨道,降点时间为10:30 am,飞行高度620km;可获取单视、立体及三视立体影像。因为敏捷星,具有多种获取方式,如同轨道多角度等。每天可最多获取2百万平方公里覆盖范围影像。可获取包括深蓝、蓝、绿、红、红边(Red Edge)、近红外和全色等多个波段。

Pléiades Neo可广泛应用于防务、资讯情报获取、海洋应用、城市应用及测绘制图等应用,其中测绘应用方面,Pléiades Neo影像可生产制作DSMDEM、正射影像、点云、三维模型等;因其较高地面地面分辨率和定位精度,可实现基于卫星数据的1:2000大比例尺测图。更多信息请参考空客防务公司官方网站。

二、MASI 最新版软件介绍

航空与卫星影像自动处理软件MASI 最新版v5.6软件具有航空影像、ADS影像、卫星影像和无人机影像处理多个主要处理步骤。针对以上传感器,具有全自动高密度DSM(包括点云)生成、实景三维建模、正射影像生成、自动镶嵌、DSM自动转换成DEMDSM减去DEM即为房高、树高提取)、高度变化自动发现、体积计算、建筑物属性(楼高、楼层数、楼中心位置、地面面积和建筑面积等)自动提取、影像显示、DSM/DEM交互式编辑、多边形采集等功能。卫星影像处理模块还具备多种自动定向(相对定向、与正射影像匹配提取控制点、区域网定向与平差)、交互式匹配点检查和点量测、控制点量测与平差、影像融合功能。

使用MASI Version v5.6软件可加工生成密集点云、DSM、真实色彩纹理的三维模型(Mesh模型)、DEM, nDSM, 正射影像、全色和多光谱融合影像、镶嵌影像、高度变化图、具备建筑物属性的矢量文件、体积数值等。该软件可应用于以下场景:(1)测绘产品制作(点云、DSM, DEM,(真)正射影像、融合影像等);(2)新建、超建、违建、拆除建筑物的自动发现及高度精确提取(通过高度变化自动发现建筑物新建、超建、违建、拆除等变化情况);(3)建筑物和树高度提取、白模建模;(4)土石方、地表矿产资源开采量、地面物体(货物、干散货、垃圾、木头、草垛等)堆积量等估算、蓄水量、打击评估;(5)实景三维建模;(6)卫星影像遥感监测;(7)新城、居住小区、大型工程建设进度等各种高度发生变化的监测应用;(8)征地和拆迁预算、工作量估算等;(9)房屋保险、商业和军事情报收集等;(10)建筑小区容积率计算;等等。

关于MASI最新版v5.6的介绍,请参考本网站之前刊登的报道。

三、处理流程与结果

整个流程主要包括数据准备与预处理、高分辨率全色与多光谱影像融合、全自动定向平差、密集立体匹配与DSM生成、DEM2DEM及建筑物属性自动提取、正射纠正、实景三维模型生成等步骤。

3.1、数据准备与预处理

该数据集由同轨道获取的前视、下视和后视三个视角组成,每个角度分别包含全色和多光谱波段;其中,下视全色影像大小为46913 x 94241,因其分辨率为30公分,下视影像覆盖地面范围约为15公里 x 28 公里,面积约420平方公里,面积较大。经过后述的解压和分块拼接等预处理后,下视全色影像解压后占用存储大小为8.2 GB (采用无符号16位存储像素值),下视3波段真彩色影像解压后占用存储大小约1.6 GB。因此,整个数据集的覆盖地理范围和占用的存储空间均较大。

为便于更好地在MASI软件进行融合、定向平差、密集匹配、纠正等后续处理,需对厂家提供的数据进行一定的预处理,主要是进行数据解压、分块存储数据的拼接和存储RPC参数文件格式转换。需分别为每个视角的全色、多光谱影像进行拼接。将厂家提供的XML格式存储RPC参数文件转换普遍采用的文本格式RPC参数文件,后续处理均采用文本格式RPC参数文件。

经过上述预处理以后,使用MASI软件中生成影像矢量边框工具为前、下、后三个视角生成相应的矢量边框,并叠加世界各国边界范围进行显示,进一步展现数据集的位置、覆盖范围等信息。影像矢量边框叠加显示和影像缩略显示分别如下图:

根据显示的矢量边框并查阅其地理范围,可知该数据集覆盖地方为法国在地中海沿岸的港口城市马赛港,数据覆盖区域包括马赛市的密集城区、沿海的海岸线和部分海域、密集城区周边的城乡结合区及周边的山区。

 


 


说明: C:\Users\yang\Pictures\pleiade_neo\images\nadir_RGB_overview.PNG

 

3.2、影像融合

因为数据厂家提供的数据为独立的全色、多光谱数据,且每个角度获取的全色和多光谱数据的方位和角度等是一致的,因此选择对未经后续步骤处理的数据进行融合处理。

使用北京空视信息技术有限公司杨景辉博士提出的BR融合算法进行融合处理,该功能模块将高分辨率全色影像和低分辨率多光谱影像进行融合,生成分辨率高且具有光谱信息影像;该模块具有多核并行处理能力。BR算法为高保真的影像融合算法,特别适合超高分辨率卫星影像融合,融合后影像既保持了高分率全色影像的空间细节信息,又最大程度地保持了多光谱影像上的色彩信息,融合算法不受多光谱影像波段数目限制,针对超高分辨率卫星影像进行了特别优化,同时进行了并行处理优化,处理效率高。

分别为每个视角进行融合处理。采用8核并行处理,下视全色和多光谱影像融合处理耗时不到26分钟,生成的融合影像文件大小约为25 GB。融合影像和全色影像卷帘对比显示如下图,左侧为融合影像,右侧为全色影像,下图为叠加显示时进行卷帘对比。

 


说明: C:\Users\yang\Pictures\pleiade_neo\images\BR_pan_swipe.PNG

 


3.3、定向平差

使用MASI软件中专门用于三线阵/三视立体影像全自动定向和平差的工具tripleOri,大部分采用默认参数即可,且可保存配置参数,下次使用时自动载入,避免用户重新选择。

定向平差处理过程大体如下:先在三视立体影像上全自动提取三重匹配点,程序内部会自动剔除极少数误匹配点,然后根据这些三重匹配点进行最小二乘平差,采用的模型为RPC支持的像方补偿方法,因该数据覆盖范围较大,采用了仿射变换模型进行补偿。定向平差处理时输入为三个视角的全色影像。

提取的匹配点采用XML格式进行存储,这些匹配点可导入MASI软件中tripletViewernViews等工具进行点分布查看、检查、调整和添加点等操作、并可添加控制点后重新进行平差等。因Pléiades Neo定位精度较高,即使无控制点情况下(本例无控制点),仍可取得较高精度,Pléiades Neo定位精度等相关信息请查阅空客防务官方网站。提取的匹配点均匀分布在除海域外的整个范围内,且全部匹配点中无误匹配点,点分布如下图:

 


说明: C:\Users\yang\Pictures\pleiade_neo\disp_points.PNG


3.4、密集立体匹配与DSM生成

经上一步“定向平差”处理得到像方补偿参数将用于本步的密集立体匹配和DSM生成。因数据集具有同轨的前、下、后三个视角的影像,根据其获取时角度配置条件,可最多组成三个两视立体,如前视-后视立体、前视-下视立体、后视-下视立体,且可将这些立体配置生成的DSM进行融合处理,进一步提高高程精度和补充缺失。使用过程中用户应该根据数据获取时角度配置情况、地面地形地物特征、传感器特点等判断哪些角度获取的影像适合形成立体组合。总得来说,立体组合交会角度越小,自动立体匹配所得结果完整度越高,但点交会高程精度低;相反,立体组合交会角度越大,点交会高程精度高,自动立体匹配带来的缺少就越高。实际应用过程中,没有一成不变的教条,应该根据各种因素进行权衡,取得一个较好的折中。

本例中,为充分利用该数据集特点并演示多个立体组合匹配结果进行融合处理等操作过程,我们选择分别进行前视-后视立体、前视-下视立体、后视-下视立体三个组合的密集立体匹配,并对所得结果进行一个拼接融合处理。MASI软件具有基于NCCSGM两种立体匹配模块,本次处理使用SGM算法。

通过选择不同参数,MASI可实现只进行一次立体匹配(立体匹配为运算量较大步骤),根据需要生成不同网格间距的DSM结果。且具有第三方高程辅助立体匹配功能;具有通过多边形限定感兴趣范围,只对多边形范围内区域进行处理,该功能可帮助排除大面积水域及云雪覆盖区域。立体匹配具有多层级并行处理能力(多个进程并行处理,且每个进程具备多个线程并行处理),并行处理提高了处理效率且可充分发挥现有多核计算机平台的计算优势。软件模块内部采用分块处理机制,因此,可处理影像不受大小的限制。

为提高处理效率和提高立体匹配准确度,本次试验采用第三方高程辅助模式;为节约处理时间,使用了限定多边形,只对选定的范围进行立体匹配,选定范围包括密集城区和城区周边的部分山区,约占整个区域的40%,后续将会对选定的区域进行正射纠正、建筑物高度属性提取和生成实景三维模型等处理。

完成三个立体组合各自的立体匹配处理后,使用DSM拼接融合功能生成精度更高、完整度更高的DSM结果。拼接融合得到的DSM再进行一个后处理。后处理主要是对极少数的空值区域进行插值、消除错误点(小区域)、及进行一定的精化处理。经过后处理后得到的50公分网格间距的DSM效果如下图所示。

 


 

 

 

 


以上处理步骤和处理结果均为全自动方式,为进一步提升DSM质量及去除因水体等区域造成的匹配错误区域,MASI软件包含交互式DSM/DEM编辑工具collectPolygons。该工具可对水体、云雪覆盖区域的DSM进行编辑。用户可在DSM后处理步骤前(也即未插值的DSM)进行编辑,如果DSM中存在大块区域的误匹配(如水体、云雪等无纹理区域、重复纹理区域等区域容易匹配出错),可使用本模块进行编辑,编辑后再进行DSM后处理(对应postDSM.exe程序);也可在后处理得到的DSM上进行编辑,也即后处理后如还存在小块错误区域,可使用本模块继续进行编辑。用户在不同阶段根据具体情况选择是否对DSM进行编辑操作。

经过本步骤得到DSM产品可用于各种应用,如进行正射纠正的高程数据源,也可使用DSM进一步自动或者人工编辑方式生成DEM,并进一步用于自动提取建筑物属性(楼高、楼层数、楼中心位置、地面面积和建筑面积等);进行高度变化自动发现(通过高度变化自动发现建筑物新建、超建、违建、拆除等变化情况)、体积计算等,也可将DSM赋予真实色彩纹理,生成实景三维Mesh模型。MASI软件均已具备以上处理功能,以下将实现并展示常见的几个应用:建筑物属性自动提取、正射纠正和实景三维Mesh生成。

3.5、建筑物属性自动提取

为实现建筑物属性自动提取,首先需得到建筑物相对地面的高度,也即nDSM。可通过DSM减去对应的DEM得到nDSM,反映存地面高度的DEM可以通过MASI软件中DSM2DEM模块自动处理得到。

另外还需要包含多个建筑物足印(footprint)边框矢量的shape文件(可采用多边形采集工具采集建筑物足印边框;或者来自第三方数据源),该矢量文件和与之对应的高精度高密度nDSM一起作为输入,MASI软件将自动提取每个建筑物中心位置(X, Y坐标值)、地面面积、楼高、楼层数及建筑面积,并将这些数值以属性的形式写入输入的shape文件。

在生成DEM过程中,先对50 cm网格间距的DSM进行缩编,生成2 m网格间距DSM,然后再使用DSM2DEM模块生成2 m网格间距的DEM,生成的DEM不仅可进一步处理得到nDSM,还可用于后续的正射纠正所用的高程数据源。

提取的建筑物高度属性将建筑物突起的三维显示效果如下图。原始建筑物边框矢量数据来源于Open street map网站提供的开源数据。

 


 

 


3.6、正射纠正

本例中下视影像存在一定的侧摆角(15度左右),影像上的部分建筑物可能存在侧视效果,因此不宜采用DSM进行真正射纠正。

使用前述步骤得到的2 m网格间距的DEM30 cm的下视融合影像进行正射纠正,因对整个区域影像进行纠正,所得纠正结果中与DEM覆盖一致区域为正射纠正影像,无DEM覆盖区域程序内部自动采用RPC文件中平均高度进行纠正。以下各图为DEM覆盖范围内的正射纠正结果影像。

 


 

 

 


3.7、实景三维Mesh生成

使用经过色彩平衡和拉伸至8比特的三视立体原始影像(共三个)、定向参数和上述步骤生成的50 cm网格间距的高密度DSM等生成具有真实色彩纹理的三维模型,生成的三维模型为分块存储的网格(Mesh)模型。用于纹理映射的原始影像需为8比特数据类型,而本例中原始影像数据类型为无符号16比特,生成三维模型前,先使用本软件中autoStretch程序将影像自适应拉伸至8比特。

以下各图为房屋密集城区三维实景效果。

 


 

 

 


四、小结

本文主要介绍了使用北京空视信息技术有限公司自主研发的最新版MASI软件对全球最高分辨率商业卫星Pléiades Neo 30 cm三视立体影像进行全流程处理过程,整个流程主要包括数据准备与预处理、高分辨率全色与多光谱影像融合、全自动定向平差、密集立体匹配与DSM生成、DEM2DEM及建筑物属性自动提取、正射纠正及实景三维模型生成等;并且进一步给出了各步骤的处理结果。通过本案例,不仅成功实现了测绘产品制作(DSM/DEM, DOM等)、建筑物高度属性信息提取、高密度城区实景三维数据制作等应用,也进一步验证了最新版MASI软件的功能完备性和对最新、最先进传感器的适应性。