近期，可持续发展大数据国际研究中心（SDG中心）开放研究计划——CBAS卓越科学家项目（CBAS2023ORP03）在复杂地质环境土体高分辨率遥感识别方面取得进展，构建了隐性知识引导的自适应特征融合网络，实现了多类型土体高精度解译，成果发表于遥感期刊 IEEE Transactions on Geosciences and Remote Sensing。该工作由中国地质大学（武汉）王力哲团队完成，硕士生陆越为第一作者。

1.论文摘要

土壤要素指具有独特颜色、纹理和颗粒大小的不同类型的土壤，其解译对农业、生态环境和土地渗透性评估具有重要意义，通常需要同时具备地质学和遥感学知识的专家进行分析。随着遥感数据量的不断增加，传统的“视觉解译”和“实地调查”技术已无法满足当前的需求。由于土壤的细微结构、复杂多变的自然场景以及强烈的空间变异性，基于深度学习的方法在解译准确性上仍与专家解译存在较大差距。为了提高细粒度土壤要素解译精度，本研究提出了一种结合隐式知识的多光谱图像土壤解译框架（Soil Interpretation Framework Coupling Implicit Knowledge, SIFCIM），致力于将土壤分布的隐式知识（如解译符号和地形特征）量化为矩阵数据，包括解译标志距离（Interpretation Symbol Distance, ISD）场和数字高程模型DEM。为了与SIFCIM框架对接，构建了隐式知识引导的自适应特征融合网络（IK-guided adaptivefeature fusion network, IAFFNet），该网络通过自适应隐式特征融合（implicit feature fusion，AIF）模块和全局特征依赖（Global Feature Dependence，GFD）模块，提高了辅助特征的利用效率。实验结果表明，IAFFNet在土壤要素解译中优于主流深度学习遥感图像解译方法，整体像素准确率（overall pixel accuracy，oPA）提高了约4.34%，平均交并比（mean intersection over union，mIoU）提高了6.62%。这些结果验证了隐式知识引导方法在土壤要素解译中的有效性和鲁棒性。据我们所知，本研究首次将隐式知识概念应用于土壤要素解译，为相关领域的研究提供了新的视角。

图 1 研究区域和样本例子

2.研究方法

在本研究中，研究区域位于伊朗南部霍尔木兹甘省，毗邻波斯湾和霍尔木兹海峡。该地区地质条件复杂，具有丰富的土壤要素类型，是一个典型的地质研究区域。图1展示了本研究的研究区分布以及土体样本例子。本研究利用多模态数据集，包括Sentinel-2多光谱图像和DEM，以及ISD作为输入数据进行土壤要素解译。如图2所示，IAFFNet架构包括三个核心模块：自适应隐式特征融合AIF、多尺度特征提取（Multi-scale Feature Extraction，MSFE）和全局特征依赖GFD。AIF模块通过将多光谱图像和隐式知识IK分支的特征融合，实现了高效且有针对性的特征提取。MSFE模块采用膨胀空间金字塔池化来提取多尺度特征信息，从而捕捉土壤要素在不同空间尺度上的分布特征。GFD模块引入了交叉注意力机制，用于建立特征之间的远程依赖关系，从而实现全局特征的关联。这些设计使得IAFFNet能够有效解决土壤要素的解译问题，特别是在处理复杂的地形和土壤分布特征时。为了验证本研究提出的解译方法，我们使用了多样化的土壤要素数据集，并专注于不同类型的土壤区域，以减轻类别不平衡问题。模型的最终输出通过一系列卷积层、批量归一化和激活函数生成，并通过分类层得出。为了评估IAFFNet模型的性能，我们采用了mIoU和oPA作为评估指标，通过计算不同类别中预测值与真实值的交集和并集的均值来评估分割准确性。

图 2 基于隐性知识的土体解译网络

3.研究结果

本研究使用多个深度学习模型进行比较实验，并通过消融实验评估了IAFFNet中不同模块的贡献。实验在配备NVIDIA RTX 3080 GPU的工作站上进行，数据集随机分割，训练集、验证集和测试集分别用于训练和评估，每个模型训练150个周期。在表1中，消融实验表明，与仅输入Sentinel-2影像相比，使用SDI作为输入时，DeepLab v3+在oPA和mIoU上分别提高了4.08%和4.93%。此外，IAFFNet在三种不同输入条件下始终优于基准模型，AIF和GFD模块的加入分别使oPA和mIoU在SDI输入下提升了1.11%和1.91%。图3 提供了不同隐式知识类型和组合对可解释性影响的视觉表示。引入隐式知识后，IAFFNet显著改善了土壤特征的分类准确性，尤其在处理砾石土、细粒土和沙质土时表现出色。

表 1IAFFNet的消融实验

图 3 主流深度学习方法预测结果对比

如表3所示，引入了隐式知识后，IAFFNet在不同土壤特征解译中的优势，尤其在砾石土、沙质土和岩石类别中，模型的精度显著提高。具体来说，输入为Sentinel-2和DEM时，DEM的地形分布特征帮助模型更好地学习这些土壤特征，而输入为Sentinel-2和ISD时，水体作为解译标记对细粒土、砾石土和沙质土的分类精度提升尤为明显。尽管细粒土的地形分布特征较弱，但隐式知识仍能提高其解译精度。

表 3IAFFNet和其他模型的精度对比

4.结论

在本研究中，针对土壤要素解译准确度低的问题，主要由于知识应用不足、算法推理和自学习能力不够，提出了SIFCIM框架并基于该框架开发了IAFFNet。通过广泛的实验和分析，验证了利用SIFCIM提高土壤要素解译准确性的可行性和普适性，尤其是对于遥感影像难以反映的土壤要素，如沙土和砾土。然而，框架中引入隐式知识可能导致数据中的冗余信息，从而在某些模型中限制甚至降低了准确度的提升。因此，通过实证研究，我们证明了IAFFNet结合自适应特征融合机制和全局特征依赖机制能够从多源数据中准确提取有效特征，减少冗余信息的负面影响，并充分发挥SIFCIM的优势。

本研究的结果可能为从事大规模智能土壤要素制图方法的研究人员以及从事知识密集型地质解译研究的人员提供启示。然而，我们的工作仍有改进的空间。例如，随着土壤到海洋的距离增加，使用ISD时解译准确度的提升会逐渐减小，这需要更加科学的量化方法。此外，SIFCIM仍存在信息冗余、计算复杂度增加以及隐式知识手动选择等缺点。在未来的研究中，我们将进一步探索如何解决这些局限性，并提出更具科学依据的隐式知识量化算法。

【文章链接】

https://doi.org/ 10.1109/TGRS.2023.3307977

【相关研究】

Yue Lu, Kang He, Haoran Xu, Yusen Dong, Wei Han, Lizhe Wang , and Dong Liang, Dong. “Remote-sensing interpretation for soil elements using adaptive feature fusion network.” IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1-15.