下载文档原格式
基于线性源法与图像处理的土壤饱和导水率快速测量方法左冲;颜小飞;林昱槟;周雯【期刊名称】《农业工程学报》【年(卷),期】2022(38)7【摘要】土壤饱和导水率是计算土壤剖面水通量以及设计灌溉和排水系统的重要参数,其测量准确与否直接影响各类水文和水动力学模型的预测精度。
然而,现有土壤饱和导水率测定方法费时费力,给土壤水动力学研究工作带来了诸多不便。
为此,该研究提出了一种基于线性源入流法与手机图像处理相结合的土壤饱和导水率快速测量方法。
该方法首先利用手机拍照获取图像记录充分供水条件下线性水流在土壤表面扩散的过程,图像经处理后计算出土壤表面湿润面积及其随时间的变化关系,然后根据线性源入流法估算的土壤稳态入渗率来测得土壤饱和导水率,并与传统的定水头标准法测得的饱和导水率进行对比。
结果表明:图像经畸变校正与二值化处理之后计算出栓皮栎林区土壤、油松林区土壤和砂壤土表面湿润面积与时间具有较好的幂指数关系,决定系数R^(2)分别为0.994、0.995和0.998;在此基础上,采用线性源入流法测量栓皮栎林区土壤、油松林区土壤和砂壤土的稳态入渗率(即土壤饱和导水率)分别为23.40±1.21、23.86±1.83和22.99±2.26 mm/h,同时使用定水头标准法测量三种土样得到的饱和导水率分别为24.41±1.53、24.26±0.37和23.81±0.10 mm/h,与定水头标准法相比,该研究提出的土壤饱和导水率测量方法的相对误差分别为4.14%、1.64%和3.42%。
可见,该研究提出的测定方法较为合理、简便、准确,可为获取土壤饱和导水率提供一种新的测量手段,后续研究会将该方法用于野外环境下土壤饱和导水率的原位测定,并验证该方法的准确性。
【总页数】7页(P110-116)【作者】左冲;颜小飞;林昱槟;周雯【作者单位】北京林业大学工学院【正文语种】中文【中图分类】S152【相关文献】1.采用田间表层结壳稳定流法确定土壤非饱和导水率2.基于Guelph法的土壤饱和导水率测定方法对比3.基于交叉验证的农田土壤饱和导水率传递函数研究4.黄土高寒区小流域土壤饱和导水率和土壤密度的分布特征5.基于GIS和随机森林算法的宁东土壤饱和导水率分布与预测因版权原因，仅展示原文概要，查看原文内容请购买。
莫竣程，邵志伟，梁妙婷，等．我国农田氮磷流失监测现状与在线监测标准化方法［Ｊ］．江苏农业科学，２０２４，５２（３）：１２－２１．ｄｏｉ：１０．１５８８９／ｊ．ｉｓｓｎ．１００２－１３０２．２０２４．０３．００２我国农田氮磷流失监测现状与在线监测标准化方法莫竣程１，邵志伟１，梁妙婷１，黄燕珊１，李永涛１，居学海２，陈澄宇１（１．华南农业大学资源环境学院，广东广州５１０６４２；２．农业农村部农业生态与资源保护总站，北京１００１２５） 摘要：本研究为我国农田面源污染监测提供科学、系统、有效的基础资料，以期为未来相应监测规范和标准的完善奠定基础。
通过梳理文献资料，对近年来国内各省份农田面源污染监测现状和方法进行分析，特别关注了农田在线监测氮磷流失前景与标准化方法。
我国从第一次污染源普查至今，在国家层面上开展农业面源污染国控监测点试验，获取全国各大分区主要种植模式下的肥料流失系数，并进行省、市级氮磷流失负荷估算，为全国农田氮磷负荷量研究奠定科学基础。
随着现代数字农业发展，我国农田氮磷流失监测技术也来到了一个新的阶段，因此笔者提出在构建“天—地—空”三维一体监测指标体系的基础上，将传感器技术、农业物联网技术、无线网络通信技术、地理信息系统技术应用于农田面源在线监测的构思，构建耦合数据采集、处理、传输、存储、管理、分析、建模、应用的“大田—流域—区域”尺度在线监测氮磷流失标准化方法。
在线监测氮磷流失数据标准化方法很好地解决了传统田间监测中的问题，能有效提高监测数据的实时性、准确性和稳定性，并为在线监测农田面源污染规范的制定提供了参考。
关键词：农田；氮磷；面源污染；在线监测；指标体系；标准化方法 中图分类号：Ｘ５２；Ｘ５９２ 文献标志码：Ａ 文章编号：１００２－１３０２（２０２４）０３－００１２－０９ 收稿日期：２０２３－０４－１９基金项目：第二次全国污染源普查项目（编号：２１１０３９９）；广东省自然科学基金（编号：２０２１Ａ１５１５０１１５０３、２０２３Ａ１５１５０３０１０１）；广州市基础研究计划基础与应用基础研究一般项目（编号：２０２２０１０１０５０５）；广州市农田面源污染监测项目（编号：ＧＤＹＤ２３００８６）。
基于人工智能算法的CYGNSS数据土壤水分反演作者：贾燕金双根严清赟郭献涛来源：《南京信息工程大学学报》2021年第06期摘要利用CYGNSS數据估计地表土壤水分（SM）近年来获得了极大的关注，但效率和精度有待进一步提升.本文提出了一种预分类策略，结合人工智能算法（AI），利用CYGNSS数据预测土壤水分.此策略能够在人工智能算法的基础上进一步提高土壤水分预测的精确度，具有较好的普适性和易用性.本文使用了2018年全年中国地区的实地土壤水分数据作为地面真实参考数据进行建模以及预测.结果证实预测土壤水分与参考真实数据具有良好的一致性.基于CYGNSS数据预测的土壤水分与实地土壤水分参考数据比对，其相关系数高达0.8，平均均方根误差（RMSE）和平均无偏均方根误差（ubRMSE）分别为0.059 cm3/cm3和0.050 cm3/cm3.研究结果表明，预分类策略的人工智能算法可明显提高CYGNSS预测土壤水分的精确度，其简单易操作性也使其可广泛应用于其他回归和预测研究领域，具有较好的泛化性和拓展性.关键词全球导航卫星系统反射测量法;土壤水分;CYGNSS;人工智能中图分类号S152.7;S127文献标志码A0 引言地表土壤水分是地表与大气相互作用的重要因子，是作物生长、发育的基本条件.它不仅对陆地表面蒸散、水的运移、碳循环有很强的调控作用，而且也是气候、水文、生态、农业等领域衡量土壤干旱程度的重要指标[1-3]，因此，及时准确地获取地表土壤水分信息具有重要的意义.但是，由于监测设备的高成本以及点观测的局限性（小范围观测），传统的现场观测无法满足持续监测大面积土壤水分含量的需求[4].微波遥感技术的兴起和发展使得传统的点测量转移到面测量，为获得区域和全球尺度的高分辨率的土壤水分信息提供了可能.目前，许多被动微波卫星或传感器已被用于观测地表土壤湿度（<5 cm），如美国宇航局的AMSR-E（先进微波扫描辐射计-地球观测系统）[5]、欧洲航天局的SMAP（土壤湿度被动和主动）[6] 和SMOS（土壤湿度和海洋盐度）[7].尽管使用微波传感器可以获得高精度的土壤水分产品，例如，SMAP 36 km土壤水分产品的误差约为0.04 m3/m3[8]，但其2～3 d的较长重访周期限制了其更高的时间分辨率（1 d）应用.GNSS-Reflectometry （GNSS-R）反射信号遥感是一种介于主动和被动遥感之间的新型遥感探测方法，可以看作是一个非合作人工辐射源、收发分置、多发单收的多基地L波段雷达系统，从而兼具主动和被动遥感两者的优点[9-10]：1）它利用全球卫星导航系统反射信号进行测量，不需要额外的发射机，这使得开发轻便、紧凑和低成本的接收机系统得以实现;2）系统配置灵活，可自行设计接收多种高度、多角度和多极化的目标物反射信号，为多种接收方式、算法研究提供了可能.随着GNSS-R反演土壤水分研究的不断深入，具有长时间序列观测数据的新星座观测计划成为GNSS-R土壤水分反演的新途径.最新的CYGNSS星座系统，含有8颗微小卫星，可同时接收来自GPS卫星的直射信号和地面反射信号[9]，大大增加了地球可观测面积.它的重访周期仅为4 h，空间分辨率最高可达到0.5 km[11].CYGNSS星座系统提供的高精度优良数据，为实现全球高时空分辨率的土壤水分长期动态监测提供了有力的支撑[12-24].Eroglu等[17]提出了一种基于人工神经网络（ANN）的日土壤水分反演方法，其设计的ANN输入部分包括CYGNSS数据和其他辅助数据：归一化差异植被指数（NDVI）、植被含水量（VWC）、地形高程、地形坡度和表面粗糙度.反演结果的ubRMSE（无偏均方根误差）为0.054 4 cm3/cm3，R为0.90，取得了较好的研究成果.虽然ANN能够很好地反演土壤水分，但该方法十分依赖训练数据集.倘若训练数据集不能代表所有实测数据，就会出现反演值溢出的情况.Yang等[19]采用了类似的算法评估了星载GNSS-R星座系统（TDS和CYGNSS）SM 预测性能.R为0.79，ubRMSE为0.062 cm3/cm3，并采用了6个辅助参数.值得注意的是，目前基于人工智能的CYGNSS数据反演土壤水分研究[17-19]，大多使用SMAP作为参考和验证数据，且依赖于大量的辅助输入参数，例如海拔高度、地形坡度等.因此，本文提出一种基于预分类的人工智能算法，利用CYGNSS数据进行SM预测和估计.采用上述方案，其普适性和实用性较强且需要的辅助变量较少，学习模型的复杂度低，训练效率高且训练过程简易，同时预测结果的精度高.为CYGNSS SM估计提供了新的思路和手段.1 数据描述本章主要描述CYGNSS数据获取与预处理过程，并介绍了SMAP数据以及实地土壤水分参考数据及来源.1.1 CYGNSS数据本文拟采用的土壤水分数据产品主要包括星载CYGNSS以及实测土壤水分数据.其中，星载CYGNSS有8颗微卫星，每颗卫星每秒可以同时提供4个地面反射测量值（免费获取：https：∥）[11]，因此每秒可以同时获取总共32个观测数据.CYGNSS原始数据包括每个镜面反射点（SP）处的双地基雷达横截面值（BRCS）和信噪比（SNR），以及相关的几何测量和导航定位信息，例如入射角、SP坐标、从SP到发射端和接收端的距离等.本文中使用2018年整年的CYGNSS数据用于建模和预测，并把每日CYGNSS数据样本进行重投影、重采样到EASE-Grid（该网格为等积圆柱投影）网格上，便于后续的计算与比较验证.本文拟采用中国区域范围内的CYGNSS数据中SP处SNR超过0 dB的数据进行土壤水分反演，以确保数据的可靠性.同时，保留BRCS峰值在时延轴第4与第15位的数据，天线增益大于零的数据以及仰角大于30°的数据，相关类似操作也在文献[17-20]中采用.另外，由于CYGNSS未直接提供GNSS-R双基雷达反演中所需的地表反射率，因此需要通过CYGNSS已提供的相关数据来推算地表反射率，将在下一节进行详细介绍.1.2 SMAP数据SMAP提供日土壤水分产品，且平均每隔3 d左右，其数据可覆盖到全球±45°纬度内的陆地区域.本文拟采用SMAP L3级产品，EASE-Grid版本6提供的日土壤水分产品，该数据的空间分辨率为36 km×36 km（免费获取：https：∥/data/SPL3SMP/）.SMAP的数据包含土壤水分估计值、质量标记（用于过滤SMAP数据）、粗糙度和植被不透明度（vod，或τ）以及相关的轨道坐标值[25].本文主要使用SMAP中的粗糙度和植被不透明度τ作为辅助变量参与建模，并使用质量标记“反演成功”作为数据筛选的条件.因为单日的SMAP数据覆盖率较低，我们将SMAP数据都进行了3 d平均的操作便于其参与后续的土壤水分建模运算，并将SMAP的粗糙度和τ数据映射到CYGNSS数据使用的EASE-Grid网格上.1.3 参考数据将上述数据作为输入变量，建立土壤水分预测模型.输出的土壤水分参考数据将采用中国土壤水分自动观测站收集的实地地表SM数据.该观测网由多个站点组成，本文采用的站点分布及其覆盖的区域如图1所示.每个站点提供每小时土壤表面以下0至100 cm深度的SM测量，间隔10 cm.根据不同的土壤含水量和土壤类型，GNSS-R信号在土壤中的穿透深度可以从几厘米到大约20厘米不等[15].因此采用地表上层10 cm 的实地观测SM数据，视为与GNSS-R技术反演土壤水分匹配的最佳值.在本研究中，每天逐小时的地表土壤水分数据被用来作为参考真实土壤水分数据.此外，还提供了采样地点的地理位置信息（包括纬度、经度）.2 估计方法本章详细叙述了从CYGNSS数据计算反射率以及土壤水分的建模和预测过程，包括地表反射率的计算、幾种用于土壤水分反演的经典人工智能算法，以及预分类人工智能算法的模型构建和反演SM的过程.2.1 CYGNSS观测量计算拟利用处理好的CYGNSS数据，在顾及地表粗糙度和植被的情况下，进行土壤水分反演.对于有植被覆盖的区域，地表的反射率[12-25]可表示为以下的形式：Γ（θ）=R（θ）2γ2exp（-4k2s2cos（）），（1）其中，入射角为，R为菲涅耳反射系数，透射率γ包含了植被对信号传播的衰减程度，指数项表示地表粗糙度效应，其中k为信号波数，s为地表均方根高度.反射率Γ和土壤水分呈线性正相关的关系，因此Γ可被视为与土壤水分相关性最大的特征变量.另外，由于透射率γ是植被不透明度τ的函数，其形式为γ=exp（-τsec ），所以拟将SM 视作Γ、τ和地表粗糙度3个变量的函数.本文拟采用SMAP数据中的植被不透明度τ和地表粗糙度作为辅助数据，地表反射率可由CYGNSS数据获取.根据光滑地表相干反射分量的理论假设，并考虑CYGNSS提供的BRCS值，地表的反射率可由下列公式[17]求得：Γbrcs=σ（Rt+Rr）24π（RtRr）2，（2）其中Rt和Rr分别表示发射机和接收机到SP的距离，这些相关参数由CYGNSS数据提供.值得注意的是，反射率的求解可采用多种途径，由于采用BRCS 获得的Γbrcs在土壤水分反演中已被证实取得的效果最佳[17]，故本文采用式（2）的方法求解反射率，结果如图2所示.2.2 人工智能算法用于土壤水分反演机器学习（ML）是一种主流的实现人工智能的方法，而机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测.与传统的为解决特定任务、硬编码的软件程序不同，机器学习用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务.机器学习历经70年的曲折发展，在很多方面收获了突破性进展，经典的机器学习的研究方向主要包括决策树、随机森林、人工神经网络、SVM等，且已经被运用到了土壤水分的反演研究中.随机森林[26]利用bootsrap重抽样方法从数据集中抽取多个样本，对每个样本分配一个决策树进行决策，即建立多棵决策树，形成一个决策树“森林”，然后将多棵决策树进行组合，最后通过投票方法得到最终预测结果.该方法能够有效地提高对新样本的分类准确率，降低模型的过拟合能力.人工神经网络（Artificial Neural Network）模型，简称ANN，是1980年代以来人工智能领域兴起的研究热点之一[17].从生物学的角度来说，它是模拟人脑对信息处理的过程，是对人脑神经系统的数学模型抽象.神经网络实现一种数学运算，由大量的神经元相互连接而成，每个神经元可以看作是一种运算输出函数，该模型可以用于拟合复杂的数学函数.人工神经网络模型分为多层前向神经网络、自组织神经网络、Hopfield神经网络等.XGBoost算法，全称Extreme Gradient Boosting，出现于Chen等[27]2016年发表的论文中，在Kaggle等比赛中该算法取得佳绩.XGBoost以决策树模型为基础，是对梯度提升树的改进算法.该算法是一种适合处理稀疏数据的树学习算法，支持并行运算和分布式运算，通过对损失函数进行二阶泰勒展开来达到二次优化的目的，因此该算法学习效果好、分类精度高、处理速度快，并具有强大的可伸缩性，被人们广泛应用于包括股票选择策略、电力系统预测等诸多领域.2.3 基于预分类人工智能算法的土壤水分预测模型GNSS-R中接收的地表反射信号主要成分为地表的相干反射分量.随着地表粗糙度和植被的增加，非相干散射分量增加，同时相干分量降低.通过对反射率、粗糙度和植被这3个主要参数的拟合计算，可以获得SM估计值[16].因此在本文的SM预测模型中，CYGNSS反射率作为主要变量，SMAP粗糙度系数和植被不透明度作为辅助变量.1.2 SMAP数据SMAP提供日土壤水分产品，且平均每隔3 d左右，其数据可覆盖到全球±45°纬度内的陆地区域.本文拟采用SMAP L3级产品，EASE-Grid版本6提供的日土壤水分产品，该数据的空间分辨率为36 km×36 km（免费获取：https：∥/data/SPL3SMP/）.SMAP的数据包含土壤水分估计值、质量标记（用于过滤SMAP数据）、粗糙度和植被不透明度（vod，或τ）以及相关的轨道坐标值[25].本文主要使用SMAP中的粗糙度和植被不透明度τ作为辅助变量参与建模，并使用质量标记“反演成功”作为数据筛选的条件.因为单日的SMAP数据覆盖率较低，我们将SMAP数据都进行了3 d平均的操作便于其参与后续的土壤水分建模运算，并将SMAP的粗糙度和τ数据映射到CYGNSS数据使用的EASE-Grid网格上.1.3 参考数据将上述数据作为输入变量，建立土壤水分预测模型.输出的土壤水分参考数据将采用中国土壤水分自动观测站收集的实地地表SM数据.该观测网由多个站点组成，本文采用的站点分布及其覆盖的区域如图1所示.每个站点提供每小时土壤表面以下0至100 cm深度的SM测量，间隔10 cm.根据不同的土壤含水量和土壤类型，GNSS-R信号在土壤中的穿透深度可以从几厘米到大约20厘米不等[15].因此采用地表上层10 cm 的实地观测SM数据，视为与GNSS-R 技术反演土壤水分匹配的最佳值.在本研究中，每天逐小时的地表土壤水分数据被用来作为参考真实土壤水分数据.此外，还提供了采样地点的地理位置信息（包括纬度、经度）.2 估计方法本章详细叙述了从CYGNSS数据计算反射率以及土壤水分的建模和预测过程，包括地表反射率的计算、几种用于土壤水分反演的经典人工智能算法，以及预分类人工智能算法的模型构建和反演SM的过程.2.1 CYGNSS观测量计算拟利用处理好的CYGNSS数据，在顾及地表粗糙度和植被的情况下，进行土壤水分反演.对于有植被覆盖的区域，地表的反射率[12-25]可表示为以下的形式：Γ（θ）=R（θ）2γ2exp（-4k2s2cos（）），（1）其中，入射角为，R为菲涅耳反射系数，透射率γ包含了植被对信号传播的衰减程度，指数项表示地表粗糙度效应，其中k为信号波数，s为地表均方根高度.反射率Γ和土壤水分呈线性正相关的关系，因此Γ可被视为与土壤水分相关性最大的特征变量.另外，由于透射率γ是植被不透明度τ的函数，其形式为γ=exp（-τsec ），所以拟将SM 视作Γ、τ和地表粗糙度3个变量的函数.本文拟采用SMAP数据中的植被不透明度τ和地表粗糙度作为辅助数据，地表反射率可由CYGNSS数据获取.根据光滑地表相干反射分量的理论假设，并考虑CYGNSS提供的BRCS值，地表的反射率可由下列公式[17]求得：Γbrcs=σ（Rt+Rr）24π（RtRr）2，（2）其中Rt和Rr分别表示发射机和接收机到SP的距离，这些相关参数由CYGNSS数据提供.值得注意的是，反射率的求解可采用多种途径，由于采用BRCS 获得的Γbrcs在土壤水分反演中已被证实取得的效果最佳[17]，故本文采用式（2）的方法求解反射率，结果如图2所示.2.2 人工智能算法用于土壤水分反演机器学习（ML）是一种主流的实现人工智能的方法，而机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测.与传统的为解决特定任务、硬编码的软件程序不同，机器学习用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务.机器学习历经70年的曲折发展，在很多方面收获了突破性进展，经典的机器学习的研究方向主要包括决策树、随机森林、人工神经网络、SVM等，且已经被运用到了土壤水分的反演研究中.随机森林[26]利用bootsrap重抽样方法从数据集中抽取多个样本，对每个样本分配一个决策树进行决策，即建立多棵决策树，形成一个决策树“森林”，然后将多棵决策树进行组合，最后通过投票方法得到最终预测结果.该方法能够有效地提高对新样本的分类准确率，降低模型的过拟合能力.人工神经网络（Artificial Neural Network）模型，简称ANN，是1980年代以来人工智能领域兴起的研究热点之一[17].从生物学的角度来说，它是模拟人脑对信息处理的过程，是对人脑神经系统的数学模型抽象.神经网络实现一种数学运算，由大量的神经元相互连接而成，每个神经元可以看作是一种运算输出函数，该模型可以用于拟合复杂的数学函数.人工神经网络模型分为多层前向神经网络、自组织神经网络、Hopfield神经网络等.XGBoost算法，全称Extreme Gradient Boosting，出现于Chen等[27]2016年发表的论文中，在Kaggle等比赛中该算法取得佳绩.XGBoost以决策树模型为基础，是对梯度提升树的改进算法.该算法是一种适合处理稀疏数据的树学习算法，支持并行运算和分布式运算，通过对损失函数进行二阶泰勒展开来达到二次优化的目的，因此該算法学习效果好、分类精度高、处理速度快，并具有强大的可伸缩性，被人们广泛应用于包括股票选择策略、电力系统预测等诸多领域.2.3 基于预分类人工智能算法的土壤水分预测模型GNSS-R中接收的地表反射信号主要成分为地表的相干反射分量.随着地表粗糙度和植被的增加，非相干散射分量增加，同时相干分量降低.通过对反射率、粗糙度和植被这3个主要参数的拟合计算，可以获得SM估计值[16].因此在本文的SM预测模型中，CYGNSS反射率作为主要变量，SMAP粗糙度系数和植被不透明度作为辅助变量.1.2 SMAP數据SMAP提供日土壤水分产品，且平均每隔3 d左右，其数据可覆盖到全球±45°纬度内的陆地区域.本文拟采用SMAP L3级产品，EASE-Grid版本6提供的日土壤水分产品，该数据的空间分辨率为36 km×36 km（免费获取：https：∥/data/SPL3SMP/）.SMAP的数据包含土壤水分估计值、质量标记（用于过滤SMAP数据）、粗糙度和植被不透明度（vod，或τ）以及相关的轨道坐标值[25].本文主要使用SMAP中的粗糙度和植被不透明度τ作为辅助变量参与建模，并使用质量标记“反演成功”作为数据筛选的条件.因为单日的SMAP数据覆盖率较低，我们将SMAP数据都进行了3 d平均的操作便于其参与后续的土壤水分建模运算，并将SMAP的粗糙度和τ数据映射到CYGNSS数据使用的EASE-Grid网格上.1.3 参考数据将上述数据作为输入变量，建立土壤水分预测模型.输出的土壤水分参考数据将采用中国土壤水分自动观测站收集的实地地表SM数据.该观测网由多个站点组成，本文采用的站点分布及其覆盖的区域如图1所示.每个站点提供每小时土壤表面以下0至100 cm深度的SM测量，间隔10 cm.根据不同的土壤含水量和土壤类型，GNSS-R信号在土壤中的穿透深度可以从几厘米到大约20厘米不等[15].因此采用地表上层10 cm 的实地观测SM数据，视为与GNSS-R 技术反演土壤水分匹配的最佳值.在本研究中，每天逐小时的地表土壤水分数据被用来作为参考真实土壤水分数据.此外，还提供了采样地点的地理位置信息（包括纬度、经度）.2 估计方法本章详细叙述了从CYGNSS数据计算反射率以及土壤水分的建模和预测过程，包括地表反射率的计算、几种用于土壤水分反演的经典人工智能算法，以及预分类人工智能算法的模型构建和反演SM的过程.2.1 CYGNSS观测量计算拟利用处理好的CYGNSS数据，在顾及地表粗糙度和植被的情况下，进行土壤水分反演.对于有植被覆盖的区域，地表的反射率[12-25]可表示为以下的形式：Γ（θ）=R（θ）2γ2exp（-4k2s2cos（）），（1）其中，入射角为，R为菲涅耳反射系数，透射率γ包含了植被对信号传播的衰减程度，指数项表示地表粗糙度效应，其中k为信号波数，s为地表均方根高度.反射率Γ和土壤水分呈线性正相关的关系，因此Γ可被视为与土壤水分相关性最大的特征变量.另外，由于透射率γ是植被不透明度τ的函数，其形式为γ=exp（-τsec ），所以拟将SM 视作Γ、τ和地表粗糙度3个变量的函数.本文拟采用SMAP数据中的植被不透明度τ和地表粗糙度作为辅助数据，地表反射率可由CYGNSS数据获取.根据光滑地表相干反射分量的理论假设，并考虑CYGNSS提供的BRCS值，地表的反射率可由下列公式[17]求得：Γbrcs=σ（Rt+Rr）24π（RtRr）2，（2）其中Rt和Rr分别表示发射机和接收机到SP的距离，这些相关参数由CYGNSS数据提供.值得注意的是，反射率的求解可采用多种途径，由于采用BRCS 获得的Γbrcs在土壤水分反演中已被证实取得的效果最佳[17]，故本文采用式（2）的方法求解反射率，结果如图2所示.2.2 人工智能算法用于土壤水分反演机器学习（ML）是一种主流的实现人工智能的方法，而机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测.与传统的为解决特定任务、硬编码的软件程序不同，机器学习用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务.机器学习历经70年的曲折发展，在很多方面收获了突破性进展，经典的机器学习的研究方向主要包括决策树、随机森林、人工神经网络、SVM等，且已经被运用到了土壤水分的反演研究中.随机森林[26]利用bootsrap重抽样方法从数据集中抽取多个样本，对每个样本分配一个决策树进行决策，即建立多棵决策树，形成一个决策树“森林”，然后将多棵决策树进行组合，最后通过投票方法得到最终预测结果.该方法能够有效地提高对新样本的分类准确率，降低模型的过拟合能力.人工神经网络（Artificial Neural Network）模型，简称ANN，是1980年代以来人工智能领域兴起的研究热点之一[17].从生物学的角度来说，它是模拟人脑对信息处理的过程，是对人脑神经系统的数学模型抽象.神经网络实现一种数学运算，由大量的神经元相互连接而成，每个神经元可以看作是一种运算输出函数，该模型可以用于拟合复杂的数学函数.人工神经网络模型分为多层前向神经网络、自组织神经网络、Hopfield神经网络等.XGBoost算法，全称Extreme Gradient Boosting，出现于Chen等[27]2016年发表的论文中，在Kaggle等比赛中该算法取得佳绩.XGBoost以决策树模型为基础，是对梯度提升树的改进算法.该算法是一种适合处理稀疏数据的树学习算法，支持并行运算和分布式运算，通过对损失函数进行二阶泰勒展开来达到二次优化的目的，因此该算法学习效果好、分类精度高、处理速度快，并具有强大的可伸缩性，被人们广泛应用于包括股票选择策略、电力系统预测等诸多领域.2.3 基于预分类人工智能算法的土壤水分预测模型GNSS-R中接收的地表反射信号主要成分为地表的相干反射分量.随着地表粗糙度和植被的增加，非相干散射分量增加，同时相干分量降低.通过对反射率、粗糙度和植被这3个主要参数的拟合计算，可以获得SM估计值[16].因此在本文的SM预测模型中，CYGNSS反射率作为主要变量，SMAP粗糙度系数和植被不透明度作为辅助变量.1.2 SMAP数据SMAP提供日土壤水分产品，且平均每隔3 d左右，其数据可覆盖到全球±45°纬度内的陆地区域.本文拟采用SMAP L3级产品，EASE-Grid版本6提供的日土壤水分产品，该数据的空间分辨率为36 km×36 km（免费获取：https：∥/data/SPL3SMP/）.SMAP的数据包含土壤水分估计值、质量标记（用于过滤SMAP数据）、粗糙度和植被不透明度（vod，或τ）以及相关的轨道坐标值[25].本文主要使用SMAP中的粗糙度和植被不透明度τ作为辅助变量参与建模，并使用质量标记“反演成功”作为数据筛选的条件.因为单日的SMAP数据覆盖率较低，我们将SMAP数据都进行了3 d平均的操作便于其参与后续的土壤水分建模运算，并将SMAP的粗糙度和τ数据映射到CYGNSS数据使用的EASE-Grid网格上.1.3 参考数据将上述数据作为输入变量，建立土壤水分预测模型.输出的土壤水分参考数据将采用中国土壤水分自动观测站收集的实地地表SM数据.该观测网由多个站点组成，本文采用的站点分布及其覆盖的区域如图1所示.每个站点提供每小时土壤表面以下0至100 cm深度的SM测量，间隔10 cm.根据不同的土壤含水量和土壤类型，GNSS-R信号在土壤中的穿透深度可以从几厘米到大约20厘米不等[15].因此采用地表上层10 cm 的实地观测SM数据，视为与GNSS-R 技术反演土壤水分匹配的最佳值.在本研究中，每天逐小时的地表土壤水分数据被用来作为参考真实土壤水分数据.此外，还提供了采样地点的地理位置信息（包括纬度、经度）.2 估计方法本章详细叙述了从CYGNSS数据计算反射率以及土壤水分的建模和预测过程，包括地表反射率的计算、几种用于土壤水分反演的经典人工智能算法，以及预分类人工智能算法的模型构建和反演SM的过程.2.1 CYGNSS观测量计算拟利用处理好的CYGNSS数据，在顾及地表粗糙度和植被的情况下，进行土壤水分反演.对于有植被覆盖的区域，地表的反射率[12-25]可表示为以下的形式：Γ（θ）=R（θ）2γ2exp（-4k2s2cos（）），（1）其中，入射角为，R为菲涅耳反射系数，透射率γ包含了植被对信号传播的衰减程度，指数项表示地表粗糙度效应，其中k为信号波数，s为地表均方根高度.反射率Γ和土壤水分呈线性正相关的关系，因此Γ可被视为与土壤水分相关性最大的特征变量.另外，由于透射率γ是植被不透明度τ的函数，其形式為γ=exp（-τsec ），所以拟将SM。
基于采样点光谱信息窗口尺度优化的土壤含水率无人机多光谱遥感反演靳亚红;吴鑫淼;甄文超;崔晓彤;陈丽;郄志红【期刊名称】《农业机械学报》【年(卷),期】2024(55)1【摘要】针对空间异质性导致的土壤含水率反演误差较大的问题,分别以玉米灌浆期和小麦苗期的土壤含水率反演为例,利用无人机多光谱遥感技术获取喷灌和畦灌灌溉方式下的正射影像。
将34组光谱特征变量按照滑动窗口法提取不同空间尺度的光谱信息平均值,通过极端梯度提升(Extreme gradient boosting, XGBoost)、支持向量机回归(Support vector machine regression, SVR)以及偏最小二乘回归(Partial least squares regression, PLSR)3种机器学习模型确定采样点光谱信息最优窗口尺度;然后,采用皮尔逊相关系数特征变量筛选法(Pearson correlation coefficient feature variable screening method, R)结合XGBoost和SVR模型对提取的34组光谱特征变量进行筛选,选取与土壤含水率敏感的特征变量;最后,估算土壤含水率。
结果表明:喷灌方式下所选择的采样点最优光谱信息窗口尺度比畦灌小,其最优窗口尺度范围分别为11×11~21×21和15×15~29×29;采用皮尔逊相关系数特征变量筛选方法结合机器学习模型可有效提高土壤含水率反演精度;5种机器学习模型(R_XGBoost、R_SVR、XGBoost、SVR、PLSR)中R_XGBoost 模型估算土壤含水率精度最优,在喷灌和畦灌方式下玉米灌浆期R_XGBoost模型的测试集决定系数R2分别为0.80、0.83,均方根误差(Root mean square error, RMSE)分别为1.27%和0.98%,小麦苗期R2分别为0.76、0.79,RMSE分别为1.68%和0.85%;土壤含水率反演模型在畦灌条件下的精度优于喷灌条件下。
水文数据同化技术及其应用研究在当今水资源管理和水环境保护日益重要的背景下，水文数据同化技术作为一种有效的工具，正发挥着越来越关键的作用。
它能够将观测数据与水文模型相结合，提高水文模拟和预测的准确性，为水资源的合理利用和水灾害的防范提供有力的支持。
水文数据同化技术的核心在于融合多源、多时空尺度的观测数据与水文模型的模拟结果。
通过不断调整模型的参数和初始条件，使得模型的输出能够尽可能地接近观测值。
这一过程就像是给水文模型装上了“导航仪”，使其能够更加准确地“行驶”在复杂的水文过程中。
常见的水文数据同化方法包括集合卡尔曼滤波（EnKF）、粒子滤波（PF）等。
集合卡尔曼滤波是一种基于蒙特卡罗方法的随机滤波技术，它通过集合成员来描述状态变量的不确定性，并在观测数据的约束下更新集合成员的状态。
粒子滤波则是一种基于序贯蒙特卡罗方法的滤波技术，通过随机采样的粒子来表示状态的概率分布，并根据观测数据对粒子进行重采样和更新。
这些方法各有优缺点。
集合卡尔曼滤波计算效率较高，但对于非线性和非高斯的水文系统可能存在一定的局限性。
粒子滤波能够较好地处理非线性和非高斯问题，但计算量较大，在实际应用中可能受到一定的限制。
为了更好地应用水文数据同化技术，首先需要高质量的观测数据。
这包括降水、蒸发、流量等水文要素的观测。
然而，在实际中，观测数据往往存在误差、缺失和时空分布不均匀等问题。
因此，在进行数据同化之前，需要对观测数据进行预处理，如误差修正、插值和数据融合等，以提高数据的质量和可用性。
同时，选择合适的水文模型也是至关重要的。
水文模型的结构和参数决定了其对水文过程的模拟能力。
目前，常用的水文模型包括新安江模型、SWAT 模型等。
不同的模型适用于不同的流域和水文条件，需要根据实际情况进行选择和优化。
水文数据同化技术在水资源管理中有着广泛的应用。
例如，在水库调度中，通过同化水库的水位、流量等观测数据，可以更加准确地预测水库的来水情况，从而制定合理的调度方案，提高水资源的利用效率和保障供水安全。
第25卷第2期2014年3月水科学进展ADVANCES IN WATEＲSCIENCEVol．25，No．2Mar．，2014考虑干旱水分胁迫的地表通量遥感估算黄春林1，2，李艳1，3，卢玲1，顾娟4（1.中国科学院寒区旱区环境与工程研究所，甘肃兰州730000；2．中国科学院寒区旱区环境与工程研究所黑河遥感试验研究站，甘肃兰州730000；3．中国科学院大学，北京100049；4．兰州大学西部环境与气候变化研究院，甘肃兰州730000）摘要：为提高地表能量平衡系统（SEBS ）模型在干旱水分胁迫条件下估算地表通量的精度，引入归一化植被水分指数（NDWI ）作为干旱水分胁迫信息，以线性、指数、S 曲线3种不同形式结合到SEBS 模型的kB －1系数中，使得kB －1随着水分胁迫的增加而减小，从而提高SEBS 模型估算地表通量的精度。
以黑河流域盈科绿洲为研究区域，选取2008—2009年的气象和通量观测数据对模型进行标定和验证。
研究结果表明：存在干旱水分胁迫时，与原始SEBS 模型相比，考虑干旱水分胁迫信息的SEBS 模型能够更为准确地估算地表通量。
这种方案能够较为有效地改善原始SEBS 模型低估感热通量高估潜热通量的现象，将感热通量的偏差减小35W/m 2，潜热通量的偏差减小25W/m 2。
关键词：遥感；地表能量平衡系统；水分胁迫；中分辨率成像光谱辐射仪；感热通量；潜热通量中图分类号：TP79文献标志码：A文章编号：1001-6791（2014）02-0181-08收稿日期：2013-06-18；网络出版时间：2014-02-26网络出版地址：http ：// /kcms /detail /32.1309.P.20140226.1355.004.html基金项目：国家自然科学基金资助项目（41101387），中国科学院“百人计划”项目（29Y127D01）作者简介：黄春林（1979—），男，宁夏青铜峡人，研究员，主要从事定量遥感和陆面数据同化方面研究。
文章编号:1000-0534(2006)04-0665-07 收稿日期:2005-05-11;改回日期:2005-08-30 基金项目:国家自然科学基金项目(90202014);国家重点基础研究发展项目(2001C B309404);中国科学院寒区旱区环境与工程研究所创新课题(CACX2003102)共同资助 作者简介:黄春林(1979-),男,宁夏青铜峡人,在读博士,主要从事陆面数据同化、定量遥感的研究.E -mail :h uan gcl @基于集合卡尔曼滤波的土壤水分同化试验黄春林,李 新(中国科学院寒区旱区环境与工程研究所,甘肃兰州 730000)摘 要:集合卡尔曼滤波是由大气数据同化发展的新的顺序同化算法,它利用蒙特卡罗方法计算背景场的误差协方差矩阵,克服了卡尔曼滤波需要线性化的模型算子和观测算子的难点。
我们发展了一个基于集合卡尔曼滤波和简单生物圈模型(SiB2,Simple Biosphe re M odel )的单点陆面数据同化方案。
利用1998年7月6日至8月9日青藏高原GA M E -Tibe t 实验区M S3608站点的观测数据进行了同化试验。
结果表明,利用集合卡尔曼滤波的数据同化方法可以明显地提高表层、根区、深层土壤水分的估算精度。
关键词:陆面数据同化系统;集合卡尔曼滤波;简单生物圈模型;土壤水分中图分类号:P33文献标识码:A1 引言 四维数据同化(4DDA ,Four Dimension Data Assim ilation 简称数据同化),是指在考虑数据时空分布以及观测场和背景场误差的基础上,在数值模拟的动态运行过程中融合新的观测数据的方法[1～2]。
陆面数据同化系统(LDAS ,Land Data Assim ilation Sy stem )是近年来将四维同化方法应用到地球表层科学和水文学中而迅速发展起来的,它作为独立的领域出现是在1995年之后[3,4]。
当前,陆面数据同化的研究主要对给定的陆面模型和水文模型,采用不同的数据同化算法同化地表观测资料、卫星和雷达数据,优化地表和根区土壤水分、温度、地表能量通量等的估算。
李新等[5～7]、Pathm athevan 等[8,9]利用模拟退火算法对陆面过程模型(SiB2)进行了土壤水分和地表温度的同化实验;H ouser 等[10]、Schuurmans 等[11]把数据同化算法与水文模型结合,进行了土壤水分和潜热通量的同化试验;Galanlow icz 等[12]、H oeben 等[13]、Reichle 等[14,15]、W alker 等[16]也对土壤水分的同化方法进行了研究和比较;C row 等[17]、Ku -m ar [18]、Lakshmi [19]进行了地表温度的同化方法的研究。
集合卡尔曼滤波是Evensen 等[20,21]在1994年根据Epstein 的随机动态预报理论提出的顺序数据同化算法。
它将模型状态预报看成近似随机动态预报,用一个状态总体(设数目为N )去代表随机动态预报中的概率密度函数,通过向前积分,状态总体很容易计算不同时间的概率密度函数所对应的统计特性(如均值与方差)。
集合卡尔曼滤波的最大特点是它克服了卡尔曼滤波要求线性化的模型算子和观测算子的缺点。
经过近十年的研究和发展,集合卡尔曼滤波算法逐渐发展成熟,也逐步受到数据同化研究人员的重视,不同作者[22～28]对集合卡尔曼滤波算法的理论和应用进行了广泛探讨。
土壤水分是地气相互作用、水文循环等研究的关键变量,它影响地表能量通量、径流、辐射平衡、物质迁移等。
土壤水分的准确估计对于研究和理解地球表层生物物理过程起着重要作用。
土壤水分在空间和时间上变化非常大,建立稠密的地球表层变量的观测网几乎不现实。
此外,陆面过程或水文模型虽然可以模拟土壤水分的连续变化,但随着时间的变化,误差不断累积,导致模拟结果较差。
通过建立陆面数据同化系统可以把相关的多源信息(地表观测、卫星、雷达等)融入陆面过程模型或水文模型,在有观测的时间段校正模型对土壤水分的预报值,降低误差的累积,从而可以提高对土壤水分第25卷 第4期2006年8月 高 原 气 象PLATEA U M ETEORO LOG YV ol.25 N o.4A ug ust ,2006的估算精度。
2 方法 陆面数据同化系统主要由数据同化算法、陆面过程模型、数据(驱动数据、参数、观测数据、输出数据)等构成(图1)。
图1 土壤水分同化系统框架Fig.1 T he fr amew o rk of soilmoisture assimila tion2.1 陆面过程模型-SiB2 陆面过程是指发生在地表和大气之间水分、热量和动量交换的作用过程,包括地面上的热力过程、水文过程和生物过程,地气间的能量和物质交换以及地面以下土壤中的热传导和水热输送过程等。
本文采用了发展比较成熟的SiB2模型模拟土壤水分的变化[5～9,29,30]。
在SiB2中定义了表层、根区和深层3层土壤。
公式(1)～(3)为每层土壤的水分控制方程。
θ1 t =1D 1Q 1-Q 12-E gρw ,(1) θ2 t =1D 2Q 12-Q 23-E ctρw,(2) θ3t =1D 3Q 23-Q 3,(3)式中θi (i =1,2,3)分别为表层、根区、深层土壤中液态水的体积含水量(m 3/m 3);ρw 为液态水的密度(kg /m 3);D i (i =1,2,3)为每层土壤厚度(m );Q i ,i +1(i =1,2)为第i 和i +1层之间的水流(m /s );Q 1为上边界进入土壤表层的水流(m /s );Q 3为重力排水(m /s );E g ,E ct 分别是土壤表层的蒸发率(m /s )和通过气孔的植被蒸腾率(m /s )。
2.2 数据同化算法2.2.1 卡尔曼滤波 1960年,Kalm an 等针对随机过程状态估计提出Kalman 滤波的思想,它包括预报和分析两个步骤。
在预报阶段,根据前一时刻的模式状态生成当前时刻模式状态的预报值。
在分析阶段,引入观测数据,利用最小方差估计方法对模式状态进行重新分析。
随着模式状态预报的继续进行和新的观测数据的陆续输入,这个过程不断向前推进[31]。
在卡尔曼滤波算法中,认为模型误差方差矩阵(Q )和观测误差方差矩阵(R )是已知的。
卡尔曼滤波的计算步骤如下: (1) 设定初始时刻t 0的状态变量X a0和它的误差方差矩阵P a 0。
(2) 根据第k 时刻(k =0,1,2,…,)的分析场的状态变量X ak 和背景场误差方差矩阵P a k 计算第k +1时刻预报场的状态变量X fk +1和背景场误差方差矩阵P f k +1。
X f k +1=MX a k ,(4)P f k +1=MP a k M T+Q ,(5)式中M 为线性的模型算子,M T 为模型算子的转置,Q 为模型误差方差矩阵。
(3) 计算k +1时刻的卡尔曼增益矩阵K k +1。
K k +1=P f k +1H T (HP f k +1H T +R )-1,(6)式中H 为线性的观测算子,H T 为观测算子的转置,R 为观测误差方差矩阵。
(4) 计算k +1时刻分析场的状态变量X a k +1和它的误差方差矩阵P a k +1。
X a k +1=X fk +1+K k +1(Z k +1-HX f k +1),(7)P a k +1=(I -K k +1H )P fk +1,(8)式中Z k +1为k +1时刻的观测值,I 为单位矩阵。
(5) 进入下一时刻,再返回步骤(2)。
如此循环往复地执行预报和分析步骤。
从卡尔曼滤波的计算公式我们可以看出,在计算过程中该算法需要线性的模型算子和观测算子。
对于复杂的非线性系统(特别是地球系统科学),给出线性的模型算子是非常困难的。
模型算子和观测算子线性化问题成为制约卡尔曼滤波广泛应用的瓶颈。
2.2.2 集合卡尔曼滤波 集合卡尔曼滤波是Evensen 在1994年根据Epstein 的随机动态预报理论提出的顺序数据同化算法[20,21]。
它利用了蒙特卡罗方法的思想,用符合高斯分布的一组随机变量(设数目为N )去代表随机动态预报中的概率密度函数,通过向前积分,666 高 原 气 象 25卷 计算下一时刻状态总体的概率密度函数,并得到该时刻的统计特性(如均值与协方差)。
在本研究中,使用H o utekamer[23]提出的算法。
集合卡尔曼滤波的计算步骤如下: (1) 初始化背景场。
给定N个符合高斯分布的随机变量X i(i=1,…,N),在本文中,状态变量为地表、根区、深层土壤体积含水量,X i=[θ1,θ2,θ3]T i。
(2) 计算每个随机变量在第k+1时刻的预报值X f i,k+1。
X f i,k+1=M k(X a i,k)+w i,kw i,k～N(0,Q k),(9)式中X f i,k+1为随机变量i在k+1时刻的预报值, X a i,k为随机变量i在k时刻的分析值,M k()为非线性的模型算子,在本文中为SiB2模型;Q k为模型误差方差矩阵,w i,k为期望为0,方差为Q k的高斯白噪声。
(3) 计算k+1时刻的卡尔曼增益矩阵K k+1。
K k+1=P f k+1H T(HP f k+1H T+R k)-1,(10) P f k+1=1N-1∑Ni=1(X f i,k+1-X f k+1)(X f i,k+1-X f k+1)T(11) P f k+1H T=1N-1∑Ni=1[X f i,k+1-X f k+1][H(X f i,k+1)-H(X f k+1)]T,(12) HP f k+1H T=1N-1∑Ni=1[H(X f i,k+1)-H(X f k+1][H(X f i,k+1)-H(X f k+1)]T,(13) X f k+1=1N ∑Ni=1X f i,k+1,(14)式中X f i,k+1为第i个随机变量在k+1时刻的预报值,X f k+1为k+1时刻状态变量预报值的平均值, R k为观测误差方差矩阵,H k()为观测算子,本文中的状态变量和观测均为3层土壤体积含水量,所以H k()为3×3的单位方阵。
(4) 计算k+1时刻分析场的状态变量平均值X a k+1和背景场误差方差矩阵P a k+1。
X a i,k+1=X f i,k+1+K k+1[y k+1-H(x f i,k+1)+v i,k+1]v i,k～N(0,R k),(15) X a k+1=1N ∑Ni=1X a i,k+1,(16) P a k+1=1N-1∑Ni=1(X a i,k+1-X a k+1)(X a i,k+1-X a k+1)T,(17)式中X a i,k+1为第i个随机变量在k+1时刻的分析值,X a k+1为k+1时刻状态变量分析值的平均值,v i,k为期望为0,方差为R k的高斯白噪声。
