img

官方微信

高级检索

中国沙漠, 2025, 45(3): 302-312 doi: 10.7522/j.issn.1000-694X.2025.00167

以霜冰优化算法优化CNN-BiLSTM-Attention的参考蒸散量估算

付桐林,, 金晶

陇东学院 数学与信息工程学院,甘肃 庆阳 745000

Estimating reference evapotranspiration using CNN-BiLSTM-Attention enhanced by RIME optimization algorithm

Fu Tonglin,, Jin Jing

College of Mathematics and Information Engineering,Longdong University,Qingyang 745000,Gansu,China

收稿日期: 2025-03-27   修回日期: 2025-06-06  

基金资助: 甘肃省自然科学基金项目.  23JRRM734
陇东学院博士基金项目.  XYBYZK2305
庆阳市联合科研基金专项一般项目.  QY-STK-2024A-068

Received: 2025-03-27   Revised: 2025-06-06  

作者简介 About authors

付桐林(1977—),男,甘肃民乐人,博士,教授,主要研究方向为干旱区生态水文学、机器学习及其应用E-mail:futonglin2008@163.com , E-mail:futonglin2008@163.com

摘要

有限气象参数条件下借助于深度学习实现蒸散量的准确估算对干旱区有限水资源的高效利用和管理具有重要意义。当前基于混合深度学习模型CNN-BiLSTM-Attention的蒸散发估算忽视了参数优化,导致估算精度难以契合实际应用需求。本文提出了一种新的霜冰优化算法(RIME)优化CNN-BiLSTM-Attention的超参数的混合模型RIME-CNN-BiLSTM-Attention,实现了有限气象参数条件下临泽县参考蒸散量(ET0)的准确预测。与CNN-BiLSTM-Attention相比,混合模型RIME-CNN-BiLSTM-Attention的平均绝对百分比误差(MAPE)从14.56%下降到14.09%,可决系数从0.8654上升到0.8930。此外,数值结果表明混合模型RIME-CNN-BiLSTM-Attention的模型性能优于分别采用哈里斯鹰优化算法(HHO)、鱼鹰优化算法(OOA)、北方苍鹰算法(NGO)对CNN-BiLSTM-Attention进行优化的混合模型HHO-CNN-BiLSTM-Attention、OOA-CNN-BiLSTM-Attention、NGO-CNN-BiLSTM-Attention,意味着所构建混合模型RIME-CNN-BiLSTM-Attention具有更加稳健的模型性能和更高的计算精度,能够实现研究区域ET0的准确估算。

关键词: 参考蒸散量 ; 霜冰优化算法 ; 卷积神经网络 ; 双向长短期记忆网络 ; 注意力机制

Abstract

Accurately estimating evapotranspiration using deep learning models under limited meteorological parameter conditions is of great significance for the efficient utilization and management of limited water resources in arid regions. However, current deep-learning-based hybrid model CNN-BiLSTM-Attention neglect the parameter optimization, making it difficult to meet the requirements of practical application. In this study, a novel hybrid model RIME-CNN-BiLSTM-Attention was proposed to achieve accurate prediction of daily reference evapotranspiration (ET0) in Linze County under limited meteorological parameter conditions by using the RIME Optimization Algorithm to optimize the hyper-parameter of CNN-BiLSTM-Attention. Compared with CNN-BiLSTM-Attention, the mean absolute percentage error (MAPE) of RIME-CNN-BiLSTM-Attention decreases from 14. 56% to 14. 09%, and the coefficient of determination increases from 0. 8654 to 0. 8930; Furthermore, the numerical results show that the hybrid model RIME-CNN-BiLSTM-Attention outperformed than that of HHO-CNN-BiLSTM-Attention, OOA-CNN-BiLSTM-Attention, and NGO-CNN-BiLSTM-Attention, where CNN-BiLSTM-Attention was separately optimized by the Harris Hawks Optimization (HHO), Osprey Optimization Algorithm (OOA), and Northern Goshawk Optimization (NGO), suggesting that the proposed hybrid model RIME-CNN-BiLSTM-Attention has more robust model performance and higher calculation accuracy, and can achieve accurate estimation of ET0 in the study area.

Keywords: reference evapotranspiration ; RIME optimization algorithm ; convolutional neural network ; bidirectional long short-term memory network ; attention mechanism

PDF (3169KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

付桐林, 金晶. 以霜冰优化算法优化CNN-BiLSTM-Attention的参考蒸散量估算. 中国沙漠[J], 2025, 45(3): 302-312 doi:10.7522/j.issn.1000-694X.2025.00167

Fu Tonglin, Jin Jing. Estimating reference evapotranspiration using CNN-BiLSTM-Attention enhanced by RIME optimization algorithm. Journal of Desert Research[J], 2025, 45(3): 302-312 doi:10.7522/j.issn.1000-694X.2025.00167

0 引言

蒸散量是水资源循环的关键组成部分,准确预测蒸散量对于水资源的合理分配1、节水灌溉的有效实施2、农作物产量的提升3及水资源利用效率的提高4等具有重要意义。在完全数据下,采用传统的经验模型如Penman-Monteith公式能够快速且准确地计算出蒸散量5-6,但在有限气象参数条件下,经验模型的应用受到很大限制;借助于蒸渗仪长期观测蒸散量又存在代价大且耗时费力的缺陷6-8。这突出了开发创新方法的必要性,以实现有限数据条件下蒸散量的准确估算。

随着人工智能技术的显著进步,一系列典型的浅层机器学习模型如极致梯度提升树(XGBoost)7、支持向量机(SVM)9-10、M5模型树(M5T)10及自适应模糊神经推理系统(ANFIS)10等和深度学习模型如长短期记忆网络(LSTM)11、卷积神经网络(CNN)12-15、时间卷积网络(TCN)14、双向长短期记忆网络(BiLSTM)1015等在水文建模中得到了广泛的应用。这些先进的模型为解决复杂的水文问题开辟了新的可能,特别是在有限气象参数条件下通过利用人工智能强大的数据处理能力实现蒸散发的准确估算12-13。将粒子群算法(PSO)和XGBoost相结合,可在有限气象参数下估算摩洛哥西北部Bouregreg盆地参考蒸散量(ET0),且PSO-XGBoost的模型性能优于经验模型和单个XGBoost模型7。Farshad等9采用智能水滴算法(IWD)优化SVM的建模方法,实现了不完全数据下伊朗Arak、Mashhad及Shiraz的月ET0准确估算。Roy等10分别采用BiLSTM、SVM、M5T及ANFIS等预测了孟加拉国Gazipur和Pabnad地区的ET0。结果表明深度学习模型LSTM的预测精度最高。Fu等11采用GWO分别优化SVM和LSTM的超参数建模策略,构建了混合模型对中卫市沙坡头地区的蒸散量预测,结果表明,采用启发式算法优化机器学习模型的参数,能够显著提高预测精度,且深度学习模型LSTM与启发式算法相结合的混合模型计算精度最高。上述研究表明,将单个深度学习模型如LSTM、BiLSTM与数据预处理技术或启发式算法相集成,构建混合模型能够实现在不完全数据下不同研究区域蒸散发的准确估算,且具有比浅层机器学习模型和经验模型更高的估算精度。

随着深度学习技术在水文领域的深入应用,有学者着眼于模型集成策略,通过精心设计的集成框架,充分挖掘各单个深度学习模型在架构、算法原理上的独特优势,将其进行有机融合,以期实现在不完全数据条件下对蒸散发的高精度估算14-15。Ferreira等14评估了深度学习模型LSTM和TCN相集成的混合模型TNN-LSTM、浅层机器学习模型ANN和RF提前7天预测ET0方面的性能。结果表明,深度学习模型LSTM、TCN、TNN-LSTM的预测性能优于浅层机器学习模型ANN和RF,且TNN-LSTM比LSTM和TCN的预测精度更高。Dong等15将Attention机制、CNN及BiLSTM相融合构建了混合模型CNN-BiLSTM-Attention,对不完全数据下中国不同区域ET0进行估算,并与CNN-BiLSTM、BiLSTM、LSTM相比较,结果表明MA-CNN-BiLSTM的估算精度最高。上述研究充分证实,通过集成多个深度学习模型,能够有效整合各模型的独特优势,在不完全数据条件下成功实现蒸散发的精确估算。这一集成策略打破了单一模型的局限性,利用不同模型在特征提取、时间序列分析等方面的优势,显著提升了估算的准确性与可靠性。

系统分析现有研究发现,将多个深度学习模型集成的混合模型CNN-BiLSTM-Attention在参数设置上仍存在较强的主观性,模型参数的选择往往依赖于研究者的经验和先验知识,导致模型无法达到最优性能,这在很大程度上限制了估算精度的进一步提升14-15。启发式算法源于对自然界生物觅食行为的模拟,这些算法能够准确地搜索到最优解,为解决机器学习模型的参数优化问题提供了新的思路16-19。通过启发式算法,可以自动寻找模型的最优参数组合,避免人为因素的干扰,提高模型的性能和稳定性。然而,目前尚未有研究采用启发式算法优化集成模型CNN-BiLSTM-Attention的超参数并将其应用于有限气象参数条件下蒸散发的估算研究中。

针对以上问题,本文首先将深度学习模型CNN和BiLSTM相集成构建CNN-BiLSTM模型,进而在混合模型CNN-BiLSTM中引入Attention机制,建立了混合模型CNN-BiLSTM-Attention。为获得混合模型CNN-BiLSTM-Attention最优参数,分别采用霜冰优化算法(RIME)16、哈里斯鹰优算法(HHO)17、鱼鹰优化算法(OOA)18及北方苍鹰优化算法(NGO)19优化混合模型CNN-BiLSTM-Attention的关键参数,构建了混合模型RIME-CNN-BiLSTM-Attention、HHO-CNN-BiLSTM-Attention、OOA-CNN-BiLSTM-Attention及NGO-CNN-BiLSTM-Attention,以期实现有限气象参数条件研究区ET0的准确估算。为验证模型的有效性,选取位于黑河流域中游干旱区水资源利用和调控的核心区临泽县作为研究区域,基于部分气象观测数据对所构建的模型在不完全数据下进行ET0估算的模型性能进行比较,旨在获得适应于该区域最优的估算模型,为区域农田灌溉的节水实施和水资源的合理分配提供依据。

1 相关理论及模型

1.1 霜冰优化算法(RIME

RIME是新兴的元启发式优化算法,其灵感来源于自然界中霜冰的形成和发展过程。该算法将优化问题中的候选解类比为水汽粒子,解空间对应霜冰形成的环境,通过模拟水汽粒子在该环境中的运动、聚集和变化等行为,来搜索最优解16

记初始时刻的待选解为X0i=[x01,x02,,x0N],其中N的取值与待优化参数个数一致,适应度函数为f(X0i),在第t次迭代中,第i个待选解位置更新公式为

Xtid=Xt-1id+rtidΔXt-1id

式中:Xtid表示第i个候选解在第t次迭代时第d维的位置;rtid是[0,1]内的随机数;ΔXtid表示相对上一次迭代时位置的变化量。当Xtid趋向最优解区域时,引入全局最优解XtgbestidXtlbestid分别表示当前适应度函数的最优待选解和第i个候选解领域内的局部最优解,Xtid的更新公式为

Xtid=Xt-1id+α(Xtgbestid-Xt-1id)+βXtlbestid-Xt-1id

式中:参数αβ用来调节XtgbestidXtlbestid聚集的程度。在RIME算法中,适应度函数值越小意味着虚拟温度越低,通常保留使得适应度函数最小的待选解进入下一次迭代。同时,为了避免算法陷入局部最优,以一定概率对待选解进行随机扰动。当适应度函数达到要求时迭代终止。

1.2 卷积神经网络(CNN

CNN是专门为处理具有网格结构数据而设计的深度学习模型,通过卷积核在数据上滑动进行卷积操作,自动提取数据中的局部特征,进而池化层对数据进行下采样,保留数据主要特征的同时降低维数,从而达到降低模型复杂度,提高模型鲁棒性的目的,全连接层将池化层的特征向量进行整合,输出层给出最终的预测结果12-15。设时刻t CNN的输入矩阵用Xt=[x1t,x2t,,xnt]表示,则第一个卷积层的输出为

Fk1t=Ibk1+i=1nxit·Wk1·i

式中:bk1表示第一卷积层卷积核的偏移项;Wk1·i表示权重项,激活函数

I(x)=x,x>00,x0

第一个池化层选择最大池化,可以有效降低网络复杂度,保留卷积运算后的主要特征。第一次池化的输出结果为Fm1t=maxFk1t(d1),其中,Fk1t(d1)是第一个卷积层输出的第d1个向量,d1m1。经过第二次卷积后,可以从第一池化层的输出结果得到特征向量

Fk2t=Ibk2+d1=1m1Fd1t·Wk2·d1

式中:bk2表示卷积核在第二卷积层的偏移项;Wk2·d1是权重项。第二池化层的输出为Fm2t=maxFk2t(d2)Fk1t(d1)是第二个卷积层输出的第d2个向量,d2m2。经过两次卷积和池化运算后输出的特征向量表示为Ft=[F1t,F2t,,Fm2t]

1.3 双向长短时记忆网络(BiLSTM

LSTM通过输入门Ft、遗忘门It和输出门Ot及单元状态,这些门机制决定着哪些信息被保留、哪些被遗忘以及如何更新信息,使得LSTM能够有效捕捉并学习序列数据中的长期依赖关系。

Ft=σWFxt+UFht-1+bF
It=σWIxt+Uiht-1+bI
Ct=FtCt-1+ItC˜t
C˜t=σ(WCxt+UCht-1+bC)
Ot=σWOxt+UOht-1+bO
ht=OttanhCt

式中:σx=1+e-x-1tanh是激活函数;是Hadamard乘积;W是对应栅极的权重向量;b表示偏置向量;ht-1是隐含层前一时刻的输出;ht是LSTM的新状态;Ct-1Ct是LSTM细胞前后时刻的状态向量;C˜t表示输入门It的备选信息状态。

BiLSTM是特殊的LSTM结构,通过结合正反向LSTM层来增强对时间序列信息的处理能力。正向LSTM层按照时间序列的自然顺序处理信息,而反向LSTM层则逆向处理,以捕获序列中早期信息对当前点的潜在影响。通过这种方式,BiLSTM能够在每个时间点上综合正反向信息,从而得到更加准确的预测结果1015图1显示了BiLSTM的结构和LSTM的细胞结构。

图1

图1   BiLSTM的结构和LSTM的细胞

Fig.1   Structure of BiLSTM and cells of LSTM


1.4 Attention机制

Attention机制最初被用于解决序列到序列(seq2seq)任务中的长距离依赖问题,在计算能力有限的情况下,Attention机制通过计算Query(Q)、键Key(K)和值Value(V)之间的关系,能够将输入变量的不同特征对预测结果影响的大小作为赋予神经网络隐藏单元权重大小的依据,使对估算结果有突出影响的因素获得更高关注,可以辅助提高模型的精度20

Q为查询向量,对于输入向量X=[x1,x2,,xn],注意力变量z1,n表示被选择的数据的下标,则给定Q时输入向量X中第i个数据与查询Q的注意力得分为

αi=exp(s(xi,Q))j=1ns(xj,Q)

式中:s(xi,Q)=xiTQ/d表示注意力得分函数;d是维度。对V进行加权求和得Attention的输出

a=Attention(K,V,Q)=j=1nαivi

1.5 RIME优化CNN-BiLSTM-AttentionET0 预测模型

本文构建的RIME优化CNN-BiLSTM-Attention的ET0预测模型结构如图2所示,该模型主要有输入层、CNN层(卷积层和池化层)、BiLSTM层(前向LSTM层和后向LSTM层)、Attention层及RIME算法构成。使用CNN-BiLSTM-Attention模型进行预测时,输入层将日时间尺度的气象要素如最高气温(℃)、最低气温(℃)、平均气温(℃)、平均风速(m·s-1)及ET0(mm)等划分为训练集和测试集并归一化后,进行数据平铺,实现多维数据的转换,并将相应的特征数据输入CNN。CNN中的卷积层对输入的数据进行特征提取,选取重要特征数据,池化层对特征数据进行降维;BiLSTM层将数据分别通过前向和后向链式连接的多个LSTM单元进行计算;Attention层计算不同时刻数据的特征状态对预测值的注意力值,得到时间序列各项数据与预测值的关联性,对BiLSTM的输出进行加权,进而得到估算值。为获得更加准确的估算结果,以MAPE为目标函数,采用RIME算法来优化混合模型CNN-BiLSTM中的学习率、BiLSTM的神经元个数、正则化参数、注意力机制的键值等关键参数,从而构建了混合模型RIME-CNN-BiLSTM-Attention来实现不完全数据下研究区的ET0估算。

图2

图2   RIME-CNN-BiLSTM-Attention的流程图

Fig.2   The flow chart of RIME-CNN-BiLSTM-Attention


为进一步探究不同优化算法对模型性能的影响,分别采用启发式算法HHO、NGO及OOA对CNN-BiLSTM-Attention模型的参数进行优化。在此基础上,构建了混合模型HHO-CNN-BiLSTM-Attention、NGO-CNN-BiLSTM-Attention及OOA-CNN- BiLSTM-Attention,对研究区域的ET0展开估算,以形成多维度的对比分析。上述混合模型的建模过程与混合模型RIME-CNN-BiLSTM-Attention的建模过程类似。HHO、NGO及OOA的数学原理不再赘述,同时,单个的深度学习模型和浅层机器学习模型的估算性能也不再重复比较,因为单个深度学习模型具有比浅层机器学习模型更好的模型性能3-11

1.6 模型评价指标

采用纳什系数(NSCE)、均方误差(MSE)、均方根误差(RMSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPE),可决系数R2等模型精度评价指标对所提出模型的性能进行评价。

NSCE=1-i=1noi-e^i2i=1noi-o¯2
MSE=1ni=1noi-e^i2
RMSE=1ni=1noi-e^i2
MAE=1ni=1noi-e^i
MAPE=1ni=1noi-e^ioi×100%
R2=i=1noi-o¯e^i-e¯i=1noi-o¯2i=1ne^i-e¯2

式中:oi表示期望值;e^i表示模型的输出值。上述评价指标中,MSE反映预测值与真实值偏差平方和的平均水平,RMSEMSE的平方根,用于直观展现预测误差的平均程度,MAE体现预测值与真实值误差绝对值的平均值,MAPE则以百分比形式呈现预测值与真实值之间的相对误差。NSCER²的取值范围是[0,1],用于评估观测值和模拟值之间的拟合程度,其值越大意味着拟合优度越高。

2 研究区域和数据

临泽县地处河西走廊中部(38°57′—39°42′N,99°51′—100°30′E),属温带大陆性干旱气候,多年来平均年气温维持在7.6 ℃,平均年降水量为117 mm。该区域主要景观类型涵盖绿洲、沙漠以及戈壁,境内分布着8座中小型水库,总库容达3 350万m3。该地区农业灌溉高度依赖黑河中游的水资源,是干旱地区水资源利用与调控的核心区域21-22。绿洲的动态演变过程与下游生态进程紧密相连23。因此,精确预测ET0能够为水资源的高效利用与管理提供极具价值的参考依据。

本研究基于临泽2011年1月1日至2020年12月31日期间的部分逐日气象观测数据,用于开展日尺度ET0的估算研究。已获得的气象观测要素包含最高气温(℃)、最低气温(℃)、平均气温(℃)、平均风速(m·s-1)。其中,温度数据借助HMP450型温度计进行精确观测,该温度计的测量范围为-40~60 ℃,精度±0.13 ℃。

3 结果

本研究将2011年1月1日至2019年12月31日的数据设定为训练集和验证数据集,采用5折时间序列交叉验证(TS-CV)方法,对每次划分得到的训练集和验证集,使用构建的混合模型进行训练和验证。通过多轮数据划分和模型训练,减少单次划分带来的随机性偏差,同时在交叉验证过程中进行超参数优化,找到更优的模型参数组合,确保模型在不同数据分布下都能展现出稳定的性能。2020年的数据作为独立测试集,用于最终评估模型泛化能力,训练集与独立测试集的比例为9∶1。

为实现数据的同维度化,并有效提升模型的训练效果,分别运用Min-Max归一化方法对训练集和测试集分别进行归一化处理。随后,将归一化后的数据平铺并依次输入至构建的混合模型,包括RIME-CNN-BiLSTM-Attention、HHO-CNN-BiLST-M-Attention、OOA-CNN-BiLSTM-Attention、NGO-CNN-BiLSTM-Attention及CNN-BiLSTM-Attention,分别对研究区域的ET0进行预测。

在本研究中,所有模型延时步长均设置为10,这意味着模型将使用前10个历史数据作为自变量。在混合模型CNN-BiLSTM-Attention中梯度阈值为1,初始学习速率为0.01,L2正则化参数取值为0.001,交叉验证最大训练次数为1 000。在混合模型RIME-CNN-BiLSTM-Attention、HHO-CNN-BiLSTM-Attention、OOA-CNN-BiLSTM-Attention、NGO-CNN-BiLSTM-Attention中,最大训练次数调整为30,自注意力层设置为单头,键数为2,在每次训练迭代时,Dropout层的舍弃概率固定为0.1。学习率、BiLSTM的神经元个数、正则化参数、注意力机制的键值等参数的取值区间分别为:学习率在[0.001,0.1],BiLSTM的神经元个数是[10,50],注意力机制的键值为[2,50],正则化参数则在[0.0001,0.001]。对于启发式算法RIME、HHO、OOA及NGO,初始种群规模均设置为5,最大进化代数为10。图3直观地呈现了混合模型RIME-CNN-BiLSTM-Attention、HHO-CNN-BiLSTM-Attention、OOA-CNN-BiLSTM- Attention、NGO-CNN-BiLSTM-Attention及CNN-BiLSTM-Attention的估算结果。表1显示了启发式算法RIME、HHO、OOA及NGO分别对混合模型CNN-BiLSTM-Attention进行优化后所获取的最优参数。

图3

图3   RIME-CNN-BiLSTM-Attention、HHO-CNN-BiLSTM-Attention 、OOA-CNN-BiLSTM-Attention、NGO-CNN-BiLSTM-Attention及CNN-BiLSTM-Attention的估算结果

Fig.3   The forecasting results of RIME-CNN-BiLSTM-Attention,HHO-CNN-BiLSTM-Attention,OOA-CNN-BiLSTM-Attention,NGO-CNN-BiLSTM-Attention,and CNN-BiLSTM-Attention


表1   启发式算法优化CNN-BiLSTM-Attention所得的最优参数

Table 1  The optimal parameters of CNN-BiLSTM-Attention

模型学习 率神经元 个数键 值正则化 参数
RIME-CNN-BiLSTM-Attention0.009618130.0005
HHO-CNN-BiLSTM-Attention0.00631680.0003
OOA-CNN-BiLSTM-Attention0.009618130.0005
NGO-CNN-BiLSTM-Attention0.007820230.0006

新窗口打开| 下载CSV


图3可知,所有模型均能对研究区域的ET0进行有效预测,在大部分数据点上,模型的预测值与实际观测值基本相符,且预测结果与观测值变化趋势一致,仅在端点和极值点处存在一定偏差。值得注意的是,所有模型在极值点处均出现了系统性的高估或低估现象。这主要归因于气象观测要素本身存在极值,各要素与ET0之间存在复杂的非线性关系,致使机器学习模型在局部范围内难以精准捕捉其变化规律,进而导致估算结果出现偏差。后续研究可考虑针对极值点的特殊情况,优化模型结构或调整参数,以进一步提升模型的预测精度。

为了全面准确地评估所构建模型的性能表现,分别计算了各模型的NSCEMSERMSEMAEMAPER2等模型性能评价指标,具体计算结果如表2所列。做出各评价指标的柱形图如图4所示。将CNN、BiLSTM及Attention相集成的混合模型CNN-BiLSTM-Attention的误差评价指标NSCE、MSE、RMSEMAE、MAPER2分别为0.8754、0.3548、0.5957、0.4761、14.56%及0.8654,基于启发式算法优化的混合模型RIME-CNN-BiLSTM-Attention、HHO-CNN-BiLSTM-Attention、OOA-CNN-BiLSTM-Attention、NGO-CNN-BiLSTM-Attention等的误差评价指标NSCE、MSE、RMSE、MAE、MAPER2的变化区间分别为[0.8769,0.8830]、[0.2879,0.3378]、[0.5366,0.5812]、[0.4013,0.4482]、[14.09%,14.38%]及[0.8769,0.8930];对比发现,采用启发式算法RIME、HHO、OOA及NGO优化混合模型CNN-BiLSTM-Attention的误差评价指标MSE、RMSE、MAE、MAPE均小于CNN-BiLSTM-Attention的,NSCER2呈相反的变化趋势,意味着优化后混合模型的预测效果均显著优于未优化的混合模型CNN-BiLSTM-Attention。这表明引入启发式算法的集成深度学习模型,能够通过将不同算法的优势相整合,构建出更为复杂且有效的模型结构,实现研究区域ET0的准确估算,且表现出更高的预测精度和更强的稳定性。

表2   各模型在测试阶段的性能评价指标

Table 2  The performance metrics of each model in testing stage

模型NSCEMSERMSEMAEMAPE/%R2
RIME- CNN-BiLSTM-Attention0.88300.28790.53660.401314.090.8930
OOA- CNN-BiLSTM-Attention0.88160.32490.57000.434914.340.8816
NGO- CNN-BiLSTM-Attention0.87960.33030.57470.435214.280.8796
HHO- CNN-BiLSTM-Attention0.87690.33780.58120.448214.380.8769
CNN-BiLSTM-Attention0.87540.35480.59570.476114.560.8654

新窗口打开| 下载CSV


图4

图4   误差评价指标的柱形图

Fig.4   Column chart of error evaluation indicators


将多个深度学模型相集成,能够充分利用各自的优点,实现蒸散发的准确估算,提高模型的预测精度。然而,集成深度学习模型的参数决定了最终的预测结果和精度。伴随着各种新的启发式算法的提出,将其应用于集成深度学习模型参数优化并实现蒸散发预测的研究有待开展。然而,单独选择某种算法来优化继承深度学习模型的参数,必然面临模型选择的风险。因此,本文选择了近年来提出的新的启发式算法RIME、HHO、OOA及NGO分别优化集成深度学习模型CNN-BiLSTM-Attention。图4直观地显示出在相同的条件下,采用启发式算法RIME优化CNN-BiLSTM-Attention的参数构建混合模型RIME-CNN-BiLSTM-Attention,能够获得比其他3种启发式算法优化集成深度学习模型CNN-BiLSTM-Attention更好的模型预测性能,各项误差评价指标均显示混合模型RIME-CNN-BiLSTM-Attention的预测精度要比混合模型HHO-CNN-BiLSTM-Attention、OOA-CNN-BiLSTM-Attention、NGO-CNN-BiLSTM-Attention的预测精度高。这表明,本文所提出的集成模型RIME-CNN-BiLSTM-Attention具有很好的模型适应性和最小的计算误差。

4 讨论

在水文学领域,如何在不完全数据条件下实现不同生物气候带蒸散发的精准估算,一直是备受关注的关键问题。机器学习模型,特别是深度学习模型,凭借强大的数据特征挖掘能力,在水文建模中得到广泛应用1-2。这类模型在训练与测试过程中,能够精准估算有限气象参数条件下的ET0,不仅估算精度高,而且成本低廉,优势显著3-11。由于不同的深度学习模型具有各自的优缺点,例如,CNN凭借独特的卷积层和池化层结构,在时间序列数据的特征提取环节表现卓越,能够高效捕捉数据中的局部特征和模式12-15。然而,由于其缺乏对时间序列前后关联的有效建模机制,难以发掘时间序列数据中的长依赖关系1315。LSTM则是针对标准循环神经网络(RNN)在处理长时间序列数据时极易出现的梯度消失或梯度爆炸问题而设计的。LSTM通过引入门控机制,包括输入门、遗忘门和输出门,能够有效保存和传递长期信息,在处理长期依赖任务时性能优异。但LSTM在处理数据时,严格遵循输入时间序列的先后顺序,无法并行处理数据,这在一定程度上限制了其处理效率和对复杂数据模式的挖掘能力11-1215。双向长短期记忆网络(BiLSTM)作为LSTM的变体,创新性的同时从正向和反向两个方向对时间序列进行处理,这种结构使其能够深度提取时间序列的深层时间特征,充分利用过去和未来的信息1015。在不完全数据条件下估算蒸散发时,BiLSTM相较于LSTM展现出了更优的模型性能1015。然而,BiLSTM本质上仍属于递归神经网络结构,不可避免地存在梯度问题,在训练过程中可能导致梯度消失或梯度爆炸,影响模型的收敛速度和稳定性。因此,将CNN和BiLSTM相耦合的混合模型CNN-BiLSTM相耦合能够充分利用各自的优点实现不完全数据下蒸散发的准确估算15。但当利用输入项繁多、数据量庞大的时间序列数据进行模型训练时,该模型存在一定局限性。研究表明CNN-BiLSTM可能会忽视部分时刻数据所蕴含的重要特征信息使得模型学习能力降低,进而对模型预测精度产生负面影响。这是因为在处理复杂时间序列数据时,模型难以全面捕捉和处理所有信息,导致关键特征被遗漏。而注意力机制(Attention)则提供了有效的解决方案20。注意力机制能够依据输入变量不同特征对预测结果影响程度的大小,为神经网络隐藏单元分配权重152024-25。这意味着,对ET0估算结果影响显著的因素将得到更高程度的关注,有助于模型更精准地捕捉关键信息,从而辅助提升模型的估算精度。基于此,在CNN-BiLSTM模型中引入Attention机制,能够很好地解决原有模型容易忽略部分重要特征信息的问题,进而显著提高模型预测精度。因此,本研究将CNN-BiLSTM-Attention作为研究区域ET0估算的主模块。

在集成深度学习模型CNN-BiLSTM-Attention中,学习率、BiLSTM的神经元个数、注意力机制的键值以及正则化参数等超参数,对模型最终的输出结果和预测精度起着决定性作用。手动调整这些超参数不仅耗时费力,而且在实际操作中往往难以实现,因为面对复杂的模型结构和大量的数据,人为判断最优超参数组合几乎是不可能完成的任务。因此,引入启发式算法来快速、准确地确定最优超参数16-19。如表2所列,采用启发式算法优化集成深度学习模型CNN-BiLSTM-Attention,并用以计算研究区域ET0,结果显示,启发式算法能够自动寻找模型的最优参数组合,有效提高了模型的性能和稳定性。

为了更直观地展示本文所构建的模型在各项指标上的差异,以MSE、RMSE、MAEMAPE作为4个维度的坐标轴,绘制出雷达图如图5所示,每个模型对应一个多边形,多边形的顶点位置代表该模型在对应指标上的数值。RIME-CNN-BiLSTM-Attention模型的多边形在雷达图中最靠近中心,因为其MSE、RMSE、MAEMAPE的值都最小。这直观地表明该模型在预测ET0时,各方面误差指标都控制得最好,预测精度最高;OOA-CNN-BiLSTM-Attention模型多边形相对离中心稍远,在MSE、RMSE、MAEMAPE指标上,数值都比RIME-CNN-BiLSTM-Attention略大,说明它在预测误差控制方面稍逊一筹;HHO-CNN-BiLSTM-Attention和NGO-CNN-BiLSTM-Attention、CNN-BiLSTM-Attention离多边形离中心要比OOA-CNN-BiLSTM-Attention稍远,其MSE、RMSE、MAEMAPE均比混合模型OOA-CNN-BiLSTM-Attention的相应误差指标要大,但比混合模型CNN-BiLSTM-Attention的相应误差指标要小。这说明这两个混合模型其误差控制能力相对较弱。

图5

图5   各模型评价指标的雷达图

Fig.5   Radar diagrams of each model evaluation index


综上所述,混合模型RIME-CNN-BiLSTM-Attention表现出比其他混合模型显著更低的误差水平,这一结果有力地证实了RIME-CNN-BiLSTM-Attention具备更高的预测精度,在研究区域ET0预测任务中,具有更强的可靠性和精准性,能够为相关研究和实际应用提供更为准确的预测结果。

5 结论

有限气象参数条件下借助于深度学习实现ET0的准确估算对干旱区有限水资源的高效利用和管理具有重要意义。本文将CNN、BiLSTM及Attention相集成,构建了混合模型CNN-BiLSTM-Attention,进而采用RIME、OOA、HHO及NGO等启发式算法分别对混合模型CNN-BiLSTM-Attention中的关键参数进行优化,构建了多个混合模型等实现了不完全数据条件下黑河流域中游干旱区水资源利用和调控的核心区域临泽县ET0的准确估算。与混合模型CNN-BiLSTM-Attention(NSCE=0.8754,R2=0.8654,MSE=0.3548,RMSE=0.5957,MAE=0.4761,MAPE=14.56%)相比,混合模型RIME-CNN-BiLSTM-Attention、HHO-CNN-BiLSTM-Attention、OOA- CNN-BiLSTM-Attention及NGO-CN-N-BiLSTM-Attention的误差评价指标NSCER2的变化区间为[0.8769,0.8830]和[0.8769,0.8930]。MSE、RMSE、MAE、MAPE的变化区间分别为[0.2879,0.3378]、[0.5366,0.5812]、[0.4013,0.4482]、[14.09%,14.38%],意味着采用启发式算法优化混合模型CNN-BiLSTM-Attention的关键参数能够有效提升模型的预测精度;整体上,混合模型RIME-CNN-BiLSTM-Attention的估算精度最高,其误差评价指标分别为NSCE=0.8830、MSE=0.2879、RMSE=0.5366、MAE=0.4013、MAPE=14.09%、R2=0.8930,与混合模型CNN-BiLSTM-Attention相比,MAPE从14.56%下降到14.09%,可决系数R2从0.8654上升到0.8930,意味着混合模型RIME-CNN-BiLSTM-Attention具有更好的模型性能,能够实现不完全气象数据下研究区ET0的准确预测。本研究为不完全数据下实现干旱区ET0的准确估算提供了新方法,也为干旱区水资源的调配提供了参考。

参考文献

任珩赵文智杨荣.

河西走廊绿洲农业水生产力提升的途径与对策

[J].中国沙漠,2024445):217-224.

[本文引用: 2]

邢铭强马可陈彩亮.

河西地区农业绿色发展水平测度及耦合协调提升路径

[J].中国沙漠,2024446):207-219.

[本文引用: 2]

Fu T LLi X RJia R Let al.

A novel integrated method based on a machine learning model for estimating evapotranspiration in dryland

[J].Journal of Hydrology,2021603126881.

[本文引用: 3]

Fu T LLi X R.

Hybrid the long short-term memory with whale optimization algorithm and variational mode decomposition for monthly evapotranspiration estimation

[J].Scientifc Reports,20221220717.

[本文引用: 1]

Chen SHe CHuang Zet al.

Using support vector machine to deal with the missing of solar radiation data in daily reference evapotranspiration estimation in China

[J].Agricultural and Forest Meteorology,2022316108864.

[本文引用: 1]

Bilali E AHadri ATaleb Aet al.

A novel hybrid modeling approach based on empirical methods,PSO,XGBoost,and multiple GCMs for forecasting long-term reference evapotranspiration in a data scarce-area

[J].Computers and Electronics in Agriculture,2025232110106-110116.

[本文引用: 2]

Dong JXing L WCui N Bet al.

Estimating reference crop evapotranspiration using optimized empirical methods with a novel improved Grey Wolf Algorithm in four climatic regions of China

[J].Agricultural Water Management,2024108620.

[本文引用: 2]

Wu L FHuang G MFan J Let al.

Hybrid extreme learning machine with meta-heuristic algorithms for monthly pan evaporation prediction

[J].Computers and Electronics in Agriculture,2020168105-115.

[本文引用: 1]

Farshad ASaeid MBabak Met al.

Application of an artificial intelligence technique enhanced with intelligent water drops for monthly reference evapotranspiration estimation

[J].Agricultural Water Management,2021244106622.

[本文引用: 2]

Roy D KSarkar T KKamar S S Aet al.

Daily prediction and multi-step forward forecasting of reference evapotranspiration using LSTM and Bi-LSTM models

[J].Agronomy,202212594.

[本文引用: 8]

Fu T LLi X R.

Estimating the monthly pan evaporation with limited climatic data in dryland based on the extended long short-term memory model enhanced with meta-heuristic algorithms

[J].Scientifc Reports,2023131):5960-5969.

[本文引用: 5]

Farzad RAhmadi FSharafati Aet al.

Investigating hybrid deep learning models and meta-heuristic algorithms in predicting evaporation from a reservoir:a case study of Dez Dam

[J].Earth Science Informatics,2023163597-3618.

[本文引用: 5]

Elzain E HAbdalla A OAbdallah Met al.

Innovative approach for predicting daily reference evapotranspiration using improved shallow and deep learning models in a coastal region:a comparative study

[J].Journal of Environmental Management,2024354120246.

[本文引用: 2]

Ferreira L BCunha F.

Multi-step ahead forecasting of daily reference evapotranspiration using deep learning

[J].Computers and Electronics in Agriculture,2020178105728.

[本文引用: 4]

Dong JXing LCui Net al.

Estimating reference crop evapotranspiration using improved convolutional bidirectional long short-term memory network by multi-head attention mechanism in the four climatic zones of China

[J].Agricultural Water Management,2024292108665.

[本文引用: 14]

Su HZhao DHeidari A Aet al.

RIME:a physics-based optimization

[J].Neurocomputing,2023183-214.

[本文引用: 4]

Heidari A AMirjalili SFaris Het al.

Harris hawks optimization:algorithm and applications

[J].Future Generation Computer Systems,201997849-872.

[本文引用: 1]

Dehghani MTrojovský P.

Osprey optimization algorithm:a new bio-inspired metaheuristic algorithm for solving engineering optimization problems

[J].Frontiers in Mechanical Engineering,2023.

[本文引用: 1]

Dehghani MHubálovský ŠTrojovský P.

Northern goshawk optimization:a new swarm-based algorithm for solving optimization problems

[J].Ieee Access,20219162059-162080.

[本文引用: 3]

Vaswani AShazeer NParmar Net al.

Attention is all you need

[Z].10.48550/arXiv.1706.03762,2017.

[本文引用: 3]

Ji X BZhao W ZJin B Wet al.

Seasonal variations in energy exchange and evapotranspiration of an oasis-desert ecotone in an arid region

[J].Hydrological Processes,2021359):1-16.

[本文引用: 1]

许澳康吉天琪石晶.

甘肃黑河流域生态网络构建与优化

[J].中国沙漠,2025452):61-70.

[本文引用: 1]

雷军程新平薛春.

黑河流域中游北部荒漠区植物群落特征与稳定性

[J].中国沙漠,2024446):187-194.

[本文引用: 1]

Wang S XShi J RYang W Yet al.

High and low frequency wind power prediction based on Transformer and BiGRU-Attention

[J].Energy,2024288129753.

[本文引用: 1]

Wang W HXi C P.

Short-term electricity load forecasting based on TPE-optimized CNN-BIGRU-attention

[J].Journal of Physics:Conference Series,202324961.

[本文引用: 1]

/