基于均生函数的长短期记忆神经网络径流建模研究与应用

《基于机器学习的中长期径流预报方法研究》篇一一、引言随着现代科技的快速发展，机器学习在各个领域的应用越来越广泛。

其中，基于机器学习的中长期径流预报方法研究具有重要的实际意义。

径流预报是水文领域的重要研究内容，对于水资源管理、防洪抗旱、水生态保护等方面都具有重要的指导作用。

本文旨在探讨基于机器学习的中长期径流预报方法，为相关领域的研究和应用提供理论依据。

二、径流预报的背景与意义径流预报是通过对河流、湖泊等水体的水文信息进行收集、分析和预测，以了解其未来一段时间内的水流状况。

中长期径流预报是指对未来数月甚至数年的径流情况进行预测，对于水资源规划、调度、管理及保护具有十分重要的意义。

随着全球气候变化和人类活动的加剧，径流情况的变化对生态环境和社会经济产生深远影响，因此，提高径流预报的准确性和可靠性显得尤为重要。

三、传统径流预报方法的局限性传统径流预报方法主要包括物理模型和统计模型。

物理模型基于水流运动的物理规律进行建模，但模型参数的确定和调整较为复杂；统计模型则主要依据历史数据进行统计分析，但往往难以考虑多种影响因素的相互作用。

此外，传统方法在处理非线性、时变和复杂的水文系统时存在一定局限性，导致预报结果的准确性和可靠性难以满足实际需求。

四、基于机器学习的中长期径流预报方法针对传统方法的局限性，本文提出基于机器学习的中长期径流预报方法。

该方法以大量历史径流数据为基础，通过机器学习算法建立预测模型，实现对未来一段时间内径流情况的预测。

具体而言，该方法包括数据预处理、特征选择、模型构建和模型评估等步骤。

1. 数据预处理：对历史径流数据进行清洗、整理和标准化处理，以便于后续的模型构建。

2. 特征选择：从历史数据中提取与径流情况相关的特征，如气象因素、地形因素、人类活动等。

3. 模型构建：采用机器学习算法（如支持向量机、神经网络、随机森林等）建立预测模型。

这些算法能够处理非线性、时变和复杂的水文系统，提高预报的准确性和可靠性。

基于循环神经网络与时序数据挖掘的交通流量预测研究交通流量预测是城市交通规划和管理中的关键问题之一。

准确预测交通流量可以帮助交通部门优化路网规划、交通信号控制以及旅行者信息提供等操作，最终提高城市交通运行效率和减少交通拥堵。

随着循环神经网络（Recurrent Neural Network, RNN）技术和时序数据挖掘方法的发展，基于RNN和时序数据挖掘的交通流量预测研究被广泛应用。

循环神经网络是一类特殊的神经网络结构，适用于处理序列数据、时间序列等具有时间依赖性的问题。

与传统的前馈神经网络（Feedforward Neural Network）相比，RNN的隐状态可以通过一个循环的连接实现信息在时序上的传递，从而对前序信息进行记忆和利用。

这使得RNN成为处理交通流量预测问题的强有力工具。

在交通流量预测中，时序数据挖掘扮演着至关重要的角色，其可以从历史交通流量数据中识别出重要的模式和趋势，从而为预测模型提供准确的输入。

常见的时序数据挖掘方法包括时间序列分析、周期性分析、自回归模型、移动平均模型等。

这些方法可以帮助我们理解交通流量数据中的季节性、周期性和趋势性，并提取出有效的特征用于交通流量预测。

基于循环神经网络和时序数据挖掘的交通流量预测方法可以分为两个主要步骤：特征提取和流量预测。

首先，通过时序数据挖掘方法，我们可以从历史交通流量数据中提取出有意义的特征。

例如，我们可以提取每天的交通流量变化模式、周末与工作日的流量差异、季节性和节假日对流量的影响等。

这些特征可以用于后续的流量预测模型。

针对特征提取之后的交通流量预测问题，循环神经网络被广泛应用。

基于RNN的交通流量预测模型能够利用历史交通数据中的时序信息和交通流量的动态特性进行预测。

这种方法能够捕获与时间相关的特征，同时还能够考虑到交通流量之间的相互影响。

常见的基于RNN的交通流量预测模型包括基本的循环神经网络（Simple RNN）、长短期记忆网络（Long Short-Term Memory, LSTM）和门控循环单元（Gated Recurrent Unit, GRU）等。

《基于深度学习的中长期径流预测研究》篇一一、引言径流预测是水资源管理、防洪抗旱、水力发电等众多领域的重要研究课题。

随着深度学习技术的快速发展，其在中长期径流预测中的应用逐渐受到广泛关注。

本文旨在探讨基于深度学习的中长期径流预测研究，以期为相关领域提供有益的参考。

二、研究背景及意义径流预测是指根据历史气象、水文、地形等因素，预测未来一段时间内河流的流量变化。

中长期径流预测对于水资源规划、水库调度、防洪抗旱等方面具有重要意义。

传统的径流预测方法主要依赖于物理模型和统计模型，然而这些方法往往需要大量的参数调整和假设，且对于复杂多变的气候条件适应性较差。

因此，寻找一种更加准确、高效的径流预测方法显得尤为重要。

深度学习作为一种新兴的人工智能技术，具有强大的特征提取和学习能力。

将深度学习应用于中长期径流预测，可以提高预测精度，为水资源管理和防洪抗旱等提供有力支持。

因此，基于深度学习的中长期径流预测研究具有重要的理论和实践意义。

三、研究方法本研究采用深度学习中的循环神经网络（RNN）和长短期记忆网络（LSTM）进行中长期径流预测。

具体步骤如下：1. 数据收集与预处理：收集历史气象、水文、地形等数据，进行数据清洗、格式转换等预处理工作。

2. 模型构建：构建基于RNN和LSTM的深度学习模型，设置合适的网络结构、参数等。

3. 模型训练与优化：使用历史数据进行模型训练，通过调整网络结构、参数等优化模型性能。

4. 预测与评估：使用训练好的模型进行中长期径流预测，并采用合适的评估指标对预测结果进行评估。

四、实验结果与分析1. 数据集与实验环境本研究采用某地区的历史气象、水文、地形等数据作为实验数据集。

实验环境为高性能计算机集群，采用深度学习框架进行模型构建和训练。

2. 模型性能评估本研究采用均方误差（MSE）、平均绝对误差（MAE）等指标对模型性能进行评估。

实验结果表明，基于深度学习的中长期径流预测模型具有较高的预测精度和稳定性。

人工智能算法在股票预测中的使用教程人工智能（Artificial Intelligence, AI）算法在股票预测中的应用正变得越来越普遍。

其基于大数据分析和机器学习技术，能够利用历史数据进行股票价格的预测和趋势分析，为投资者提供辅助决策的参考依据。

本文将介绍几种常见的人工智能算法，以及如何使用这些算法进行股票预测。

一、人工神经网络算法（Artificial Neural Network, ANN）人工神经网络算法是一种仿生的模式识别算法，模拟人脑的神经网络结构和学习过程。

它通过输入历史数据，通过训练和调整参数，建立一个具有预测功能的模型。

在股票价格预测中，人工神经网络算法能够学习历史价格的变化趋势和因素，通过模式识别进行预测。

使用人工神经网络算法进行股票预测的步骤如下：1. 整理数据：首先，需要收集和整理历史股票价格数据，包括开盘价、收盘价、最高价、最低价以及交易量等信息。

2. 划分训练集和测试集：将数据集划分为训练集和测试集，通常将大部分数据用于训练，少部分数据用于测试。

3. 构建模型：使用人工神经网络算法构建模型。

选择合适的网络结构、激活函数和学习算法。

数据的输入层是历史价格的特征，输出层是预测结果。

4. 训练模型：将训练集数据输入到模型中进行训练，通过调整参数来优化模型的预测能力。

可以使用梯度下降等方法进行模型的优化。

5. 测试预测：使用测试集的数据进行预测，并与实际价格进行比较，评估模型的预测准确性。

可以使用均方根误差（Root Mean Square Error, RMSE）等指标进行评估。

二、长、短期记忆网络算法（Long Short-Term Memory, LSTM）长、短期记忆网络算法是一种可以处理长期依赖关系的人工神经网络，能够更好地捕捉股票价格的时序特征。

相比传统的人工神经网络算法，LSTM网络能够记忆长时间的信息，并根据这些信息进行预测。

LSTM算法在股票预测中的应用步骤如下：1. 数据预处理：与人工神经网络算法类似，首先需要整理和划分数据集。

基于ARIMA与神经网络集成的GDP时间序列预测研究一、概述随着全球经济的不断发展，GDP（国内生产总值）时间序列预测成为经济学、金融学等领域的研究热点。

准确的GDP预测对于政策制定、投资决策、市场预测等方面具有重要意义。

GDP时间序列受到多种因素的影响，如政策调整、市场需求、自然灾害等，呈现出高度的非线性和不确定性。

单一的预测方法往往难以准确捕捉GDP时间序列的复杂特征。

近年来，随着人工智能技术的发展，神经网络在时间序列预测领域展现出强大的潜力。

神经网络通过模拟人脑神经元的连接方式，能够自适应地学习数据的内在规律，从而实现复杂非线性系统的建模和预测。

另一方面，ARIMA（自回归移动平均模型）作为一种经典的统计预测方法，在时间序列分析中具有广泛的应用。

ARIMA模型通过拟合数据的自回归和移动平均过程，能够捕捉时间序列的线性特征。

为了克服单一预测方法的局限性，提高GDP时间序列预测的准确性，本文提出了一种基于ARIMA与神经网络集成的预测方法。

该方法将ARIMA模型和神经网络相结合，充分利用两者的优势，以实现对GDP时间序列的准确预测。

具体而言，首先利用ARIMA模型对GDP时间序列进行线性拟合，提取出线性特征将ARIMA模型的残差作为神经网络的输入，利用神经网络学习非线性特征。

通过集成ARIMA模型和神经网络的预测结果，可以综合利用线性和非线性信息，提高预测精度。

本文将对基于ARIMA与神经网络集成的GDP时间序列预测方法进行详细的研究和探讨。

介绍ARIMA模型和神经网络的基本原理和优缺点阐述基于ARIMA与神经网络集成的预测方法的构建过程通过实验验证该方法的预测性能，并与其他常见的预测方法进行比较分析。

本文的研究旨在为GDP时间序列预测提供一种新的思路和方法，为相关领域的研究和实践提供参考和借鉴。

_______时间序列预测的重要性时间序列预测，特别是GDP时间序列预测，在现代经济分析和政策制定中占据着至关重要的地位。

《基于GCN-LSTM的空气质量预测系统的设计与实现》一、引言随着城市化进程的加快，空气质量问题已经成为国内外广泛关注的热点问题。

空气质量预测系统的设计实现，不仅对改善居民生活质量、保护环境具有重要意义，同时也为政府决策提供了科学依据。

本文将详细介绍基于图卷积神经网络（GCN）与长短期记忆网络（LSTM）的空气质量预测系统的设计与实现。

二、系统设计1. 需求分析在系统设计阶段，首先需要对空气质量预测系统的需求进行详细分析。

包括但不限于对历史数据的收集、处理、分析，对未来空气质量的预测，以及预测结果的展示与输出等。

2. 技术选型针对空气质量预测系统的需求，选择合适的算法和技术是实现系统的关键。

本系统采用GCN-LSTM模型作为核心算法，通过图卷积神经网络（GCN）对环境因素的空间关系进行建模，结合长短期记忆网络（LSTM）对时间序列数据进行处理，实现空气质量的精准预测。

3. 系统架构系统架构包括数据层、模型层、应用层三个部分。

数据层负责数据的收集与预处理；模型层采用GCN-LSTM模型进行空气质量预测；应用层负责将预测结果进行可视化展示，并提供用户交互功能。

三、系统实现1. 数据预处理数据预处理是空气质量预测系统的关键步骤。

首先，对收集到的历史数据进行清洗、去噪、标准化等操作，以便后续的模型训练。

其次，将空间信息与时间信息进行融合，为图卷积神经网络提供输入数据。

2. 模型构建本系统采用GCN-LSTM模型进行空气质量预测。

模型中，GCN负责提取环境因素的空间关系特征，LSTM则用于捕捉时间序列数据中的依赖关系。

通过联合学习两种网络，实现对空气质量的精准预测。

3. 训练与优化在模型训练阶段，采用梯度下降算法对模型参数进行优化。

通过不断调整模型参数，使模型在训练数据上的预测结果逐渐接近实际值。

同时，为了防止过拟合，采用早停法等策略对模型进行优化。

4. 系统测试与评估在系统测试阶段，采用真实数据对系统进行测试与评估。

《基于机器学习的中长期径流预报方法研究》篇一一、引言随着现代科技的飞速发展，机器学习技术在诸多领域得到了广泛应用。

其中，基于机器学习的中长期径流预报方法研究成为了水文科学和水利工程领域的重要课题。

本文旨在探讨基于机器学习的中长期径流预报方法，以提高径流预报的准确性和可靠性，为水资源管理和防洪减灾提供科学依据。

二、研究背景及意义径流预报是水文科学研究的重要内容，对于水资源管理、防洪减灾、水利工程规划等方面具有重要意义。

传统的径流预报方法主要基于物理模型和经验统计模型，但这些方法往往受到数据质量、模型复杂度等因素的影响，导致预报结果存在一定的误差。

而基于机器学习的径流预报方法，可以通过学习大量历史数据，提取径流变化规律和影响因素，提高预报的准确性和可靠性。

因此，研究基于机器学习的中长期径流预报方法具有重要的理论和实践意义。

三、机器学习在径流预报中的应用机器学习是一种基于数据的学习方法，可以通过学习大量历史数据，发现数据之间的内在规律和模式。

在径流预报中，机器学习可以应用于以下几个方面：1. 数据预处理：对原始径流数据进行清洗、筛选和预处理，以提高数据的质量和可靠性。

2. 特征提取：通过机器学习算法，提取影响径流变化的关键因素和特征，如气象因素、地形因素、水文因素等。

3. 模型训练：利用提取的特征和历史径流数据，训练机器学习模型，建立径流预报模型。

4. 预报结果评估：利用实际观测数据对预报结果进行评估，不断优化和改进模型。

四、机器学习算法在径流预报中的应用实例以支持向量机（SVM）为例，介绍机器学习算法在径流预报中的应用。

SVM是一种基于统计学习的监督学习算法，可以用于二分类问题和回归问题。

在径流预报中，SVM可以通过学习历史径流数据和影响因素数据，建立径流与影响因素之间的非线性关系模型，提高径流预报的准确性和可靠性。

同时，SVM还可以对模型进行优化和改进，进一步提高模型的预测性能。

五、研究方法与技术路线1. 数据收集与预处理：收集历史径流数据、气象数据、地形数据等，进行数据清洗、筛选和预处理。

《结合特征选择和深度学习的入侵检测方法研究》一、引言随着网络技术的快速发展和广泛应用，网络安全问题日益突出。

入侵检测系统（IDS）作为网络安全的重要手段，能够有效监测并预防潜在的网络攻击。

近年来，特征选择和深度学习技术的发展为入侵检测提供了新的思路和方法。

本文旨在研究结合特征选择和深度学习的入侵检测方法，以提高入侵检测的准确性和效率。

二、特征选择与入侵检测概述特征选择是数据预处理的重要环节，它通过选择与目标变量相关性较强的特征，降低数据集的维度，从而提高模型的训练效率和预测精度。

在入侵检测领域，特征选择能够提取出与攻击行为相关的关键特征，为后续的模型训练提供有效支持。

传统的入侵检测方法主要依赖于人工提取的特征进行检测，然而，随着网络攻击手段的不断更新和复杂化，这种方法的效率和准确性逐渐降低。

深度学习技术的发展为入侵检测提供了新的解决方案。

深度学习能够自动学习和提取数据中的深层特征，从而更好地适应复杂的网络环境。

三、深度学习在入侵检测中的应用深度学习通过构建多层神经网络，能够自动学习和提取数据中的特征。

在入侵检测中，深度学习可以通过分析网络流量、用户行为等数据，提取出与攻击行为相关的特征，从而实现对网络攻击的检测和预防。

具体而言，深度学习在入侵检测中的应用主要包括以下几个方面：1. 卷积神经网络（CNN）：CNN在处理具有网格结构的数据时具有较好的效果，可以应用于网络流量的检测。

通过构建CNN 模型，可以自动学习和提取网络流量中的时空特征，从而实现对网络攻击的检测。

2. 循环神经网络（RNN）：RNN在处理序列数据时具有较好的效果，可以应用于用户行为的检测。

通过分析用户的操作序列，RNN可以学习和提取用户的正常行为模式，从而实现对异常行为的检测和预警。

3. 集成学习方法：将多个深度学习模型进行集成，可以进一步提高入侵检测的准确性和鲁棒性。

通过将不同模型的结果进行融合，可以实现对网络攻击的全面检测和预警。

招聘人工智能岗位笔试题与参考答案(某大型集团公司)(答案在后面)一、单项选择题（本大题有10小题，每小题2分，共20分）1、以下哪个算法不属于监督学习算法？A、决策树B、支持向量机C、K最近邻D、朴素贝叶斯2、在深度学习中，以下哪个概念指的是通过调整网络中的权重和偏置来最小化损失函数的过程？A、过拟合B、欠拟合C、反向传播D、正则化3、以下哪个技术不属于深度学习中的卷积神经网络（CNN）组件？A. 卷积层B. 激活函数C. 池化层D. 反向传播算法4、在自然语言处理（NLP）中，以下哪种模型通常用于文本分类任务？A. 决策树B. 朴素贝叶斯C. 支持向量机D. 长短期记忆网络（LSTM）5、题干：以下哪项不属于人工智能的核心技术？A. 机器学习B. 深度学习C. 数据挖掘D. 计算机视觉6、题干：以下哪个算法在处理大规模数据集时，通常比其他算法更具有效率？A. K最近邻（K-Nearest Neighbors, KNN）B. 支持向量机（Support Vector Machines, SVM）C. 决策树（Decision Tree）D. 随机森林（Random Forest）7、以下哪个技术不属于深度学习领域？A. 卷积神经网络（CNN）B. 支持向量机（SVM）C. 递归神经网络（RNN）D. 随机梯度下降（SGD）8、以下哪个算法不是用于无监督学习的？A. K-均值聚类（K-means）B. 决策树（Decision Tree）C. 主成分分析（PCA）D. 聚类层次法（Hierarchical Clustering）9、以下哪个技术不属于深度学习中的神经网络层？A. 卷积层（Convolutional Layer）B. 循环层（Recurrent Layer）C. 线性层（Linear Layer）D. 随机梯度下降法（Stochastic Gradient Descent）二、多项选择题（本大题有10小题，每小题4分，共40分）1、以下哪些技术或方法通常用于提升机器学习模型的性能？（）A、特征工程B、数据增强C、集成学习D、正则化E、迁移学习2、以下关于深度学习的描述，哪些是正确的？（）A、深度学习是一种特殊的机器学习方法，它通过多层神经网络来提取特征。

电子海图导航系统在海洋航行中的应用与发展文/王香栋 李栋为了提高电子海图管理系统在海洋航行中的应用效果，本文首先从智能导航、港口调度和安全预警等方面，对电子海图在当今航海活动中的功能与优势进行了分析和阐述。

其次针对其中的智能导航功能，提出一种基于Atten_LSTM深度学习的航线预测方法，在实现海洋航行自动导航的基础上，提高电子海图导航系统的精确度。

研究一方面基于能够有效学习长序列信息的LSTM长短时记忆网络搭建航线轨迹预测模型，另一方面通过引入注意力机制，提高模型的学习和训练效果。

实验表明，搭载Atten_LSTM轨迹预测模型的智能导航系统，在对选定船只的随机8个位置经纬度的推算中，最大误差为（0°0.15E，0°0.05N），预测准确度较高；在实际海洋航行过程中，采用搭载Atten_LSTM轨迹预测模型的智能导航系统对20s内航行轨迹进行预测，预测航线与实际航行的平均误差约2.5m，远远低于船舶航行航迹预测要求，具有较高的预测精度，值得进一步研究推广。

来越被依赖，占据着重要的位置。

电子海图的导航系统包括航线设计、航向航迹检测、航线海域数据搜集与信息数据处理等功能。

相较于传统纸质海图，电子海图不仅能够更便捷地查询海面状况，还能通过测量海域内海图点的方位，计算任意海图点之间的相对位置与海洋洋流流速等，及时对航线是否发生偏移进行监控，减少航行的不稳定性。

并且，电子海图在搜集海域信息时，依靠连接电子设备，包括探测仪、陀螺经纬、感应器等，相较于传统手绘海图，不仅具有更高效率，也更具准确性。

尤其是一些人难下潜的危险海域，依靠电子设备也可以进行有效测绘，增进人们对航线和海域的了解，进而提高了人们在海洋航行中的安全性。

港口调度港口拥堵是导致海运效率较低的重要因素，在传统海运活动中，船舶往往需要在港口耗费大半天的时间等待通行，船舶出行十分不便。

而现代海运通过电子海图大大缓解了这一状况。

电子海图不仅可以通过搜集海域资料，对船舶的航线进行智能规划，还可以通过搜集其他船舶的航线与航行状况，分析其他船舶的位置信息，在港口停靠时对船舶进行合理调度，实现安全引航。

基于分析的LSTM组合模型径流预测一、内容概述随着气候变化和人类活动的影响，径流预测在水资源管理、防洪减灾和水环境保护等领域具有重要的现实意义。

传统的径流预测方法往往依赖于经验公式或统计模型，这些方法在一定程度上可以解决实际问题，但由于其局限性，很难适应复杂多变的气候和地形条件。

因此研究一种基于分析的LSTM组合模型径流预测方法具有重要的理论和实践价值。

通过对大量实验数据的验证和分析，本文证明了所提出的基于分析的LSTM组合模型径流预测方法在预测精度和泛化能力方面均优于现有的方法。

此外该方法还可以有效地处理非线性、非平稳和多变量等问题，为水资源管理和水环境保护提供了有力的支持。

1. 研究背景和意义随着全球气候变化和人类活动对自然环境的影响加剧，径流预测在水资源管理和防洪减灾领域具有重要意义。

然而传统的径流预测方法往往缺乏对复杂地理环境和气象条件的考虑，导致预测结果的准确性和可靠性有限。

因此研究一种基于分析的LSTM组合模型径流预测方法，以提高预测精度和实用性，具有重要的理论和实际价值。

本文首先介绍了LSTM(长短期记忆)网络的基本原理和应用，然后分析了现有的径流预测方法的不足之处，提出了基于分析的LSTM组合模型径流预测方法。

该方法结合了LSTM网络的时间序列特征提取能力和分析方法，以及传统径流预测方法的空间信息处理能力，能够更好地捕捉地理空间和气象条件的变化趋势，从而提高预测精度。

此外本文还探讨了模型参数的选择和优化方法，以进一步提高预测性能。

通过对实际流域数据集的实证分析，本文验证了基于分析的LSTM 组合模型径流预测方法的有效性和实用性。

实验结果表明，相比于传统的径流预测方法，本文提出的方法在预测精度和泛化能力方面均具有显著优势。

这为水资源管理和防洪减灾领域的决策提供了有力支持，也为未来径流预测研究提供了新的思路和方向。

2. 国内外研究现状随着全球气候变化和城市化进程的加速，径流预测在水资源管理、防洪减灾、水环境保护等方面具有重要意义。

2021⁃01⁃10计算机应用,Journal of Computer Applications 2021,41(1):243-248ISSN 1001⁃9081CODEN JYIIDU http ：//基于残差连接长短期记忆网络的时间序列修复模型钱斌1，郑楷洪1，陈子鹏2，肖勇1，李森2，叶纯壮1，马千里2*（1.南方电网科学研究院有限责任公司，广州510663；2.华南理工大学计算机科学与工程学院，广州510006）（∗通信作者电子邮箱qianlima@ ）摘要：传统的时间序列缺失修复方法通常假设数据由线性动态系统产生，然而时间序列更多地表现为非线性。

为此，提出了基于残差连接长短期记忆（LSTM ）网络的时间序列修复模型，称为RSI -LSTM ，用来有效捕获时间序列的非线性动态特性，并且挖掘缺失数据和最近的非缺失数据之间的潜在关联。

具体来说，就是采用LSTM 网络对时间序列的非线性动态特性进行建模，同时引入残差连接来挖掘历史值与缺失值的联系，从而提升模型的修复能力。

首先使用RSI -LSTM 对单变量日供电量数据集的缺失数据进行修复，然后在第九届电工数学建模竞赛A 题的电力负荷数据集上，引入气象因素作为RSI -LSTM 的多变量输入，以提升模型对时间序列缺失值的修复效果。

此外，使用了两个通用的多变量时间序列数据集以验证模型的缺失修复能力。

实验结果表明，在单变量和多变量数据集上，RSI -LSTM 的缺失值修复效果均优于LSTM ，得到的均方误差（MSE ）总体下降了10%。

关键词：缺失数据修复；长短期记忆网络；残差连接；时间序列；时序依赖中图分类号：TP183文献标志码：ATime series imputation model based onlong -short term memory network with residual connectionQIAN Bin 1，ZHENG Kaihong 1，CHEN Zipeng 2，XIAO Yong 1，LI Sen 2，YE Chunzhuang 1，MA Qianli 2*（1.Electric Power Research Institute ，China Southern Power Grid International Company Limited ，Guangzhou Guangdong 510663，China ；2.School of Computer Science and Engineering ，South China University of Technology ，Guangzhou Guangdong 510006，China ）Abstract:Traditional time series imputation methods typically assume that time series data is derived from a lineardynamic system.However ，the real -world time series show more non -linear characteristics.Therefore ，a time series imputation model based on Long Short -Term Memory （LSTM ）network with residual connection ，called RSI -LSTM （ReSidual Imputation Long -Short Term Memory ），was proposed to capture the non -linear dynamic characteristics of time series effectively and mine the potential relation between missing data and recent non -missing data.Specifically ，the LSTM network was used to model the underlying non -linear dynamic characteristics of time series ，meanwhile ，the residualconnection was introduced to mine the connection between the historical values and the missing value to improve the imputation capability of the model.Firstly ，RSI -LSTM was applied to impute the missing data of the univariate daily power supply dataset ，and then on the power load dataset of the 9th Electrical Engineering Mathematical Modeling Competition problem A ，the meteorological factors were introduced as the multivariate input of RSI -LSTM to improve the imputation performance of the model on missing value in the time series.Furthermore ，two general multivariate time series datasets were used to verify the missing value imputation ability of the model.Experimental results show that compared with LSTM ，RSI -LSTM can obtain better imputation performance ，and has the Mean Square Error （MSE ）10%lower than LSTM generally onboth univariate and multivariate datasets.Key words:missing value imputation;Long Short -Term Memory (LSTM)network;residual connection;time series;temporal dependency引言时间序列在诸多领域都有着丰富的应用［1-3］。

收稿日期：２０２０ ０５ １８；修回日期：２０２０ ０７ ０３ 基金项目：军队科研资助项目 作者简介：王清华（１９９６ ），男，江苏徐州人，硕士研究生，主要研究方向为机器学习和模式识别；王丽娜（１９７９ ），女（通信作者），山东济南人，研究员，硕导，博士，主要研究方向为智能信息处理（ｖｉｏｌｉｎａ＠１２６．ｃｏｍ）；徐颂（１９９２ ），女，河北保定人，工程师，硕士，主要研究方向为计算智能．融合ＬＳＴＭ结构的脉冲神经网络模型研究与应用王清华１，２，王丽娜１，２ ，徐　颂１，２（１．北京航天自动控制研究所，北京１００８５４；２．宇航智能控制技术国家级重点实验室，北京１００８５４）摘　要：ＳＮＮ是更具生物可解释性的新型网络模型。

针对传统ＳＮＮ模型表征能力有限，难以应用于实际任务的问题，对ＳＮＮ处理脑电识别任务进行了研究，提出具有长短期记忆结构的ＳＮＮ模型。

首先采用改进的ＢＳＡ编码算法处理脑电信号；然后构建具有自适应阈值的脉冲神经元模型；在此基础上，基于ＰｙＴｏｒｃｈ框架建立结合ＬＳＴＭ结构的ＳＮＮ模型；最后使用替代梯度的方法克服了脉冲序列不可微分的问题，在保留神经元动态特性的同时基于反向传播方法直接训练ＳＮＮ。

实验结果表明，改进的ＢＳＡ更具灵活性和可靠性，同时，融合ＬＳＴＭ结构的ＳＮＮ模型提高了网络的表征能力，在脑电识别任务中取得了与传统深度学习模型可竞争的精度。

关键词：脉冲神经网络；长短期记忆；ＢＳＡ；自适应阈值；替代梯度中图分类号：ＴＰ３９１ 文献标志码：Ａ 文章编号：１００１ ３６９５（２０２１）０５ ０１８ １３８１ ０６ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０２０．０５．０１２３ＲｅｓｅａｒｃｈａｎｄａｐｐｌｉｃａｔｉｏｎｏｆｓｐｉｋｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋｍｏｄｅｌｂａｓｅｄｏｎＬＳＴＭｓｔｒｕｃｔｕｒｅＷａｎｇＱｉｎｇｈｕａ１，２，ＷａｎｇＬｉｎａ１，２ ，ＸｕＳｏｎｇ１，２（１．ＢｅｉｊｉｎｇＡｅｒｏｓｐａｃｅＡｕｔｏｍａｔｉｃＣｏｎｔｒｏｌＩｎｓｔｉｔｕｔｅ，Ｂｅｉｊｉｎｇ１００８５４，Ｃｈｉｎａ；２．ＮａｔｉｏｎａｌＫｅｙＬａｂｏｒａｔｏｒｙｏｆＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙｏｎＡｅｒｏｓｐａｃｅＩｎｔｅｌｌｉｇｅｎｔＣｏｎｔｒｏｌ，Ｂｅｉｊｉｎｇ１００８５４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：ＳＮＮｉｓａｎｏｖｅｌｂｉｏｌｏｇｉｃａｌｌｙｉｎｔｅｒｐｒｅｔａｂｌｅｎｅｔｗｏｒｋｍｏｄｅｌ．ＩｎｒｅｓｐｏｎｓｅｔｏｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｒａｄｉｔｉｏｎａｌＳＮＮｍｏｄｅｌｓｈａｖｅｉｎａｄｅｑｕａｔｅｒｅｐｒｅｓｅｎｔａｔｉｏｎａｂｉｌｉｔｙａｎｄｃａｎｎｏｔａｐｐｌｙｔｏｐｒａｃｔｉｃａｌｔａｓｋｓ，ｔｈｉｓｐａｐｅｒｓｔｕｄｉｅｄｔｈｅｃａｐａｂｉｌｉｔｙｏｆＳＮＮｔｏｐｒｏｃｅｓｓＥＥＧｒｅｃｏｇｎｉｔｉｏｎｔａｓｋｓａｎｄｄｅｖｅｌｏｐｅｄａＳＮＮｍｏｄｅｌｗｉｔｈｌｏｎｇｓｈｏｒｔ ｔｅｒｍｍｅｍｏｒｙｓｔｒｕｃｔｕｒｅ．Ｆｉｒｓｔｌｙ，ｔｈｉｓｐａｐｅｒａｄｏｐｔｅｄｔｈｅｉｍ ｐｒｏｖｅｄＢＳＡｅｎｃｏｄｉｎｇａｌｇｏｒｉｔｈｍｔｏｐｒｏｃｅｓｓｔｈｅＥＥＧｓｉｇｎａｌｓ．Ｓｅｃｏｎｄｌｙ，ｔｈｉｓｐａｐｅｒｃｏｎｓｔｒｕｃｔｅｄｔｈｅｓｐｉｋｉｎｇｎｅｕｒｏｎｗｉｔｈａｎａｄａｐｔｉｖｅｔｈｒｅｓｈｏｌｄａｎｄｅｓｔａｂｌｉｓｈｅｄｔｈｅＳＮＮｍｏｄｅｌｗｉｔｈＬＳＴＭｓｔｒｕｃｔｕｒｅｕｓｉｎｇｔｈｅＰｙＴｏｒｃｈｆｒａｍｅｗｏｒｋ．Ｆｉｎａｌｌｙ，ｔｈｉｓｐａｐｅｒｕｔｉｌｉｚｅｄｔｈｅｓｕｒｒｏｇａｔｅｇｒａｄｉｅｎｔｍｅｔｈｏｄｔｏｏｖｅｒｃｏｍｅｔｈｅｎｏｎ ｄｉｆｆｅｒｅｎｔｉａｂｌｅｐｒｏｂｌｅｍｏｆｓｐｉｋｅａｃｔｉｖｉｔｙａｎｄｄｉｒｅｃｔｌｙｔｒａｉｎｅｄｔｈｅＳＮＮｂａｓｅｄｏｎｂａｃｋｐｒｏｐａｇａｔｉｏｎｗｈｉｌｅｒｅｔａｉｎｉｎｇｔｈｅｄｙｎａｍｉｃｎａｔｕｒｅｏｆｔｈｅｎｅｕｒｏｎ．ＳｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｉｍｐｒｏｖｅｄＢＳＡｉｓｍｏｒｅｆｌｅｘｉｂｌｅａｎｄｒｅｌｉａｂｌｅ．Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ，ｔｈｅＳＮＮｍｏｄｅｌｗｉｔｈＬＳＴＭｓｔｒｕｃｔｕｒｅｉｍｐｒｏｖｅｓｔｈｅｒｅｐｒｅｓｅｎｔａｔｉｏｎａｂｉｌｉｔｙａｎｄａｃｈｉｅｖｅｓａｎａｃｃｕｒａｃｙｔｈａｔｃａｎｃｏｍｐｅｔｅｗｉｔｈｔｒａｄｉｔｉｏｎａｌｄｅｅｐｌｅａｒｎｉｎｇｍｏｄｅｌｉｎＥＥＧｒｅｃｏｇｎｉｔｉｏｎｔａｓｋｓ．Ｋｅｙｗｏｒｄｓ：ｓｐｉｋｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋ（ＳＮＮ）；ＬＳＴＭ；ＢＳＡ（Ｂｅｎ’ｓｓｐｉｋｅａｌｇｏｒｉｔｈｍ）；ａｄａｐｔｉｖｅｔｈｒｅｓｈｏｌｄ；ｓｕｒｒｏｇａｔｅｇｒａｄｉｅｎｔ０　引言近年来，深度神经网络（ｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋ，ＤＮＮ）在诸如计算机视觉、自然语言处理等领域都取得了巨大的成功［１，２］。

篇一：感官记忆、短期记忆与长期记忆感官记忆、短期记忆与长期记忆让我们来了解“记忆〞究竟是怎么形成的。

一般我们所谓的“记忆〞，其实是神经细胞〔即神经元〕之间的连结形态，根据约翰霍普金斯医学院高登博士描述，记忆是由大脑的三个功能组合而成的：一、感官记忆〔working memory〕：感官记忆的保存时间由数秒至3到5分钟，信息使用过后，很快就会被遗忘。

我想任何人都有过这样的生活经验：当我们翻开簿中记住某个号码，至少到按完所有数字后才会忘掉它；但有时按完号码，对方恰好占线，或是铃声响了太久让你以为打错而想重拨一次，此时不懂得记忆诀窍的你，往往只好再查一次簿上的那个号码了。

最常见到的是别人请你代拨时，你的“忘性〞更是表现得比“记性〞好。

假设我待会请你帮我拨个，号码是87719292。

在你帮我拨了这个后，我又对你说：“嗨！可不可以麻烦你再帮我拨一次刚刚那个号码？〞你会怎么答复我呢？是不是要我把号码再告诉你一次呢？为什么你会忘记几分钟前〔甚至几秒钟前〕才拨出的号码呢？为什么我们会如此快速遗忘这么简单的信息？请不要疑心自己是不是小时候睡觉从床上摔下来把脑袋摔坏了，或是认为自己年事已高，记性不听使唤了。

绝对不是！一般人都会把我刚刚讲的像号码这样的信息，储存在感官记忆中。

而感官记忆在人脑的维持时间最长只有3到5分钟而已。

过了这个时间，不记得这个号码相当正常。

另外再提一点。

你是否注意到感官记忆的容量在5到9之间，也就是说最多可以记住5个到9个数字或词汇。

如果我们将20个东西〔如字母或数字〕分成有意义的7个组块〔chunk〕，我们就可以记住它们；如果没有将它们分组，很难一口气记住这20个东西。

举例来说，如果要运用感官记忆将以下20个字母记住一定非常困难：t、s、x、r、q、n、m、a、f、s、Y、W、e、i、u、e、o、e、u、n。

然而，如果将它们分为几组，foxes、yams、quiet、new、run这5个单词，记起来就不是难事了。

第38卷㊀第6期2020年6月环㊀境㊀工㊀程Environmental EngineeringVol.38㊀No.6Jun.㊀2020基于长短期记忆网络-卷积神经网络(LSTM-CNN )的北京市PM 2.5浓度预测于伸庭1㊀刘㊀萍1,2∗(1.上海交通大学中英国际低碳学院,上海200240;2.上海交通大学环境科学与工程学院,上海200240)摘要:准确预测PM 2.5浓度可以有效避免重污染天气对人体带来的危害㊂现有方法往往重视本地历史信息对PM 2.5浓度预测的影响,而忽略空间传输的作用㊂提出了一种长短期记忆网络和卷积神经网络(LSTM-CNN )相结合的方法,利用历史PM 2.5浓度数据㊁历史气象数据和时间数据,对空气质量监测站未来6h PM 2.5浓度做出预测㊂该模型主要由2部分组成:1)基于长短期记忆网络的时序预测模型,模拟本地因素对PM 2.5浓度预测的影响;2)基于一维卷积神经网络的特征提取模型,模拟周边地区污染物的传输与扩散对PM 2.5浓度预测的影响㊂随机选取了北京市市区及郊区7个监测站在2014-05-01 2015-04-30期间的数据,用于研究和评估LSTM-CNN 模型㊂结果表明:提出的LSTM-CNN 模型相比于LSTM 模型具有更好的预测效果,且对于郊区站点预测效果的改进略优于市区站点㊂关键词:LSTM 网络;CNN 网络;PM 2.5浓度预测;深度学习;时空数据DOI:10.13205/j.hjgc.202006029LONG SHORT-TERM MEMORY-CONVOLUTION NEURAL NETWORK (LSTM-CNN )FOR PREDICTION OF PM 2.5CONCENTRATION IN BEIJINGYU Shen-ting 1,LIU Ping 1,2∗(1.China-UK Low Carbon College,Shanghai Jiao Tong University,Shanghai 200240,China;2.School of Environmental Science and Engineering,Shanghai Jiao Tong University,Shanghai 200240,China)Abstract :The prediction of PM 2.5can effectively prevent people from the harm by heavy pollution.However,the existingmethods often emphasize the influence of local historical information and neglect the effect of spatial transport.In this paper,we proposed a method,called as long-short-term memory-convolutional neural network (LSTM-CNN ),to predict PM 2.5concentration of a specific air quality monitoring station over 6h using historical PM 2.5concentration data,historical weatherdata,and time stamp data.The model consisted of two parts:1)using long-short-term memory networks to model the local variation of PM 2.5concentrations caused by local factors;2)using one-dimensional convolutional neural networks to model thevariation of PM 2.5concentrations caused by spatial transport.We randomly selected 7monitoring stations in urban and ruralareas in Beijing from May 1st 2014to April 30th 2015to conduct the evaluation of LSTM-CNN model.The results showed thatthe proposed LSTM-CNN model could provide a better prediction result than LSTM model,and a better result for monitoringstations in rural areas than those in urban areas.Keywords :LSTM;CNN;prediction of PM 2.5concentration;deep learning;spatiotemporal data㊀㊀㊀㊀㊀㊀㊀㊀收稿日期:2019-09-25基金项目:国家自然科学基金面上项目(41975152)㊂第一作者:于伸庭(1995-),男,硕士,主要研究方向为大数据分析与数据挖掘㊂sjtu_yust@∗通信作者:刘萍(1976-),女,博士,主要研究方向为气溶胶形成机制及空气质量的模拟与预测㊂ping_liu@0㊀引㊀言PM 2.5是指环境空气中空气动力学直径ɤ2.5μm的颗粒,是雾霾形成的主要原因之一㊂此外,PM 2.5能够导致人体肺功能衰退及呼吸系统损伤,严重者甚第6期于伸庭,等:基于长短期记忆网络-卷积神经网络(LSTM-CNN)的北京市PM2.5浓度预测至会死亡[1]㊂据统计,2015年,中国338个地级以上城市中,265个城市环境空气质量超标,空气质量平均超标天数比例为23.3%,超标天数中以细颗粒物(PM2.5)为首要污染物的天数占66.8%[2]㊂因此,对城市地区的PM2.5浓度进行模拟和预报尤为重要㊂目前关于PM2.5及其他空气污染物的预测方法主要有2类:基于空气质量模型和基于数据的方法㊂基于空气质量模型(物理模型与化学机制)的方法主要通过研究雾霾形成的机理,以及污染物的传输和扩散过程,从而达到污染物浓度预测的目的㊂代表性的模型有社区多尺度空气质量模型(CMAQ)[3]㊁嵌套网格空气质量预报模式系统(NAQPMS)[4]㊁区域性气象和化学预报模型(WRF-Chem)[5]㊂空气质量模型全面考虑了影响大气污染物浓度变化的物理和化学过程,但其排放源㊁气象场和理化过程参数等输入数据具有不确定性,模型运算量大,运算时间较长[6]㊂相对于空气质量模型,基于数据的方法具有简单㊁高效且适用性广等特点,通过对历史数据的学习与分析,挖掘数据内在特征,并基于当前的状态对未来给出比较合理的预测[7]㊂其中,常见的模型有自回归滑动平均模型(ARMA)[8]㊁随机森林(RF)[9]㊁支持向量回归(SVR)[10]和人工神经网络(ANN)[11]等㊂虽然以上模型已经应用于污染物浓度的预测中,但这些模型大多不是针对时序问题而设计的,因此近年来越来越多的学者开始研究将循环神经网络(RNN)应用于污染物浓度的预测[12],其中应用最广泛的是长短期记忆网络(LSTM)[13]㊂例如,Huang等[14]将目标监测站过去24h的PM2.5小时浓度和气象数据作为LSTM的输入,预测该站点未来1h的PM2.5浓度,并与6个典型的神经网络模型的预测结果做出比较; Liu等[15]利用一个地区的历史污染物浓度(O3㊁NO2㊁PM2.5)和气象数据,构建LSTM,对该地区未来1,4, 8,12h时的PM2.5浓度做出精细化的预测㊂上述研究对PM2.5浓度的预测有一定的改进,但这些研究往往仅考虑一个站点自身的相关特征,预测该站点未来的污染情况㊂事实上,某一地区未来的PM2.5浓度,除了受本地历史情况的影响,还会受到来自周边区域的污染物传输的影响㊂因此,本文提出一种新型的LSTM-CNN网络(其中,CNN为卷积神经网络),为本地影响因子和空间影响因子共同建模,预测任意监测站未来6h的PM2.5浓度㊂该网络主要基于以下数据训练:1)当前时刻和过去几小时的PM2.5浓度数据;2)当前时刻和过去几小时的气象数据;3)以上数据所对应的时间信息㊂其中数据1)㊁2)来自中心监测站及其空间维度上邻近的监测站(本研究中拟预测的监测站为中心监测站,其周边不同方位距离最近的4个监测站为其空间邻近监测站)㊂1㊀研究数据和方法1.1㊀研究数据本文使用微软亚洲研究院城市大气项目的公开数据集[16-18],并从中选取北京市相关数据用于LSTM-CNN模型的研究㊂其中,北京市数据集共包含来自36个城市监测站的278023条小时级空气质量数据和来自17个区级气象监测站的116867条气象数据㊂其中,空气质量数据包含PM2.5㊁PM10㊁NO2㊁CO㊁O3㊁SO2,气象数据包括天气㊁温度㊁压力㊁湿度㊁风速㊁风向㊂本文从北京市市区和郊区监测站中共随机选取了7个监测站在2014-04-30 2015-05-01期间的数据来评价本研究提出的LSTM-CNN模型,表1为各监测站的名称及其地理信息㊂7个监测站选址随机,且位于北京市不同的行政区,因此7个站点预测的平均水平很大程度上可代表模型在北京市PM2.5浓度预测问题中的整体表现㊂在使用的数据中,对于个别缺失的数据,通过线性插值法㊁前置填补法或后置填补法进行填补㊂表1㊀监测站名称及其地理信息Table1㊀The monitoring stations and theirgeographic information编号监测站名称经度/ʎE纬度/ʎN所属区域S1朝阳农展馆站116.4607439.937119朝阳区S2海淀万柳站116.2874539.987313海淀区S3东城天坛站116.4073639.886491东城区S4京西北八达岭站115.98840.365延庆区S5京东东高村站117.1240.1平谷区S6房山良乡站116.1360539.742767房山区S7京南瑜垡站116.339.52大兴区1.2㊀长短期记忆网络图1为LSTM网络的一个基本细胞单元,图中Ct-1和h t-1是前一时刻细胞的细胞状态和隐藏层状态,x t是当前时刻的输入,C t和h t是更新后的细胞状态(记忆单元)和隐藏层状态,也是后续细胞单元的输入㊂而细胞单元内部的门结构负责对细胞状态和隐藏层状态进行更新,门结构由3部分组成:遗忘门ft㊁输入门i t和输出门O t㊂前一时刻的细胞状态C t-1通过遗忘门遗忘一部分信息,并通过输入门添加一部771环㊀境㊀工㊀程第38卷分信息得到C t ,输出门则负责控制当前时刻的隐藏层输出h t ㊂有别于传统的RNN 直接将h t -1作为历史状态的反映,LSTM 网络通过细胞内部自循环的记忆单元,不断更新网络的隐藏层状态,在实践中证明有更好的时序处理能力及适用性㊂其相应的细胞更新过程为式(1) (6):f t =σ(W f ㊃[h t -1,x t ]+b f )(1)i t =σ(W i ㊃[h t -1,x t ]+b i )(2)C t =tan h (W c ㊃[h t -1,x t ]+b c )(3)C t =f t ˑC t -1+i t ˑC t (4)O t =σ(W o ㊃[h t -1,x t ]+b o )(5)h t =O t ˑtan h (C t )(6)式中:W f ㊁b f ㊁W i ㊁b i ㊁W c ㊁b c ㊁W o ㊁b o 为LSTM 模型的参数,在训练过程中不断进行更新;σ和tan h 为模型隐藏层的激活函数,负责提高模型的非线性表达能力㊂图1㊀LSTM 网络的细胞结构Figure 1㊀The LSTM cell structure1.3㊀一维卷积神经网络一维卷积神经网络常用于处理时序问题,相比于传统ANN,一维卷积神经网络采用卷积核参数的权值共享和层间稀疏连接,可以减少参数数量,避免过拟合,且具有高级特征提取的能力㊂图2为一维卷积神经网络的卷积过程,其中x 1~x 6为时序输入,o 1~o 4为经过卷积操作之后的高级特征,图2中的卷积核由3根连线组成,每一根连线上有对应的权重值,整个网络共享此卷积核㊂图2㊀一维卷积操作过程Figure 2㊀The one-dimensional(1D)convolution operation process1.4㊀LSTM-CNN 网络预测模型LSTM-CNN 网络采用本地信息和空间信息分别建模的方式,主要原因是两种信息对PM 2.5浓度预测有不同影响,本地信息提供本地污染物浓度随时间的变化规律,而空间信息则提供污染物浓度受周边污染物排放和传输而体现的变化规律㊂图3为LSTM-CNN 模型的网络结构㊂其底部x t , ,x t-R是当前时刻和过去R h 测量得到的输入特征,主要包括:1)指定监测站(中心监测站)及其周边监测站的历史污染物浓度数据和区级的历史气象数据;2)中心监测站的时间数据㊂气象数据包括天气(晴天/阴天/多云/大雾等)㊁温度㊁湿度㊁压力㊁风速和风向信息,已有研究证明以上参数和PM 2.5浓度有很强的关联性[19];污染物浓度数据为空气质量监测站的PM 2.5浓度监测值;时间数据为输入数据所对应的工作日/周末信息及一天中的时刻信息㊂其中,为了方便计算机计算,时间数据全部以编码的形式表示,例如,(0,1)为工作日,(1,0)为周末,(0,0,0,1,0, ,0,0)为凌晨3点㊂图3㊀LSTM-CNN 网络结构Figure 3㊀LSTM-CNN network structure首先,将中心监测站历史数据输入到LSTM 网络,利用LSTM 网络较强的时序处理能力,模拟中心监测站的PM 2.5浓度受本地因素影响而体现出的变化趋势,得到PM 2.5浓度的初步预测结果㊂然后将空间邻近监测站的历史信息经过合并后输入到CNN 网络,利用CNN 网络较强的特征提取能力,模拟不同方位的污染物浓度和气象条件对中心监测站PM 2.5浓度的影响,其输出结果与LSTM 网络的初步预测结果871第6期于伸庭,等:基于长短期记忆网络-卷积神经网络(LSTM-CNN)的北京市PM2.5浓度预测共同输入到全连接网络进行微调后,得到最终的中心监测站未来6h PM2.5浓度预测值㊂由于不同站点的PM2.5浓度受当地历史条件及周边地区的影响不同,因此在研究过程中针对每一个监测站分别建立模型㊂LSTM-CNN模型采用修正线性单元(Relu)函数作为激活函数,在提高模型非线性表达能力的同时,有效避免了过拟合的发生;同时,为了加快模型训练速度,增强模型的稳定性,本文在最后的全连接网络后加入了批标准化(batch normalization,BN)层,用于重新调整隐藏层输出数据的分布;此外,本文所研究的PM2.5浓度预测问题属于回归问题,因此使用均方误差(MSE)作为模型的损失函数可以很好地反映模型的预测表现,其表达式见式(7):MSE=1mðm i=1(y^i-y i)2(7)式中:y^i为PM2.5浓度预测值;y i为PM2.5浓度真实值;m为样本总数㊂模型的创新性主要体现在以下2方面:1)利用LSTM网络和CNN网络各自的优点对本地历史信息和空间历史信息分别建模,在实现较好的预测效果的同时可以使模型具有可解释性;2)空间监测站的选取通过方位角和距离2个指标,不同方位分别取点可以保证周边污染信息的详尽,同一方位只选取距离最近的监测站是因为相对其他监测站更具有参考意义,且可以避免同一方位过多的监测站数据而导致模型过拟合㊂为了定量评估模型的表现,本文采用3个评价指标对模型的评估结果进行量化,分别是均方根误差(RMSE)㊁平均绝对误差(MAE)㊁决定系数(R2)㊂其中,RMSE和MAE反映模型预测值与真值之间的误差;R2反映模型预测值与真值之间的相似程度㊂3种评价指标表达式如下:RMSE=1mðm i=1(y^i-y i)2(8)R2=1-ðm i=1(y^i-y i)2ðm i=1( y i-y i)2(9)MAE=1mðm i=1(y^i-y i)(10)式中: y i为样本中PM2.5浓度真实值的均值㊂2㊀结果与讨论图4为LSTM模型和LSTM-CNN模型在S4站点(京西北八达岭站)2015-03-14 18期间的PM2.5浓度6h预测效果,其中周边监测站数量n选定为4个,输入时序长度R为3㊂Ә LSTM预测值; LSTM-CNN预测值;------监测值㊂图4㊀LSTM和LSTM-CNN网络的6h预测结果Figure4㊀Six-hour PM2.5prediction result by LSTM and LSTM-CNN可以发现该站点实际PM2.5浓度值在不断发生变化,全面考虑了本地历史数据的LSTM网络在预测中能捕捉到大多数的变化规律,然而LSTM网络无法捕捉到PM2.5浓度的突然变化(图4中03-16前后)㊂但是添加了空间信息的LSTM-CNN网络在极值点处的预测效果要明显优于前者,能够更好地捕捉到PM2.5浓度突然上升的趋势㊂2种网络的3种评价指标统计如表2所示㊂可知:尽管2个模型都随时间的推移预测精度有所下降㊂但值得注意的是,在各小时的预测结果中, LSTM-CNN网络的预测表现都优于LSTM模型,呈现出更高的预测精度,从6h平均预测水平中也可以发现相同的结果㊂表2㊀不同网络的预测效果评估Table2㊀The prediction performance of differentneural networks时刻/hRMSE/(μg/m3)MAE/(μg/m3)R2LSTM LSTM-CNN LSTM LSTM-CNN LSTM LSTM-CNN t+121.7720.9212.9812.080.840.85t+227.9026.9117.1415.990.740.76t+332.4031.3520.6219.460.640.66t+436.1134.9723.4222.320.530.57t+538.5937.6225.5824.570.450.48t+640.7139.7227.4126.440.340.406h均值32.9131.9121.1920.140.590.62㊀㊀图5为以RMSE为例,采用LSTM模型及LSTM-CNN模型在各个站点的预测表现㊂可知:综合考虑了本地历史因素的LSTM模型在各站点都给出较好971环㊀境㊀工㊀程第38卷的预测结果,RMSE值均在40以下㊂加入空间信息的LSTM-CNN模型的RMSE值在原有基础上进一步下降㊂从各站点的提升率(计算方法见式(11))也可看出:LSTM-CNN网络相对于LSTM网络在预测效果上有2%~4%的提升,表明LSTM-CNN可以有效地捕捉到空间传输对PM2.5浓度变化的影响㊂此外,郊区监测站点(S4 S7)的预测效果提升率略高于市区站点,这主要是因为郊区地势及土地类型相对简单[20],PM2.5排放源与市区相比也较少[21],有利于空间模型的建立㊂相反,市区由于受到较多的PM2.5排放源干扰,以及建筑物对微观气象条件的影响[22]等,空间信息建模的准确性受到影响㊂RMSE提升率=RMSE(LSTM)-RMSE(LSTM-CNN)RMSE(LSTM)ˑ100(11)LSTM;LSTM-CNN; Ң 提升率㊂图5㊀不同网络在各站点的RMSE值及LSTM-CNN网络相对于LSTM网络的提升率Figure5㊀RMSE values of both networks at each station and theimprovement rates(RMSE)of LSTM-CNN over LSTM3㊀结束语本文首先利用LSTM网络和本地历史信息,建立PM2.5浓度的预测模型㊂然后在此基础上,提出了能够结合空间信息的LSTM-CNN网络,对北京市随机选取站点进行了应用和评估㊂从北京市整体的预测情况来看,综合考虑了本地和空间信息的LSTM-CNN网络各小时的预测表现都优于LSTM模型㊂从不同站点的预测情况来看,LSTM网络由于考虑了多种本地的历史信息,所以在各站点都给出较好的预测结果,而将空间传输影响考虑在内的LSTM-CNN网络在此基础上实现了2%~4%的RMSE提升率,且郊区站点由于受到较少的PM2.5排放源及微观气象条件变化等干扰,提升率略高于市区㊂鉴于本研究中站点选取过程随机,且模型所用数据不具有地域特殊性,因此,本研究所提出的模型具有一定的普适性㊂参考文献[1]㊀KIOUMOURTZOGLOU M A,SCHWARTZ J,JAMES P,et al.PM2.5and mortality in207US cities modification by temperatureand city characteristics[J].Epidemiology,2016,27(2):221-227.[2]㊀中华人民共和国环保部.2015中国环境状况公报[Z].北京:[2016-06-01].[3]㊀CHEN J J,LU J,AVISE J C,et al.Seasonal modeling of PM2.5inCalifornia s San Joaquin Valley[J].Atmospheric Environment,2014,92:182-190.[4]㊀WANG Z,MAEDA T,HAYASHI M,et al.A nested air qualityprediction modeling system for urban and regional scales:application for high-ozone episode in Taiwan[J].Water Air&SoilPollution,2001,130(1/2/3/4):391-396.[5]㊀SAIDE P E,CARMICHAEL G R,SPAK S N,et al.Forecastingurban PM10and PM2.5pollution episodes in very stable nocturnalconditions and complex terrain using WRF-Chem CO tracer model[J].Atmospheric Environment,2011,45(16):2769-2780.[6]㊀LI X,PENG L,YAO X J,et al.Long short-term memory neuralnetwork for air pollutant concentration predictions:methoddevelopment and evaluation[J].Environmental Pollution,2017,231(1):997-1004.[7]㊀陈宁,毛善君,李德龙,等.多基站协同训练神经网络的PM2.5预测模型[J].测绘科学,2018,241(7):87-93.[8]㊀BOX G E,JENKINS G M.Time series analysis:forecasting andcontrol rev.ed[J].Journal of Time,1976,31(4):238-242.[9]㊀侯俊雄,李琦,朱亚杰,等.基于随机森林的PM2.5实时预报系统[J].测绘科学,2017,42(1):1-6.[10]㊀GARCÍA NIETO P J,COMBARRO E F,DEL COZ DÍAZ J J,et al.A SVM-based regression model to study the air quality at local scalein Oviedo urban area(Northern Spain):a case study[J].AppliedMathematics&Computation,2013,219(17):8923-8937.[11]㊀HOOYBERGHS J,MENSINK C,DUMONT G,et al.A neuralnetwork forecast for daily average PM10concentrations in Belgium[J].Atmospheric Environment,2005,39(18):3279-3289.[12]㊀YU F,ZHANG W F,SUN D Z,et al.Ozone concentration forecastmethod based on genetic algorithm optimized back propagationneural networks and support vector machine data classification[J].Atmospheric Environment,2011,45(11):1979-1985.[13]㊀ZHAO J C,DENG F,CAI Y Y,et al.Long short-term memory-Fully connected(LSTM-FC)neural network for PM2.5concentration prediction[J].Chemosphere,2019,220:486-492.[14]㊀HUANG C J,KUO P H.A deep CNN-LSTM model for particulatematter(PM2.5)forecasting in smart cities[J].Sensors,2018,18(7):2220-0000.[15]㊀LIU X D,LIU Q,ZOU Y Y,et al.A self-organizing LSTM-basedapproach to PM2.5forecast[C]//International Conference on CloudComputing and Security.ACM,2018.(下转第66页) 081。

均值回归研究新进展摘要均值回归现象在金融市场和其他领域中表现出重要的应用价值。

本文综述了近年来关于均值回归的最新研究进展，涵盖了其在银行业利润、国际市场、股票回报、各国股市及投资策略中的应用。

特别关注了2020年后在金融市场、外汇市场、股票价格和交易量等领域的均值回归研究。

此外，详细探讨了均值回归与神经网络结合的应用案例，包括股票市场预测、外汇市场策略、对冲基金风险管理、供应链需求预测及金融衍生品定价。

研究表明，均值回归结合神经网络在处理高维数据、提升内存效率和增强模型性能方面具有显著优势。

本文总结了这些研究成果，并为未来的研究方向提供了建议。

均值回归现象在金融市场中的应用银行业利润的均值回归研究表明，银行控股公司的利润存在显著的均值回归现象，并且在并购后进行均值回归调整后，其业绩显著高于行业平均水平。

这一现象为银行业绩预测和风险管理提供了有力的支持。

国际市场中的均值回归比较发达市场和新兴市场的均值回归速度和波动性，研究发现新兴市场的均值回归速度较快，而发达市场的波动性较高。

这一发现对于国际投资组合的构建和管理具有重要的参考价值。

股票回报和波动性分析表明，发达市场与新兴市场的年回报和波动性存在显著差异，且均值回归现象在新兴市场中表现更为明显。

这表明投资者在新兴市场中可以更好地利用均值回归现象进行投资策略的制定。

各国股市的均值回归对发达、发展中和新兴市场的股市波动性和均值回归率进行比较，结果显示发展中国家的均值回归速度最快，而新兴市场的均值回归速度最慢。

该研究结果有助于投资者更好地理解不同市场的特性，并制定相应的投资策略。

投资策略的均值回归研究表明，利用均值回归特性的在线投资策略在实际市场数据中表现优异，特别是在交易成本优化的情况下。

这些策略在已知基准数据集上表现尤为突出，为投资者提供了宝贵的策略指导。

最新的均值回归研究进展金融市场中的均值回归采用Hurst模型研究了五个金融市场的均值回归现象，发现其中四个市场存在均值回归。