下载文档原格式
第47卷第6期2021年6月北京工业大学学报JOURNAL OF BEIJING UNIVERSITY OF TECHNOLOGYVol.47No.6Jun.2021面向助老行为识别的三维卷积神经网络设计李秀智1,2,张 冉1,2,贾松敏1(1.北京工业大学信息学部,北京 100124;2.数字社区教育部工程研究中心,北京 100124)摘 要:针对室内老人跌倒问题,提出一种室内人体跌倒行为识别方法.首先,提出基于卷积核分解与分组卷积的轻量化3D 网络;之后融合浅层2D 子网络与轻量化3D 子网络,并采用随机滑动组合采样策略改进3D 卷积行为识别网络.为进一步提高网络泛化性能,对视频帧进行视觉显著性检测,通过加强背景纹理与人物行为之间关联性提高真实场景识别准确度.实验结果表明:该网络参数量为6.9×106,时间复杂度降低至8.04×109;实现算法在室内跌倒行为识别任务上达到81.5%的准确度.关键词:行为识别;跌倒检测;3D 卷积神经网络;视觉显著性;卷积核分解;分组卷积中图分类号:U 461;TP 308文献标志码:A文章编号:0254-0037(2021)06-0589-09doi :10.11936/bjutxb2020040005收稿日期:2020⁃04⁃10基金项目:北京市教育委员会科技计划资助项目(JZ0410********)作者简介:李秀智(1979 ),男,副教授,主要从事智能机器人导航㊁机器视觉方面的研究,E⁃mail:xiuzhi.lee@Design of 3D Convolutional Neural Network for Action Recognitionfor Helping the AgedLI Xiuzhi 1,2,ZHANG Ran 1,2,JIA Songmin 1(1.Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China;2.Engineering Research Center of Digital Community,Ministry of Education,Beijing 100124,China)Abstract :To solve the problem of action recognition in indoor environment,a method for human falling recognition in indoor environment was proposed.First,a lightweight 3D network,which uses grouping convolution and factorization to lighten the network structure for action classification,was proposed.Then 2D subnetworks and lightweight 3D sub⁃networks were fused to improve behavior recognition network based on the 3D convolution.Finally,visual saliency detection was performed on video frames to improvethe accuracy of real scene recognition by enhancing the correlation between background texture and human behavior.Results show that the network’s parameter is reduced to 6.9×106and the floating pointof operations is reduced to 6.9×109.The algorithm achieves 81.5%accuracy in the task of indoor fall behavior recognition.Key words :action recognition;fall detection;3D convolution neural network;visual saliency;factorization of convolution kernal;group convolution 随着我国社会发展和人口老龄化程度不断加快,空巢老人数量呈现明显上升趋势.当独居老人发生摔倒等意外情况时,如何在第一时间实施医疗救助?一种方案是在家中布置大量传感器[1]或身体携带相应传感设备.相比之下,另一种基于视觉的人体行为识别技术,仅使用视频图像流输入就可以分析其中人体行为动作,再将识别出的跌倒等危险动作报警信号通过通信模块发送给亲人㊁护工等,可减少繁冗的传感器使用和携带传感设备[2⁃4]的不便.亲人或护工可通过报警信息与视频监控及时查北 京 工 业 大 学 学 报2021年看老人健康状态,对受到意外伤害的老人及时救助㊁提高老人生活质量㊁减轻老人生活自理压力都具有重要的现实意义.基于视觉的人体行为识别技术中最重要的就是行为识别网络.人体行为识别通常以视频流为数据源,综合考察一个时间序列上的图像信息,继而实现一个完整动作的识别.在深度学习应用于该领域前,Wang 等[5]提出的改进稠密轨迹(improved densetrajectories,iDT)算法是人体行为识别中的经典算法.iDT 算法的前身为稠密轨迹(dense trajectories,DT)算法,其基本思路为利用光流场获取视频序列中的一些轨迹,之后从轨迹中提取出4种特征,最后对特征进行编码,再基于编码结果训练支持向量机(support vector machine,SVM)来完成分类任务.iDT 算法的改进之处在于,它利用前后2帧视频之间的光流以及关键点进行匹配,从而减弱相机运动带来的影响.基于深度学习的行为识别方法中,Simonyan 等[6]首次提出双流卷积神经网络,该网络分为相同结构的空间网络和时序网络.其基本原理为:首先,对视频序列中每2帧计算密集光流,得到密集光流时序序列;然后,对视频图像和密集光流分别图1 室内跌倒行为识别构建框架Fig.1 Indoor falling recognition framework训练神经网络;最后,将结果融合得到最终动作.Feichtenhofer 等[7]在双流网络基础上,利用卷积神经网络进行时序网络和空间网络的融合,进一步提高分类效果.Wang 等[8]提出的时序分割网络(temporal segment networks,TSN)同样是基于双流网络,但不同于双流网络采用单帧或单堆帧,TSN使用整个视频中稀疏采样获得一系列短片段,每个片段都将给出其本身对于行为类别的初步分类,最后融合这些片段结果得到最终分类.另一类基于深度学习的行为识别主流方法为3D 卷积神经网络.Ji 等[9]认为对于基于视频分析的问题2D 卷积神经网络不能很好捕获时序上的信息,因此,提出3D 卷积神经网络.Tran 等[10]在此思想上提出C3D 网络,采用8次卷积操作和4次池化操作,最终经过2次全连接层和Softmax 层后得到最终分类结果.Carreira 等[11]基于Inception⁃V1模型,将2D 卷积扩展到3D 卷积,提出了I3D 模型,但该模型参数量巨大,对硬件要求较高.根据上述问题,本文提出一种实时的室内人体跌倒行为识别方法,基本实现了在室内环境下跌倒及某些日常行为动作行为识别,实验结果证明视觉显著性检测对于室内跌倒行为识别有积极作用.1 实时室内跌倒行为识别构建框架本文所述实时室内跌倒行为识别框架如图1所示.视觉显著性算法可以根据图像将显著性部分与背景纹理部分分割,加强背景纹理与人物行为之间的关联性.基于3D 卷积神经网络的室内跌倒动作识别网络,通过稀疏采样对视频流中人体行为进行分类识别.其中,2D 子网络对视频图像提取低层特征,3D 子网络对2D 子网络的输出进行组合,进一步提取高层特征,最后由输出层输出行为分类结果.2 基于卷积核分解与分组卷积的3D 网络2.1 基于卷积核分解与分组卷积的3D 卷积模块3D 卷积核是视频行为识别中重要的角色.3D95 第6期李秀智,等:面向助老行为识别的三维卷积神经网络设计卷积核相较于2D 卷积核多了时序维度上的卷积,这使3D 卷积具备提取时序维度特征的能力,可以使得3D 卷积神经网络更好地捕捉视频流的运动信息,有利于视频中人体的行为识别.图2 3D 卷积核分解与分组卷积Fig.2 3D grouping convolution and factorization图3 基于分组卷积与卷积核分解的3D 卷积模块Fig.3 3D convolution unit based on grouping convolution and factorization3D 卷积操作如图2中(a)所示.传统3D 卷积核将空间信息与时序信息一起卷积不易进行优化,于是本文采用卷积核分解[12]将t ×d ×d 卷积核分解为1×d ×d 与t ×1×1,如图2中(b)所示.t 为3D 卷积核中时空维度卷积参数,d 为3D 卷积核中空间卷积参数.时空分解后的2个卷积核分别对应处理视频图像序列的空间信息与时序信息.通过时空分解3D 卷积核,分离了空间信息与时序信息,增加了网络的非线性表达能力,易于网络优化.同时,为了保留分解后的卷积核与原3D 卷积核的表达能力,通过超参数M i 调节时空信息间的子空间数,使分解后的卷积核参数与原3D 卷积核参数保持一致.图2(a)中原3D 卷积核参数量等于图2(b)中时空分解后的2层卷积核参数,即N i -1td 2N i =N i -1d 2M i +M i tN i(1)式中:N i -1为输入通道;N i 为输出通道.超参数M i 为M i [=td 2N i -1N i d 2N i -1+tN ]i(2)分组卷积能降低网络的时间复杂度,大幅降低训练参数量且不易过拟合.如图2中(c)所示,将输入通道N i -1分为G 个组,每组分别进行卷积操作.图2(b)中时空分解后3D 卷积核参数量N 的计算式为N =N i -1d 2M i +M i tN i(3)图2(c)中分组时空分解后3D 卷积核参数量为未分组前的1/G ,(计算公式为N i -1Gd 2M i G +M i G t N i)GG =N i -1d 2M i +M i tN iG(4)本文采用残差模块作为基础结构,融合卷积核分解与分组卷积,提出基于分组卷积与卷积核分解的3D 卷积模块,如图3所示.基于分组卷积与卷积核分解的3D 卷积模块分为Conv a 与Conv b.Conv a 模块功能为通过1×1×1卷积改变通道数量,实现升维,Conv b 模块不改变通道维度.由于使用分组卷积,通道间信息交换减少,所以采用Multiplexer 模块弥补通道间的信息交换.该模块为一个2层1×1×1的卷积,第1个1×1×1的卷积会将通道数量降低到1/k ,第2个1×1×1的卷积再升维至输出通道数,因此,该模块的时间复杂度是一层1×1×1卷积的2/k ,具体计算公式为N i -1lhwN i -1k +N i -1klhwN i -1=2k N i -1lhwN i -1(5)式中l ㊁h ㊁w 分别为特征图的时间维度长度和空间维195北 京 工 业 大 学 学 报2021年度的高与宽.2.2 基于分组卷积与卷积核分解的3D 卷积神经网络结构本文将2.1节设计的3D 卷积模块扩展为基于分组卷积与卷积核分解的3D 卷积神经网络.本文网络结构设计参考了ResNet⁃34的网络结构.因为 将2D 子网络的输出作为3D 子网络的输入,所以选取了中高层网络结构,舍弃了前几层低维卷积层,即从Conv 3a 开始;同时,修改了一些通道数量,卷积层后均有批量归一化(batch normalization,BN)层及线性修正单元(rectified linear unit,Relu).具体3D 网路结构如图4所示.图4 基于分组卷积与卷积核分解的3D 卷积神经网络结构Fig.4 3D Convolution neural network architecture based on grouping convolution and factorization 3D 子网络输入为2D 子网络输出的特征图组合,大小为96×16×28×28;Conv 3a 将通道数扩展到192,并通过时序维度卷积步长设置为2,将特征图输出大小压缩为192×8×28×28;之后通过3个Conv b 模块,进入Conv 4a 模块,将通道数扩展到354,并通过空间维度步长设置为2,将特征图输出大小压缩为354×8×14×14;之后通过5个Conv 4b 模块,进入Conv 5a 模块,将通道数扩展为768,同样通过空间维度步长设置为2,将特征图输出大小压缩为768×8×7×7;最后连接平均池化层和全连接层输出最终预测动作结果.分组卷积设置的组数G 为16,即将各模块输出通道数平均分为16组.网络细节见表1.表1 基于分组卷积与卷积核分解的3D 卷积神经网络结构Table 1 3D convolution neural network architecture basedon grouping convolution and factorization卷积层数量通道数输出步长Conv 3a 119216×28×28[2,1,1]Conv 3b 31928×28×28[1,1,1]Conv 4a 13548×14×14[1,2,2]Conv 4b 53548×14×14[1,1,1]Conv 5a 17688×7×7[1,2,2]Conv 5b27688×7×7[1,1,1]全局平均池化1×1×13 基于3D 卷积的行为识别网络3.1 视频采样不同于单张图片㊁视频序列中的连续图像,因为背景相同,所以具有连续性与冗余性.因此,在使用视频序列进行训练时,为了避免图形处理器(graphics processing unit,GPU)资源浪费,提高模型训练效率,将训练集视频序列平均分为N 段,再将每段中随机提取的一帧作为模型训练输入 这样的稀疏随机采样策略在减少冗余信息的同时还可以在训练中引入更复杂的多样性,从而提高模型的泛化能力.在实际应用环境中,由于视频序列是源源不断的,可以采用随机滑动组合采样算法识别当前行为动作.如图5所示,网络模型推断时,设置可以容纳N 帧的滑动组合组作为行为识别网络的输入.为了保持视频序列的时间上下文信息,同时设置历史记忆组与新视频流组.历史记忆组与新视频流组以5∶5的比例组成滑动组合组.当视频流开始时,滑动组合组稠密采集N 帧输入网路,同时通过稀疏采样收集到N /2帧存入新视频流组,将新视频流组中的N /2帧替换掉原滑动组合组中的一半.此时生成的N 帧为新滑动组合组,而原滑动组合组此时称为历史记忆组.每次预测时,从2组视频中各采样一半来更新滑动组合组,并将其作为网络模型的输入,预测出当前的行为动作结果.将当前的预测结果和平均预测结果进行平均后得到最终的输出.3.2 2D 与3D 网络融合虽然3D 卷积神经网络完全可以胜任行为识别任务,但尽管使用网络模型压缩技术令3D 网络时295 第6期李秀智,等:面向助老行为识别的三维卷积神经网络设计图5 随机滑动组合采样算法Fig.5 Random sliding combined sampling间复杂度与参数量大幅减少,3D 网络与2D 网络相比依然不是同一个量级的网络.因此,采用2D 加3D 的网络结构更加轻量且2D 网络与3D 网络结合并不会降低网络行为识别精度[13],同时在视频的高层语义抽象层捕获视频的时间动态信息要优于在视频的底层像素级捕获视频的时间动态信息.因此,本文采用底层2D 网络加顶层3D 网络结构在行为识别准确性与网络结构方面是最优选择.图6 2D 子网络结构Fig.6 2D subnetwork architecture本文采用的2D 子网络结构如图6所示,网络为GoogleNetV2中前半部分(从输入层到inception⁃3c 层).每个卷积层后都有BN 层和Relu 激活层.在2D 转化为3D 时,本文将16张连续视频帧经过2D 网络生成的96×28×28大小的特征图堆叠在一起,形成大小为16×96×28×28的特征图组,生成96×16×28×28的3D 网络输入,即96个通道的时间维度为16,空间维度为28×28的3D 特征图,如图1中2D 子网络至3D 子网络结构.3.3 基于3D 卷积的行为识别网络训练行为识别任务中UCF101数据集[14]有大量来自网络的视频片段,每个视频包含一个完整动作.本文选取UCF101数据集作为预训练数据集,之后使用训练好的预训练模型在室内跌倒数据集上微调,实现识别室内人体行为的任务.针对室内环境,Auvinet 等[15]建立了多摄像头室内跌倒数据集,该数据集由天花板上处于各个不同位置的摄像机所采集到的图像序列组成,如图7所示.图7 室内跌倒数据集Fig.7 Indoor fall dataset395北 京 工 业 大 学 学 报2021年数据集中,以单人演绎24个场景为基础,将人体动作分为8个类别,分别为行走或站立㊁摔倒㊁躺倒在地㊁蹲伏㊁向上移动㊁向下移动㊁坐以及躺在沙发上.之后按照5∶1的比例将数据集分为训练集与测试集,分别按照格式编辑训练集与测试集的训练文件.训练集共113751帧,测试集共47068帧.本文在配有Intel i7⁃6700CPU@ 3.40GHz㊁16GB内存的GTX1070GPU和操作系统Ubuntu16.04 LTS的电脑上进行训练和测试,深度学习框架选择Caffe,开发语言是Python.首先将UCF101数据集进行剪切并编辑真值文件,网络输入首先减去像素均值并剪裁为224×224,之后使用标准随机梯度下降的方法.学习率设置为0.001,动量为0.9,权重衰减为0.00050进行训练优化时,每经过5000次迭代,将学习率降低0.1,经过2万次迭代得到预训练模型.之后在预训练模型上使用同样优化参数,每经过3000次迭代,将学习率降低0.1.经过1万次迭代得到最终室内人体行为识别模型.4摇基于视觉显著性检测的特征帧分析在室内人体行为识别网络的真实场景应用中,由于每个应用环境都不一样,为确保网络模型的泛化性能,本文使用视觉显著性检测作为行为识别的前端处理,提取出对行为识别准确度有益的显著性特征.因此,选取Wang等[16]提出的基于全卷积神经网络的视频显著性检测模型.该模型通过全卷积神经网络分别构造出2个模块:静态显著性网络与动态显著性网络.静态显著性网络通过图片的训练产生显著性检测结果,而动态显著性网络会根据时序特征,判断出动态的显著性检测结果.视觉显著性检测效果如图8所示.可以看出,显著性检测图相较于原始RGB视频帧,摒弃掉很多图像信息,仅展示图像中某些显著性纹理,并且由灰度图形式输出.同时,静态显著性检测图与动态显著性检测图相比,拥有更多环境纹理信息,而动态显著性检测图更关注于动态物体和显著性较大的物体.因此,可以认为静态显著性检测图是包含背景纹理信息与人物行为信息且不包含颜色信息的特征图;动态显著性检测图是不包含背景纹理仅包含人物行为信息且不包含颜色信息的特征图.同时,为证明视频帧中颜色信息对行为识别是否有益,设计出2种基于视觉显著性的视频帧处理算法与原RGB视频帧对比.第1种算法为图像融合:将原视频帧分别与静态视觉显著性检测图和动图8 显著性检测图与原始视频帧Fig.8 Saliency image and original image态视觉显著性检测图线性融合.由于视觉显著性检测具有提取显著性物体的性质,此种做法将原RGB 视频帧中显著性物体与背景纹理对比度加强但保留图像中RGB信息.第2种算法为图像加权:将显著性检测图像作为原RGB视频帧的权值,选择只将显著性物体还原颜色特征.具体2种算法效果如图9所示.图9 基于视觉显著性的图像加权与图像融合Fig.9 Merge image&weighted image base on saliency image495 第6期李秀智,等:面向助老行为识别的三维卷积神经网络设计5 实验结果与分析5.1 行为识别网络时间复杂度与参数量计算网络时间复杂度和参数量决定了网络训练/预测时间以及网络的模型大小.如果复杂度过高,则会导致模型训练和预测耗费大量时间,无法做到快速预测,很难适应实时性强的应用场景.同时,若模型量级巨大,则在终端部署时,会浪费大量空间,导致成本增加.为验证基于3D卷积的行为识别网络的性能,本文计算了网络的时间复杂度与参数量并与当前领域内效果优秀的网络进行对比.参数量与时间复杂度计算公式分别为Params=K d K h K w C in C out(7)FLOPs=K d K h K w DWHC in C out(8)式中:K h K w为卷积核大小;C in为输入通道数;C out为输出通道数;D㊁W和H分别为输出特征图的深度㊁宽和高,与当前主流网络对比结果如表2所示.表2 时间复杂度与参数量对比结果Table2 Comprison results of FLOPs and parameter 网络名称Params FLOPs Two⁃Stream[6]1.2×107C3D[10]3.9×1010 Res3D[17]1.9×1010I3D⁃RGB[11]1.2×1071.1×1011S3D[13]8.8×1066.6×1010R(2+1)D⁃RGB[12]6.4×1071.5×1011本文6.9×1068.0×109 本文提出的基于3D卷积的行为识别网络参数量低于Params与FLOPs最大的R(2+1)D⁃RGB网格1个量级且FLOPs低于2个量级.可以看出,本文提出的基于3D卷积的行为识别网络Params与FLOPs均为最低,说明在网络模型中可以更快速地预测出结果,并且由于参数量少,模型更加精致,易于部署.5.2 实时室内跌倒行为识别实验为验证基于3D卷积的行为识别网络的行为识别准确率,本文采用测试集回灌与实际场景测试2种验证方式.基于3D卷积的行为识别网络回灌测试集采用跌倒数据集中的测试集;实际场景为实验室录制的模拟视频.UCF101[14]是一个人类动作视频数据,是从YouTube上剪辑的101类真实世界中的不同种类人类动作视频.表3为以基于3D卷积的行为识别网络在UFC101数据集和跌倒测试集的准确率,分别与当前主流行为识别网络进行对比.表3 基于3D卷积的行为识别网络准确率(测试集) Table3 Precision of action recognition networks based on 3D convolution network architecture(text set)% 网络名称UCF101[19]跌倒数据集[13] Two⁃Stream[6]88.065.3C3D[10]82.353.3 Res3D[17]85.857.8I3D⁃RGB[11]95.681.6S3D[13]96.884.3R(2+1)D⁃RGB[12]96.883.9本文91.381.5 根据表3实验结果,在UCF101数据集与跌倒数据集中本文提出的网络准确率分别为91.3%和81.5%,略低于当前主流3D网络,高于双流网络及C3D㊁Res3D网络.尽管准确率略低几个百分点,但是本文的Params及FLOPs远小于以上网络,在实际部署应用中更加有利.实验室模拟视频为10段不同摔倒动作的模拟视频,摔倒动作分为2次向前摔倒(FF1&FF2)㊁向后摔倒(BF)㊁失去平衡侧摔(LF)以及坐时摔倒(SF);每组动作有2个摄像头视角录制.图10展示了SF的一组行为识别结果,第1排左起分别为行走㊁向下移动和摔倒;第2排左起分别为躺在地上㊁向上移动和蹲伏.图10 实时室内跌倒行为识别实验结果Fig.10 Experimental results of real⁃time indoorfalling recognition图10表明基于3D卷积的行为识别网络能较好地识别出相应的动作,经过统计得出实际场景模拟测试集的准确率如表4所示.从表4中可以看出,实际场景测试结果不如测试集回灌效果,这是由于背景环境以及光线等引起,说明实际场景中还需针对不同环境做出优化,才能595北 京 工 业 大 学 学 报2021年增加模型的行为识别准确度.表4 基于3D 卷积的行为识别网络准确率(实际场景)Table 4 Precision of action recognition networks based on3D convolution network architecture (real )% 实际场景准确率向前摔倒68.3向后摔倒52.5失去平衡侧摔70.5坐时摔倒66.35.3 视觉显著性检测特征帧实验基于5.2节可以看出在实际场景中面临的问题.为了验证视觉显著性检测特征帧对基于3D 卷积的行为识别网络的影响,本实验根据2种基于视觉显著性的视频帧处理算法,设置不同融合比例以寻找最适合实际场景的算法及比例.显著性图像融合图中将显著性检测图与原RGB 图按照不同比例进行融合;显著性图像加权图中将按灰度阈值进行加权融合.静态显著性图像比例融合及阈值加权实验结果如表5所示.由此可以看出,图像融合图与图像加权图以2种方式补充了颜色与背景纹理信息.表5 静态显著性图像比例融合与阈值加权图Table 5 Static saliency merge image in proportion &weightedimage5.4 实时室内跌倒行为识别实验为了验证视觉显著性视频帧处理的可靠性,本文将4.3节处理的视觉显著性视频帧作为网络输入.以跌倒动作为例,显著性图像阈值加权实验结果与显著性图像比例融合实验结果如图11所示.图11 视觉显著性检测特征帧行为识别实验结果Fig.11 Action recognition experimental results of featureframes in visual saliency detection由结果可知:RGB 视频帧输入仅识别出一次跌倒动作;视觉显著性融合算法提升了原算法的跌倒识别准确率,其中视觉显著性检测帧与原RGB 帧按照9∶1比例融合效果最好,识别出9次跌倒动作,如图12所示,图中左上角黄色为识别出的跌倒动作 Fall”;视觉显著性加权算法针对行为识别任务没有积极作用,针对跌倒动作均无有效识别.图12 视觉显著性检测9∶1融合行为识别实验结果Fig.12 Action recognition experimental results of visualsaliency merge image detection in proportion 9∶16 结论1)提出了一个基于3D 卷积神经网络的室内实时行为识别网络.设计并实现了基于分组卷积与卷积核分解的3D 网络,精简了网络结构,使网络参数量及时间复杂度显著降低,Params 减少到6.9×106,FLOPs 减少到8.04×109.695 第6期李秀智,等:面向助老行为识别的三维卷积神经网络设计2)根据基于分组卷积与卷积核分解的3D网络进一步融合2D网络,提出基于3D神经网络的行为识别网络并且为加快模型推断速度提出随机滑动组合采样算法,网络性能针对跌倒测试集可达到81.5%的准确率.3)根据视觉显著性检测模型提出视觉显著性检测融合与视觉显著性检测加权2种算法,其中视觉显著性检测融合算法按照9∶1比例效果最好.根据2种算法结果可以推断出本文行为识别网络对颜色信息不敏感,但背景纹理信息对于行为识别有积极作用.参考文献:[1]何颖,黄艳,王腾,等.社区独居老人智能监控系统的手环设计[J].数字技术应用,2019,37(10):163⁃164,166.HE Y,HUANG Y,WANG T,et al.Bracelet design of intelligent monitoring system for the elderly living alone in the community[J].Digital Technology&Application, 2019,37(10):163⁃164,166.(in Chinese) [2]裴利然,姜萍萍,颜国正.基于支持向量机的跌倒检测算法研究[J].光学精密工程,2017,25(1):182⁃187. PEI L R,JIANG P P,YAN G Z.Research on fall detection algorithm based on support vector machine[J]. Optics and Precision Engineering,2017,25(1):182⁃187.(in Chinese)[3]米晓萍,李雪梅.基于物联网智能的独居老人自动监控方法研究[J].计算机仿真,2014,31(2):378⁃381. MI X P,LI X M.Old people who live alone automatic monitoring method based on IoT intelligence research[J]. Computer Simulation,2014,31(2):378⁃381.(in Chinese)[4]张国梁,贾松敏,张祥银,等.采用自适应变异粒子群优化SVM的行为识别[J].光学精密工程,2017,25 (6):1669⁃1678.ZHANG G L,JIA S M,ZHANG X Y,et al.Adaptive mu⁃tation particle swarm optimization for SVM behavior recognition[J].Optics and Precision Engineering,2017, 25(6):1669⁃1678.(in Chinese)[5]WANG H,CORDELIA S.Action recognition with improved trajectories[C]∥IEEE International Conference on Computer Vision.Piscataway:IEEE,2013:3551⁃3558.[6]SIMONYAN K,ZISSERMAN A.Two⁃stream convolutional networks for action recognition in videos[J].Advances in Neural Information Processing Systems,2014,27:568⁃576[7]FEICHTENHOFER C,PINZ A,ZISSERMAN A. Convolutional two⁃stream network fusion for video action recognition[C]∥2016IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2016: 1933⁃1941.[8]WANG L,XIONG Y,WANG Z,et al.Temporal segment networks:towards good practices for deep action recognition[C]∥European Conference on Computer Vision.Berlin:Springer,2016:20⁃36.[9]JI S,XU W,YANG M,et al.3D convolutional neural networks for human action recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013,35(1):221⁃231.[10]TRAN D,BOURDEV L,FERGUS R,et al.Learningspatiotemporal features with3d convolutional networks[C]∥2015IEEE International Conference on ComputerVision.Piscataway:IEEE,2015:4489⁃4497. [11]CARREIRA J,ZISSERMAN A,QUO V.Actionrecognition?a new model and the kinetics dataset[C]∥2017IEEE Conference on Computer Vision and PatternRecognition.Piscataway:IEEE,2017:4724⁃4733.[12]TRAN D,WANG H,TORRESANI L,et al.A closerlook at spatiotemporal convolutions for action recognition[C]∥2018IEEE/CVF Conference on Computer Visionand Pattern Recognition.Piscataway:IEEE,2018:6450⁃6459.[13]XIE S,SUN C,HUANG J,et al.Rethinkingspatiotemporal feature learning:speed⁃accuracy trade⁃offsin video classification[C]∥European Conference onComputer Vision.Berlin:Springer,2018:305⁃321.[14]SOOMRO K,ZAMIR A R,SHAH M.UCF101:adataset of101human actions classes from videos in thewild[J/OL].[2012⁃01⁃03].https:∥/abs/1212.0402.[15]AUVINET E,ROUGIER C,MEUNIER J,et al.Multiple cameras fall dataset[R].Montreal:DIROUniversitéde Montréal,2010.[16]WANG W,SHEN J,SHAO L.Video salient objectdetection via fully convolutional networks[J].IEEETransactions on Image Processing,2017,27(1):38⁃49.[17]TRAN D,RAY J,SHOU Z,et al.Convnet architecturesearch for spatiotemporal feature learning[J/OL].[2017⁃08⁃16].https:∥/abs/1708.05038.(责任编辑 梁 洁)795。
基于BP神经网络的阿尔茨海默病预测模型研究
骆文;刘育青;劳钰钞;陆丽明;刘秀峰
【期刊名称】《中华医学图书情报杂志》
【年(卷),期】2022(31)1
【摘要】目的:基于阿尔茨海默病患者的日常认知自我报告清单,利用BP神经网络模型构建阿尔茨海默病不同病程的预测分类器,并评估预测分类器的性能。
方法:纳入ADNI-GO、ADNI-2、ADNI-3等3个计划阶段的参与者日常认知自我报告清单数据。
以7:3的比例划分训练集和测试集,以网格搜索方法设置十折交叉验证确定最佳BP神经网络参数,测试集用于评估模型的泛化能力。
结果:ADNI-GO和ADNI-2阶段的模型分类准确率达到90%,而ADNI-3阶段的准确率最低,不到80%,且ADNI-3模型的泛化能力低,存在过拟合问题。
结论:利用患者当前日常认知自我报告清单可以准确预测分类患者的病程阶段,有利于患者尽快进一步检查或治疗,具有一定的临床价值。
【总页数】6页(P32-37)
【作者】骆文;刘育青;劳钰钞;陆丽明;刘秀峰
【作者单位】广州中医药大学医学信息工程学院;广州中医药大学针灸康复临床医学院
【正文语种】中文
【中图分类】TP183;R749.16
【相关文献】
1.基于BP神经网络的多联机实时能耗预测模型研究
2.基于BP神经网络的合成纤维土价格预测模型研究
3.基于BP神经网络算法的成绩预测模型研究
4.基于GA-BP神经网络的重庆市生活垃圾量预测模型研究
5.基于WOA-BP神经网络的超低温冻土抗压强度预测模型研究
因版权原因，仅展示原文概要，查看原文内容请购买。
融合图像和指标的阿尔茨海默病多分类诊断模型作者：鉏家欢潘乔来源：《智能计算机与应用》2019年第04期摘要：随着人工智能的发展，计算机辅助诊断在阿尔茨海默病诊断中扮演着越来越重要的角色。
本文提出了一种融合图像和指标的新型多分类诊断模型，充分挖掘TOP-MRI图像和临床指标特征用于阿尔茨海默病的多分类诊断。
首先，构建由3个VGGNet-16卷积神经网络和1个单隐层网络组成的TOP-CNN-NN模型提取大脑TOP-MRI图像特征向量，利用CfsSubsetEval评估器来筛选临床指标组成指标特征向量;然后，采用典型相关分析（CCA）方法将图像特征向量和指标特征向量进行线性融合;最后，将融合特征向量输入多分类分类器来区分阿尔茨海默病的3个阶段，包括正常（CN）、轻度认知障碍（MCI）和阿尔茨海默病（AD）。
通过ADNI公开数据集证明，本文提出方法在阿尔茨海默病多分类诊断上的正确率可达到86.7%，有较好的性能表现。
关键词：阿尔茨海默病;卷积神经网络;典型相关分析;核磁共振图像;生物标志物文章编号：2095-2163（2019）04-0006-07;中图分类号：TP391;文献标志码：A0 引言阿尔茨海默病（Alzheimer’s disease， AD），又称老年性痴呆。
是一种神经系统退行性疾病，其特点是认知能力下降，不可逆转的影响全部认知功能，最后导致日常活动严重受损和过早死亡[1]。
目前，全球约有5.0×107例AD患者。
仅2018年一年，预计有1.0×107例AD患者，每3秒将新增一名患者。
约8%的65岁及以上老年人，35%的85岁及以上老年人受困于AD。
临床上主要将AD分为3个阶段：正常（CN）、轻度认知障碍（MCI）和阿尔茨海默病（AD）。
MCI是AD的前期表现，是从CN到AD的过渡状态。
医学上目前尚未发现AD的发病成因，也没有找到准确诊断的有效方法。
随着人工智能的发展，计算机辅助诊断在AD诊断中扮演着越来越重要的角色。
阿尔茨海默病研究的常用细胞模型
阿尔茨海默病是一种神经退行性疾病，其主要病理特征是神经元的死亡和脑组织中β-淀粉样蛋白的沉积。
为了研究阿尔茨海默病的发病机制和寻找治疗方法，科学家们常常使用细胞模型进行研究。
下面介绍几种常用的细胞模型。
1. SH-SY5Y细胞
SH-SY5Y细胞是一种人类神经母细胞瘤细胞系，具有神经元样特征。
这种细胞模型广泛应用于神经退行性疾病的研究中，包括阿尔茨海默病。
研究表明，SH-SY5Y细胞可以表达阿尔茨海默病相关的蛋白质，如β-淀粉样蛋白和Tau蛋白。
此外，SH-SY5Y细胞也可以用于研究阿尔茨海默病的药物筛选。
2. iPSC细胞
iPSC细胞是一种人工诱导多能干细胞，可以从成年人体细胞中通过基因重编程获得。
这种细胞模型可以用于研究阿尔茨海默病的发病机制和药物筛选。
研究表明，iPSC细胞可以分化为神经元样细胞，并表达阿尔茨海默病相关的蛋白质，如β-淀粉样蛋白和Tau蛋白。
此外，iPSC细胞还可以用于研究阿尔茨海默病的遗传因素。
3. 小鼠神经元细胞
小鼠神经元细胞是一种来源于小鼠的神经元细胞，可以用于研究阿尔茨海默病的发病机制和药物筛选。
研究表明，小鼠神经元细胞可以表达阿尔茨海默病相关的蛋白质，如β-淀粉样蛋白和Tau蛋白。
此外，小鼠神经元细胞还可以用于研究阿尔茨海默病的神经元死亡机制。
总之，以上几种细胞模型都可以用于研究阿尔茨海默病的发病机制和药物筛选。
不同的细胞模型具有不同的优缺点，科学家们需要根据具体研究需求选择合适的细胞模型。
图像识别技术在神经讯息轨道判断中阿尔茨海默氏症辅助诊断评估模型构建随着人口老龄化的加剧，神经系统疾病的发病率也呈现上升的趋势。
其中，阿尔茨海默氏症是一种常见的神经系统退行性疾病，其特点是逐渐损害大脑的认知功能，导致记忆力下降、思维能力减弱等症状。
早期诊断阿尔茨海默氏症对于提供及时干预和治疗至关重要，因此，基于图像识别技术的辅助诊断评估模型构建成为当前研究的热点。
神经讯息轨道是指神经元之间传递信息的途径，对于判断神经系统疾病的影响起着重要作用。
在阿尔茨海默氏症的诊断中，能否准确判断图像中的神经讯息轨道变化，对于早期的辅助诊断至关重要。
然而，由于大脑神经结构复杂性的限制，目前仍缺乏一种传统的手工设计算法来准确判断图像中神经讯息轨道的变化情况。
为了解决这个问题，研究人员开始采用图像识别技术来辅助判断。
首先，为了构建一个准确的辅助诊断评估模型，我们需要大量神经讯息轨道的图像数据。
这些数据可以通过医疗设备如MRI (Magnetic Resonance Imaging)、PET (Positron Emission Tomography)等进行获取。
通过这些设备获取的图像可以清晰地显示大脑神经讯息轨道的结构和特征。
其次，我们需要使用计算机视觉领域的图像识别技术来处理和分析这些图像。
常用的图像识别技术包括卷积神经网络 (ConvolutionalNeural Network, CNN)、深度学习等。
这些技术通过对图像进行特征提取和分类，可以帮助我们准确判断图像中神经讯息轨道的变化。
在模型构建过程中，我们首先需要对获取的大脑图像进行图像预处理。
这包括图像的降噪、图像增强等处理步骤，以提高后续的图像识别准确性。
接着，我们使用图像识别技术中的卷积神经网络对预处理后的图像进行特征提取和分类。
通过训练这个网络，我们可以得到一个可以识别神经讯息轨道的模型。
为了评估模型的性能，我们需要采集一批已经确诊为阿尔茨海默氏症患者和健康人的图像数据作为测试数据集。
老年痴呆模型(AD)制作因AD病因复杂，故相应的也缺乏严格意义的AD体内外模型，现在国内外大部分体内、外实验只能反映AD某一部分的改变，因而不应称为AD模型。
近年来许多学者正致力于寻找和研究AD动物模型，对AD模型报道也较多，虽然分类各有不同，但大致可分为以下几类（一）胆碱能损伤致痴呆模型1．穹窿-海马伞切断致痴呆大鼠模型该模型是建立在AD认知障碍的胆碱能假说基础上，较好地模拟了AD前脑胆碱能系统的损害，而且造成了神经损伤，可用于观察拟胆碱药物的药效学评价，还可观察药物对神经功能损伤的修复作用，是老年性痴呆临床前药效学研究的重要模型。
2．基底前脑注射鹅蒿蕈氨酸（ibotenic acid ,IBO）致痴呆模型大鼠该模型属兴奋性毒素致基底核损害模型。
通过该模型可反映导致学习记忆功能下降的病理基础-基底前脑胆碱能神经元缺失，因而也是广泛应用的模型。
该类模型的缺陷是不能反映AD发生的病因，不能产生AD的病理学特征，因此不如IBO应用广泛。
3．东莨菪碱致胆碱能损伤拟痴呆小鼠东莨菪碱为M胆碱能受体阻断剂，可阻断乙酰胆碱对M受体的激动作用，造成了学习记忆功能障碍。
但是该模型不直接引起胆碱能神经缺失，而且缺乏研究AD病理生理所必需的特征，如AD是一种进行性不可逆变性，而该模型为化学性模型，恢复快是其局限性，可用于早期药物的筛选。
（二）老化致痴呆模型1．自然衰老动物较常用的是自然衰老大鼠，24月龄以上，另外也有采用老年狗或猴者，该模型是较为接近AD实际病理改变的动物模型，在此基础上观察老年性痴呆治疗药物能较好地反映药物的作用机理和效果。
2．快速老化小鼠（SAM）快速老化小鼠分为快速老化亚系（senescence accelerated mouse/prone,SAM-P）及抗快速老化亚系（senescence accelerated mouse/resistance,SAM-R），它是由日本京都大学首次培育成功，经20多代交配近繁，获得了遗传性与病理表型一致，符合近交系标准的新系列。
基于生物大数据的老年性痴呆早期预警模型老年性痴呆，又称阿尔茨海默病（Alzheimer's disease，AD），是一种起病隐匿、进行性发展的神经系统退行性疾病。
随着全球老龄化的加剧，老年性痴呆的发病率逐年上升，给家庭和社会带来了沉重的负担。
早期诊断和干预对于延缓疾病进展、提高患者生活质量至关重要。
近年来，生物大数据的快速发展为老年性痴呆的早期预警提供了新的思路和方法。
生物大数据是指通过高通量技术获取的大规模生物信息数据，包括基因组学、转录组学、蛋白质组学、代谢组学等多个层面的数据。
这些数据具有海量、多维、复杂等特点，为深入研究老年性痴呆的发病机制和建立早期预警模型提供了丰富的资源。
在老年性痴呆的研究中，基因组学数据发挥着重要作用。
全基因组关联研究（GenomeWide Association Studies，GWAS）已经发现了多个与老年性痴呆相关的基因位点，如 APOE 基因。
通过对大量样本的基因测序和分析，可以挖掘出更多潜在的致病基因和遗传变异，为早期预警模型提供基因层面的标志物。
转录组学数据能够反映基因的表达水平。
研究发现，老年性痴呆患者的大脑中存在许多基因的表达异常。
例如，与神经炎症、突触可塑性和能量代谢相关的基因表达发生改变。
通过分析这些基因的表达模式，可以找到与疾病早期阶段相关的特征性转录组学标志物。
蛋白质组学数据则直接反映了蛋白质的表达和修饰情况。
在老年性痴呆患者的脑脊液和血液中，某些蛋白质的水平发生显著变化，如β淀粉样蛋白（Aβ）、tau 蛋白等。
这些蛋白质不仅可以作为诊断标志物，还可能参与了疾病的发生发展过程。
利用蛋白质组学技术，可以筛选出更多具有早期诊断价值的蛋白质标志物。
代谢组学数据可以反映生物体内代谢物的变化。
老年性痴呆患者的代谢途径发生紊乱，导致一些代谢物的浓度发生改变。
例如，胆碱、脂质和氨基酸等代谢物的异常变化与疾病的进展密切相关。
通过对代谢组学数据的分析，可以发现新的代谢标志物，为早期预警提供依据。
人工神经网络的模型.doc1、人工神经网络的模型:人工神经元的模型、常用的激活转移函数、MP模型神经元人工神经元的主要结构单元是信号的输入、综合处理和输出人工神经元之间通过相互联接形成网络，称为人工神经网络神经元之间互相联接的方式称为联接模式。
互相之间的联接强度由联接权值表达。
在人工神经网络中，转变信息处理及能力的过程，就是修改网络权值的过程。
人工神经网络的构造大体上都采纳如下的一些原则：由肯定数量的基本神经元分层联接；每个神经元的输入、输出信号以及综合处理内容都比较简洁；网络的学习和学问存储表达在各神经元之间的联接强度上。
神经网络解决问题的能力与成效除了与网络结构有关外，在很大程度上取决于网络激活函数。
人工神经网络是对人类神经系统2、的一种模拟。
尽管人类神经系统规模宏大、结构冗杂、功能奇妙，但其最基本的处理单元却只有神经元。
人工神经系统的功能事实上是通过大量神经元的广泛互连，以规模雄伟的并行运算来实现的。
人工神经网络模型至少有几十种，其分类方法也有多种。
例如，若按网络拓扑结构，可分为无反馈网络与有反馈网络；若按网络的学习方法，可分为有教师的学习网络和无教师的学习网络；若按网络的性能，可分为连续型网络与离散型网络，或分为确定性网络与随机型网络；若按突触连接的性质，可分为一阶线性关联网络与高阶非线性关联网络。
人工神经网络的局限性：(1)受到脑科学讨论的限制：由于生理试验的困难性，因此目前人类对思维和记忆机制的认识还很肤浅，还有许多问题需3、要解决；(2)还没有完好成熟的理论体系；(3)还带有深厚的策略和阅历色彩；(4)与传统技术的接口不成熟。
假如将大量功能简洁的形式神经元通过肯定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的状况下，统称为神经网络。
依据神经元之间连接的拓扑结构上的不同，可将神经网络结构分为两大类：分层网络互相连接型网络分层网络可以细分为三种互连形式：简洁的前向网络；具有反馈的前向网络；层内有互相连接的前向网络。
生物医学工程研究ＪｏｕｒｎａｌｏｆＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈ２０２０，３９（２）：１３３～１３８ＤＯＩ １０．１９５２９／ｊ．ｃｎｋｉ．１６７２－６２７８．２０２０．０２．０５国家自然科学基金资助项目（６１９７６０５８，６１７７２１４３，６１３００１０７）；广东省自然科学基金资助项目（Ｓ２０１２０１００１０２１２）；广州市科技计划项目（２０１６０１０１００３４，２０１８０４０１０２７８）；广东省大数据分析与处理重点实验室开放基金资助项目（２０１８０１）。
△通信作者 Ｅｍａｉｌ：２６５６３５１０６５＠ｑｑ．ｃｏｍ基于３Ｄ卷积神经网络－感兴趣区域的阿尔茨海默症辅助诊断模型曾安１，２，邹超１，潘丹３△（１．广东工业大学计算机学院，广州５１０００６；２．广东大数据分析与处理重点实验室，广州５１０００６；３．广州建设职业技术学院现代教育技术中心，广州５１０４４０）摘要：磁共振（ｍａｇｎｅｔｉｃｒｅｓｏｎａｎｃｅｉｍａｇｉｎｇ，ＭＲＩ）图像的预测分类对早期阿尔茨海默症（Ａｌｚｈｅｉｍｅｒ′ｓｄｉｓ ｅａｓｅ，ＡＤ）的诊断非常重要。
轻度认知障碍（ｍｉｌｄｃｏｇｎｉｔｉｖｅｉｍｐａｉｒｍｅｎｔ，ＭＣＩ）作为ＡＤ的一种早期阶段，在诊断时存在大脑脑区萎缩区域不明确，诊断准确率偏低等问题。
本研究提出一种基于感兴趣区域（ｒｅｇｉｏｎｓｏｆｉｎｔｅｒｅｓｔ，ＲＯＩ）的３Ｄ卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ，ＣＮＮ）模型来解决ＡＤ分类准确率偏低等问题，进而实现对ＡＤ的计算机辅助诊断。
实验数据均来自ＡＤＮＩ数据库，实验结果表明，基于ＲＯＩ的３ＤＣＮＮ的ＡＤ辅助诊断模型在分类ＡＤｖｓ正常对照（ｎｏｒｍａｌｃｏｎｔｒｏｌ，ＮＣ）、ＭＣＩ转化ＡＤ（ＭＣＩｃｏｎｖｅｒｔｅｄｔｏＡＤ，ＭＣＩｃ）ｖｓＮＣ和ＭＣＩ未被转化ＡＤ（ＭＣＩｎｏｔｃｏｎｖｅｒｔｅｄｔｏＡＤ，ＭＣＩｎｃ）ｖｓＭＣＩｃ的５折交叉验证平均准确率分别为８５．２％、８３．９％、６８．５％。
阿尔茨海默症的人工智能诊断和模型阿尔茨海默症（Alzheimer's Disease）是一种慢性进行性神经系统疾病，其主要症状包括逐渐恶化的记忆力、语言障碍、思考能力衰退以及行为和情绪变化。
目前，阿尔茨海默症的确切原因和治疗方法还不完全清楚，然而，近年来人工智能技术的快速发展为阿尔茨海默症的早期诊断和监测提供了新的可能性。
一、人工智能在阿尔茨海默症诊断中的应用人工智能可以通过分析患者的医学影像、生物标志物和行为信息等多种数据，为医生提供更准确的诊断和预测工具。
例如，基于影像数据的人工智能模型可以通过分析脑部MRI扫描结果，检测出可能与阿尔茨海默症相关的异常变化，为医生做出更早期的诊断。
此外，人工智能还可以通过分析患者的语言和语音信息，辅助医生进行阿尔茨海默症的识别和监测。
一些研究表明，阿尔茨海默症患者在语言表达、语法、词汇使用等方面存在特定的变化，利用人工智能技术可以识别出这些变化，并参考这些特征来进行早期诊断。
二、基于人工智能的阿尔茨海默症预测模型除了辅助诊断外，人工智能还可以构建预测模型，帮助医生预测可能患有阿尔茨海默症的个体。
这些模型通常包括多种数据来源，如基因组学数据、家族病史、生活方式等。
通过运用机器学习和深度学习等算法，这些模型可以从大量的数据中学习，并识别出与阿尔茨海默症风险相关的关键因素。
基于人工智能的阿尔茨海默症预测模型的开发与应用，可以为公众提供更早期的疾病风险提示，促使人们进行更深入的健康检查，以提前采取干预措施，延缓疾病的发展。
三、人工智能对阿尔茨海默症研究的意义利用人工智能技术进行阿尔茨海默症研究，不仅有助于早期诊断和预测，还可以进一步了解这种疾病的病理机制，探索新的治疗方法。
通过对大规模数据的分析，人工智能可以识别出与阿尔茨海默症相关的生物标志物、遗传变异等，为寻找疾病的早期诊断和治疗靶点提供线索。
此外，人工智能还可以支持药物研发和临床试验。
通过人工智能的辅助，研究人员可以更准确地评估不同药物的疗效，并挖掘潜在的非显性因素，以加速新药的研发和推广。
