第14章 基于Q学习的无线体域网路由方法

摘要随着通信技术的发展，人体周围的无线通信设备如手机、笔记本等无线设备越来越多。

为更有效地在人体周围的无线设备间实现计算资源和传输带宽的共享，无线体域网的概念开始被提出。

同时，随着生物电子学的进一步发展，应用于医学领域的无线体域网技术也开始被提出。

该类应用旨在通过人体周围的无线设备检测生理信息并把这些生理信息传输到远程监控设备。

IEEE802.15 TG6 工作组在充分考虑上述两种主要应用领域技术特点的基础上提出了无线体域网的规范。

无线体域网特殊的应用场景为在体域网中应用传统通信技术带来了新的考验。

本文以无线体域环境频谱检测算法作为主轴，对体域网中包括传输信道建模、单点频谱检测算法设计与性能分析以及各无线传输设备的硬件实现等问题进行广泛而深入的讨论。

无线通信技术的很多研究都是从通信信道建模开始的，无线体域网作为无线通信技术的重要分支也不例外。

本文将先根据已有的研究成果对无线体域网中体内人体信道和体外无线信道的建模进行讨论。

但是，由于体域网中信道建模受到人体或者人体不同部位运动的影响，所以体域网中的信道建模存在很多不确定性。

信道模型的不确定性就需要采用有效感知技术对信道环境的状况进行动态感知以提高算法的性能。

本文主要对信道环境感知中的单点频谱检测算法进行讨论。

这些讨论先根据无线体域网信道模型设计出体域网内的频谱检测算法，再对比自由空间与无线体域网频谱检测算法,找出无线体域网中存在的制约算法性能的因素，为更有效的实现体域网中的频谱检测算法提供指导。

最后,本文将根据无线体域网中不同传输节点的功能差异，对这些节点的硬件实现方案进行具体讨论。

在结论部分，本文将对取得的成果和未尽之处进行讨论，便于后续学者对该领域的深入研究。

关键字：无线体域网，人体信道，频谱检测，协作频谱检测, 物理层实现。

目录摘要 (I)ABSTRACT (IV)目录 (V)英文缩语表 (VII)表格目录 (VIII)插目录 (IX)第一章绪论 (1)1.1. 无线体域网的发展现状 (1)1.2. 无线体域网分类 (2)1.3. 无线体域网的传输技术和工作频段 (3)1.4. 本课题的研究意义 (4)1.5. 本课题的研究内容 (5)1.6. 本文的组织结构 (6)第二章无线体域网信道建模 (7)2.1 引言 (7)2.2 无线体域网体表传输信道模型 (8)2.2.1 基于路径损耗的信道模型 (8)2.2.2 基于阴影效应的信道模型 (8)2.2.3 基于信号衰落的信道模型 (9)2.3 无线体域网体内信道建模 (9)2.3.1 信道建模思路 (9)2.3.2 信道特性分析 (13)2.4 信道建模混合使用模型 (16)2.5 信道模型的进一步讨论 (21)2.6 本章小结 (22)第三章频谱感知算法介绍 (23)3.1. 引言 (23)3.2. 感知无线电发展 (23)3.3. 感知无线电的关键技术 (24)3.4. 基本检测算法 (25)3.4.1. 匹配滤波 (25)3.4.2. 能量检测 (25)3.4.3. 循环平稳检测 (26)3.5. 本章小结 (26)第四章无线体域网频谱检测算法性能分析 (28)4.1. 无线体域网中采用频谱检测算法的必要性 (28)4.2. 无线体域网中采用协作式频谱检测的必要性 (29)4.3. 基于人体信道的能量检测算法设计和分析 (29)4.3.1. 基于人体信道的能量检测算法仿真 (31)4.3.2. 基于混合信道的能量检测算法设计和分析 (35)4.4. 改善体域网内频谱检测算法的进一步考虑 (39)4.5. 本章小结 (40)第五章无线体域网算法实现 (41)5.1. 无线体域网频谱检测算法的实现场景 (41)5.1.1 无线体域网频谱检测场景介绍 (41)5.1.2 无线体域网传输节点放置讨论 (43)5.2. 无线体域网频谱检测算法实现 (44)5.3. 无线体域网网内基于人体信道的数据传输方案设计 (46)5.4. 无线体域网传输节点设计 (50)5.4.1. 控制节点 (50)5.4.2. 边缘节点和中继节点 (56)5.5. 本章小结 (58)第六章总结 (59)6.1. 本文所做的工作 (59)6.2. 下一步工作展望 (60)参考文献 (61)致谢 (64)攻读硕士学位期间发表或录用的学术论文和专利 (65)英文缩略语表ARM Advanced RICS Machines 高级精简指令处理器BAN Body Area Networks 体域网CPLD Complex Programmable Logic Device 复杂可编程逻辑器件ECG Electro Cardio Gram 心电图EEG Electro Encephalo Gram 脑电图FCC Federal Communication Committee 联邦通信委员会FDTD Finite Difference Time Domain 时域有限差分法HBC Human Body Communication 人体通信IBC Intra-Body Communication 体内通信ISM Industry Science and Medical frequency 工业、科学和医学频段JTAG Join Test Action Group 边界测试协议LOS Length Of Sight 视距传输LU Licensed User 授权用户MICS Medical Implant Communication Service 医学植入通信服务频段PAN Personal Area Networks 个域网PCB Printed Circuit Board 印刷电路板PWM Pulse Width Modulation 脉宽调制QOS Quality of Service 服务质量RC Resistor and capacitor 电阻电容RF Radio Frequency 射频SAR Special Absorb Ratio 特定吸收率SDR Software Defined Radio 软件无线电SG-BAN Study Group Body Area Networks 体域网工作组SNR Signal Noise Ratio 信噪比TG Task Group 工作组WBAN Wireless Body Area Networks 无线体域网WMTS Wireless Medical Telemetry Service 无线医学遥感频段表格目录表2-1 人体不同组织电阻率测试值 (10)表5-1 数据处理板主要接口资源 (52)表5-2 数据处理板计算资源 (53)表5-3 数据传输板系统计算资源 (55)表5-4 数据传输板主要接口资源 (55)表5-5 中继节点和边缘节点系统计算资源 (57)表5-6 数据传输板主要接口资源 (57)插图目录图2-1体域网数据传输抽象图 (10)图2-2人体简化传输模型 (11)图2-3 传输模型的等效RC电路 (11)图2-4 基于分布式RC电路的等效人体模型 (12)图2-5 分布式RC人体模型的验证环境 (13)图2-6给定信号频率下，人体信道幅度响应随着信道长度的变化 (14)图2-7给定信道长度时，人体幅度响应随着频率的变化关系 (15)图2-8电极与人体接触面积与信号频率的关系 (16)图2-9无线体域网节点相对位置变化图 (17)图2-10人体信道传输频率在100MHz与无线2.4G天线传输特性对比 (19)图3-1感知无线电基本感知周期示意图 (24)图3-2能量谱检测框图 (25)图4-1能量检测算法图 (31)图4-2频谱检测场景图 (32)图4-3基于理想信道的能量检测检测概率和检测时间的关系 (32)图4-4基于人体信道的能量检测，人体信道长度为0.15m，调制频率为131MHz33图4-5信号频率为131MHz时，不同信号能量值时，频谱检测概率随着人体信道长度的变系 (34)图4-6 人体信道长度为0.15m 时，不同信号能量，频谱检测概率随信号频率的变化 (35)图4-7 理想信道情况下，信号检测概率随着人体信道长度的变化 (36)图4-8无线信道利用率20%时，频谱检测概率随着人体信道长度的变化 (36)图4-9 在不同混合信道变化速率,人体信道长为0.3m 时频谱检测概率随着信号能量的变化关系 (37)图4-10在不同混合信道变化速率,人体信道长为0.15m时,频谱检测概率随着信号能量变化关系 (38)图5-1无线体域网中所有节点分布场景 (41)图5-2无线体域网频谱感知粗检测方法流程图 (44)图5-3无线体域网频谱感知细检测方法流程图 (45)图5-4无线体域网内信道感知参数传输线路图 (46)图5-5无线体域网内边缘节点信息发送框图 (47)图5-6无线体域网数据帧结构 (47)图5-7无线体域网中间节点信息处理模块框图 (48)图5-8无线体域网利用频谱空洞传输数据框图 (49)图5-9中心控制节点模块处理框图 (50)图5-10数据处理板系统结构 (52)图5-11中心控制节点数据收发板设计 (54)图5-12边缘节点和中继节点的系统结构 (56)图5-13中继节点和边缘节点的板级结构 (57)第一章绪论1.1. 无线体域网的发展现状无线通信技术发展极大得改变了人和人之间,人和多媒体设备之间以及人和各种娱乐服务提供商之间的通信。

Q学习和蚁群优化混合的无线传感器网络移动代理路由算法党小超;姚浩浩;郝占军【期刊名称】《计算机应用》【年(卷),期】2013(33)9【摘要】In view of mobile Agent routing problem in Wireless Sensor Networks (WSN),a mobile Agent routing algorithm for WSN based on Q learning hybrid with ant colony optimization was proposed.A new path choosing probability model was introduced and the optimal path was efficiently maintained in the algorithm.The simulation results show that the mobile Agent routing efficiency is highly improved and delay requirements in multiple tasks are fulfilled,the reliability of the optimal path is enhanced,and network energy consumption is reduced.%针对无线传感器网络移动代理路由问题,提出了Q学习和蚁群优化混合的无线传感器网络移动代理路由算法.该算法综合了Q学习和蚁群优化算法思想,引入了新的路径选择概率模型,并对最优路径进行了有效的维护.仿真实验结果表明:该算法有效地提高移动代理选路效率,满足不同任务对时延的要求,增强了最优路径的可靠性,进一步降低了网络能耗.【总页数】5页(P2440-2443,2449)【作者】党小超;姚浩浩;郝占军【作者单位】西北师范大学计算机科学与工程学院,兰州 730070;甘肃省物联网工程研究中心,兰州 730070;西北师范大学计算机科学与工程学院,兰州 730070;西北师范大学计算机科学与工程学院,兰州 730070;甘肃省物联网工程研究中心,兰州730070【正文语种】中文【中图分类】TP393.02【相关文献】1.基于蚁群优化算法的无线传感器网络跨层路由协议 [J], 王洪元;刘志远;卜莹2.基于蚁群优化的无线传感器网络最适路由算法 [J], 孙宗星;蔡丽萍;李世宝3.基于改进蚁群优化算法的无线传感器网络路由研究 [J], 祝加祥;吴勇4.基于蚁群优化算法的无线传感器网络路由研究 [J], 宋杰;吴勇;陈明明5.基于改进蚁群优化策略的无线传感器网络路由算法 [J], 蔡燕; 陈加林因版权原因，仅展示原文概要，查看原文内容请购买。

专利名称：一种基于区域划分的无线体域网路由方法专利类型：发明专利
发明人：陈志,宝磊,岳文静,黄洵松,毛博,曹壹,迟文东申请号：CN201310139709.5
申请日：20130422
公开号：CN103220216A
公开日：
20130724
专利内容由知识产权出版社提供
摘要：本发明给出一种基于区域划分的无线体域网路由方法，该方法适用于不同无线体域网应用场景，利用无线体域网汇聚节点能量充足的特点，将网络监测区域划分成多个子区域形成分簇，根据节点在人体所在位置信息和能量信息在每个簇内选择合适的节点作为当前论次的簇头和下一轮的簇头，同时综合考虑能量和通信代价等因素选择合适的节点作为簇头的下一跳节点，在簇头之间以多跳的方式将数据发送到汇聚节点。

本发明能够有效地提高无线体域网节点信息传输效率和网络生存周期。

申请人：南京邮电大学
地址：210003 江苏省南京市鼓楼区新模范马路66号
国籍：CN
代理机构：南京经纬专利商标代理有限公司
代理人：叶连生
更多信息请下载全文后查看。

一种基于Q学习的无线传感网络路由方法李荥;王芳;景栋盛;朱斐【期刊名称】《计算技术与自动化》【年(卷),期】2017(036)002【摘要】针对传统路由算法不能很好解决无线传感器网络的能量消耗和负载均衡的问题,提出一种将路径跳数和能量消耗因素考虑在内的基于Q学习的能量负载均衡算法.通过多跳和残余能量来估计网络状态,从而找到复杂度最低的最优路由策略,得到的数据传输路径满足能量消耗最小与负载均衡两个条件,在降低网络能量消耗的同时也延长了网络的生存周期.实验结果表明了算法在节点存活个数、节点剩余能量分布和节点发送成功率方面均取得较好的效果,同时验证了算法可以降低能量消耗,延长网络的整体寿命.%Aiming at dealing with the problems of energy consumption and load balancing in wireless sensor networks that traditional routing algorithm cannot solve,a new energy load balancing algorithm based on Q-learning is proposed,which takes into account the number of hops,the residual energy of sensor nodes and the node energy consumption,to estimate the state of the network through multi hop and residual energy,and find the optimal routing strategy with the lowest of the complexity.The data are transferred along routine with minimum the energy consumption and the balanced load,thus reducing network energy consumption and prolong the network life cycle.The simulation results showed that the algorithm has a good effect in survival nodes,transfer success rate and residual energy distribution and transmission,whichindicates that the algorithm can effectively reduce energy consumption and prolong the network lifetime.【总页数】6页(P155-160)【作者】李荥;王芳;景栋盛;朱斐【作者单位】苏州供电公司信通分公司,江苏苏州 215004;苏州供电公司信通分公司,江苏苏州 215004;苏州供电公司信通分公司,江苏苏州 215004;苏州大学计算机科学与技术学院,江苏苏州 215006【正文语种】中文【中图分类】TP311.5【相关文献】1.基于Q学习的无线传感器网络自组织方法研究 [J], 章韵;王静玉;陈志;鲍贵城;周峰;扈罗全2.基于Q学习的无线传感器网络路由协议 [J], 胡健3.一种基于非均匀分簇的无线传感器网络路由协议 [J], 刘雪霞4.一种基于LEACH的无线传感网络路由协议 [J], 纪磊;张欣;文章;高进5.一种节能高效的无线传感器网络路由优化方法 [J], 赵扬因版权原因，仅展示原文概要，查看原文内容请购买。

基于Q学习的无线传感网络自愈算法卞辉;范新南;巫鹏;顾丽萍;李威龙;郑庆元【摘要】无线传感网络存在关键区域节点能量消耗过快,节点能量供应有限以及通信链路拥塞等问题,容易造成节点故障和路由破坏.为减小上述问题对网络传输造成的影响,提出一种基于Q学习的无线传感网络自愈算法,通过引入Q学习的反馈机制,动态感知网络的状态信息,当故障发生时,自适应地选择恢复路径,保证数据实时顺利传输.仿真结果表明,该算法降低了错误选择故障或拥塞路径的概率,在故障感知、故障恢复和延长网络寿命等方面,表现出了良好的性能.%Wireless Sensor Network has some disadvantages, such as excessive energy consumption of nodes on the key path , limited energy supply of nodes, and communication link congestion- These problems will cause the fault of nodes and damage of routing. To reduce the influence on network transmission, a self-healing algorithm based on Q-learning is proposed for wireless sensor network. In this algorithm, a feed back mechanism of Q-learning is introduced, to perceive the status of network dynamically and select a recovery routing automatically, which can ensure the data transmission is successful. The experimental results show that the proposed algorithm can reduce the probability of selecting the failure and congestion path. The proposed algorithm has some good performances in fault-aware, fault recovery, and extending network life.【期刊名称】《电子设计工程》【年(卷),期】2013(021)004【总页数】4页(P44-47)【关键词】无线传感网络;Q学习;自愈算法;故障恢复【作者】卞辉;范新南;巫鹏;顾丽萍;李威龙;郑庆元【作者单位】河海大学计算机与信息学院,江苏常州213022;河海大学计算机与信息学院,江苏常州213022;河海大学计算机与信息学院,江苏常州213022;河海大学计算机与信息学院,江苏常州213022;河海大学计算机与信息学院,江苏常州213022;江苏鑫源烟草薄片有限公司江苏南京223002【正文语种】中文【中图分类】TP393无线传感器网络（Wireless Sensor Network，WSN）是由具有感知、处理和无线通信能力的传感器节点通过自组织方式形成的网络[1]，传感器节点通过采集环境变量并将它们传送给汇聚节点（也称目标节点或Sink节点）。

《物联网中基于深度强化学习的路由算法研究》篇一一、引言随着物联网（IoT）技术的快速发展，设备间的通信和数据处理能力日益增强。

然而，如何有效地管理和优化这些设备间的通信路径，即路由算法，成为了物联网领域的重要研究课题。

传统的路由算法在面对复杂多变的物联网环境时，往往存在效率低下、适应性差等问题。

因此，本研究旨在探索基于深度强化学习的路由算法在物联网中的应用，以提高路由效率，增强网络的自适应性和稳定性。

二、物联网环境及挑战物联网环境中设备种类繁多，通信环境复杂，对路由算法提出了更高的要求。

首先，物联网设备数量庞大，产生的数据量大，需要高效的路由算法来处理和传输这些数据。

其次，物联网设备的移动性和网络的动态性使得传统的静态路由算法难以适应。

此外，物联网设备往往能源受限，因此路由算法需要考虑到设备的能源消耗问题。

三、深度强化学习在路由算法中的应用深度强化学习是一种结合了深度学习和强化学习的技术，可以有效地解决复杂决策问题。

将深度强化学习应用于物联网路由算法中，可以实现对复杂通信环境的自适应优化。

通过深度学习，模型可以学习和理解通信环境的特征和规律；通过强化学习，模型可以在实践中不断优化自身的决策策略。

四、基于深度强化学习的路由算法研究本研究提出了一种基于深度强化学习的路由算法。

首先，我们构建了一个深度神经网络模型，用于学习和理解物联网通信环境的特征和规律。

然后，我们利用强化学习技术，使模型在实践中不断优化自身的路由决策策略。

具体而言，我们使用Q-learning算法作为强化学习的核心算法，通过与环境的交互来学习和优化路由策略。

五、实验与分析我们在模拟的物联网环境中对提出的算法进行了测试。

实验结果表明，基于深度强化学习的路由算法在面对复杂的通信环境时，能够快速地学习和适应环境的变化，找到最优的路由路径。

与传统的路由算法相比，该算法在路由效率、网络稳定性和能源消耗等方面均有显著的优势。

六、结论与展望本研究探索了基于深度强化学习的路由算法在物联网中的应用。

基于Q学习的无线传感器网络路由协议胡健【期刊名称】《计算机与现代化》【年(卷),期】2013(0)3【摘要】Owing to the data transmission consumed the majority of the energy of sensor node, the efficiency of routing protocol effect the average energy consumption of the whole network. This paper models the network as a multi agent system by the discrete Markov decision process. An optimized routing policy under average criteria is obtained by using the Q learning algorithm. In order to balance the shortest path and energy consumption, the reward function takes into account the hop counts to the sink, the density of neighbor, and residual energy of node.%由于无线传感器网络节点的能量主要消耗在数据的传输上,因此路由选择的有效性决定网络整体能量消耗的高低.本文将网络构建成一个多Agent系统,将系统建模成为一个离散Markov决策过程,使用基于性能势的Q学习算法寻找最优路由.在报酬函数的设定时综合考虑节点距离Sink节点的跳数、邻居节点密度和剩余能量等因素,以达到数据传输最短路径和节点能量消耗的折中.【总页数】4页(P131-134)【作者】胡健【作者单位】国网电力科学研究院,江苏南京210003【正文语种】中文【中图分类】TP393【相关文献】1.基于Q学习的无线传感器网络自组织方法研究 [J], 章韵;王静玉;陈志;鲍贵城;周峰;扈罗全2.基于Q学习的Ad Hoc网络路由协议的改进与研究 [J], 刘芬;隋天宇;王叶群3.无线传感器网络中基于机会策略的蚁群路由协议 [J], 李新路;吴志泽;李国斌4.基于改进GA和信任感知的无线传感器网络安全分簇路由协议 [J], 王出航;王雪;胡黄水;赵宏伟;韩由佳5.基于云安全模型的簇状树形无线传感器网络路由协议 [J], 赵继业因版权原因，仅展示原文概要，查看原文内容请购买。

基于Q学习的无线通信网多目标智能路由策略
于佳禾;胡春燕;周园
【期刊名称】《计算机仿真》
【年(卷),期】2024(41)3
【摘要】针对无线通信网络易受环境影响、拓扑结构变化迅速带来的服务质量(Quality of Service,QoS)保障需求和快速响应需求,提出一种基于Q学习的智能路由策略,利用强化学习技术能与环境实时交互的优势,以转控分离、网络可编程的软件定义网络(Software Defined Networking,SDN)架构为路由策略的部署平台,考虑路由跳数和网络流量对时延、带宽、丢包率等QoS的需求设计状态、动作、奖励等强化学习的基本要素,构建智能体,并搭建基于SDN的仿真环境,利用SDN控制器收集网络节点信息、链路状态信息开展智能体训练与测试,打造智能化的路由方案。

仿真结果表明,所提方法能够根据网络中的实时信息和用户需求提供定制化的路由策略,进行动态智能选路,并进行快速响应。

【总页数】6页(P431-435)
【作者】于佳禾;胡春燕;周园
【作者单位】北京航天晨信科技有限责任公司
【正文语种】中文
【中图分类】TP393
【相关文献】
1.基于策略多播路由的电力通信网路由优化研究
2.基于深度强化学习的电力通信网路由策略
3.基于机器学习的无线通信网络安全漏洞智能监测系统
4.船舶远程控制系统的无线通信网络定位及路由策略研究
5.基于量子远程传态的船舶多频无线通信网络路由协议
因版权原因，仅展示原文概要，查看原文内容请购买。

基于启发式Q学习的FANET可信路由算法
赵蓓英;姬伟峰;翁江;吴玄;李映岐
【期刊名称】《计算机工程》
【年(卷),期】2022(48)5
【摘要】无人机自组织网络(FANET)是实现无人机自主集群的关键技术,其通过各无人机节点来完成协同通信。

但节点的高机动性、网络结构的开放性造成FANET 拓扑变化频繁,容易遭受恶意攻击。

为此,提出一种基于启发式Q学习的可信路由算法HQTR。

将FANET中的路由选择问题映射为有限马尔科夫决策过程,针对路由层面的黑洞攻击与泛洪攻击,引入数据包转发率与路由请求发送速率,通过模糊推理计算节点的信任值,同时考虑节点的邻居关系,提出一种模糊动态信任奖励机制。

结合单跳链路状况设计启发式函数,采用改进的ε-贪婪策略来平衡利用-探索过程,引导当前节点选择最优可信下一跳节点。

仿真结果表明,相对AOMDV、TEAOMDV与ESRQ算法,HQTR算法能够有效应对黑洞攻击与RREQ泛洪攻击,降低节点高速运动与网络规模变化所造成的影响,提高数据包投递率与吞吐量,减少路由开销与平均端到端时延。

【总页数】8页(P162-169)
【作者】赵蓓英;姬伟峰;翁江;吴玄;李映岐
【作者单位】空军工程大学信息与导航学院
【正文语种】中文
【中图分类】TP393
【相关文献】
1.基于蚁群算法的无线传感器网络节点可信安全路由
2.WMNs中基于节点可信度的机会路由改进算法
3.基于信道状态可信度的电力线通信路由算法
4.基于狩猎搜索的可信QoS路由算法
5.基于函数逼近的强化学习FANET路由优化算法
因版权原因，仅展示原文概要，查看原文内容请购买。