DOI : 10.11992/tis.201810025网络出版地址: https://www.doczj.com/doc/9d13137541.html,/kcms/detail/23.1538.TP.20190109.1748.006.html
融合朴素贝叶斯方法的复杂网络链路预测
王润芳1，陈增强1,2，刘忠信1,2
（1. 南开大学 人工智能学院，天津 300350; 2. 天津市智能机器人重点实验室，天津 300350）
摘 要：近来复杂网络成为了众多学者的研究热点。但真实网络中的连边信息并不完整，不利于网络的分析研究，链路预测可以挖掘网络中的缺失连边，为网络重构提供基本依据。本文认为网络中链接的产生不仅受外部因素——共同邻居的影响，还受其自身因素的影响。其中，共同邻居的影响可以通过文献中的局部朴素贝叶斯(LNB)模型量化，节点的影响则根据其自身的度量化。本文将两者综合考虑，提出了融合朴素贝叶斯(SNB)模型，然后用共同邻居(CN)、Adamic-Adar(AA)和资源分配(RA)指标进行推广。在美国航空网(USAir)上的实验结果表明，该方法的预测准确度比LNB 和基准方法均有所提高，从而证明了该方法的有效性。
关键词：复杂网络；融合朴素贝叶斯模型；局部朴素贝叶斯模型；贝叶斯模型；链路预测；共同邻居；节点度；网络重构
中图分类号：TP391 文献标志码：A 文章编号：1673?4785(2019)01?0099?09
中文引用格式：王润芳, 陈增强, 刘忠信. 融合朴素贝叶斯方法的复杂网络链路预测[J]. 智能系统学报, 2019, 14(1): 99–107.英文引用格式：WANG Runfang, CHEN Zengqiang, LIU Zhongxin. Link prediction in complex networks with syncretic naive Bayes methods[J]. CAAI transactions on intelligent systems, 2019, 14(1): 99–107.
Link prediction in complex networks with syncretic naive Bayes methods
WANG Runfang 1，CHEN Zengqiang 1,2，LIU Zhongxin 1,2
(1. College of Artificial Intelligence, Nankai University, Tianjin 300350, China; 2. Key Laboratory of Intelligent Robotics of Tianjin,Tianjin 300350, China)
Abstract : Recently, complex networks have become a research hotspot. However, edge information in the real network is incomplete, which is not conducive to the analysis and research of the network. Link prediction can provide a funda-mental basis for network reconstruction by digging out the missing edges in the network. This paper demonstrates that the generation of links in the network is not only influenced by external factors (common neighbors) but also by its own factors. Among them, the influence of common neighbors can be quantified via the local naive Bayes (LNB) model in the literature, whereas the influence of nodes can be quantified depending on their degree. Therefore, a syncretic naive Bayes (SNB) model is proposed based on comprehensive consideration of the influence of the two abovementioned as-pects. The model is then extended to common neighbors, Adamic-Adar, and Resource Allocation methods. Finally, the experimental results on USAir show that the prediction accuracy of the method is higher than that of LNB and the benchmark method, which proves the effectiveness of the SNB model.
Keywords : complex network; syncretic naive Bayes model; local naive Bayes model; Bayes model; link prediction;common neighbors; the degree of node; network reconstruction
现代社会中的信息呈爆炸式增长，使得社会
系统极具复杂性。研究表明，各种系统之间的交
互信息可以通过对应的复杂网络表示，其中，网络中的节点代表系统中的个体，连边代表个体之间的关系[1]。网络科学是专门用于研究各种复杂网络系统的定性和定量规律的一门交叉学科[2]。然而，由于隐私政策和个体设置等原因，实际获收稿日期：2018?10?23. 网络出版日期：2019?01?10.
基金项目：国家自然科学基金项目(61573199, 61573197). 天津
市自然科学基金项目(14JCYBJC18700).
通信作者：陈增强. E-mail: chenzq@https://www.doczj.com/doc/9d13137541.html, .第 14 卷第 1 期
智 能 系 统 学 报Vol.14 No.12019 年 1 月
CAAI Transactions on Intelligent Systems Jan. 2019
————————————————————————————————————————————————有向动态网络中基于模体演化的链路预测方法 作者杜凡，刘群 机构重庆邮电大学计算智能重庆市重点实验室 DOI 10.3969/j.issn.1001-3695.2017.11.0738 基金项目国家自然科学基金资助资助（61572091，61075019）；重庆市自然科学基金资助项目（CSTC2014jcyjA40047）；重庆市教委研究项目（KJ1400403）；重庆邮电大学博士启动资助项 目（A2014-20） 预排期卷《计算机应用研究》2019年第36卷第5期 摘要以往传统的链路预测方法大多数针对无向网络，而实际上大多数社交网络是有向的，并且没有考虑网络中同一节点对之间的重复边以及微观演化信息，因此不能较好地解决有向动态网 络中的链路预测问题。针对有向网络，将节点对之间的重复边信息转换为该节点对之间连边 的权值；接着采用了基于三元组模体的演化模型，对滑动窗口中相邻时间片的模体转换概率 进行统计后，采用指数加权滑动平均法对其进行时序分析得到不同模体转换概率的预测矩 阵，进而使用该矩阵对网络中的链边进行预测。这不仅充分利用了网络微观演化信息，而且 解决了动态网络中重复边的问题。最后对实验结果进行分析发现，在高全局聚类系数高平均 度的网络中AUC相比Triad Transition Matrix方法提高了近0.01，而相比Common Neighbor 方法提高更多。因此，所提方法能够较好地应用网络微观演化信息进行链路预测。 关键词时序链路预测；有向网络；模体演化；时序分析 作者简介杜凡（1991-），男，硕士研究生，主要研究方向为复杂网络?链路预测（280928338@https://www.doczj.com/doc/9d13137541.html,）； 刘群（1969-），女，教授，硕士，主要研究方向为复杂网络?人工智能． 中图分类号TP181 访问地址https://www.doczj.com/doc/9d13137541.html,/article/02-2019-05-010.html 投稿日期2017年11月9日 修回日期2018年1月5日
复杂网络中关键节点查找和链路预测应用研究随着网络科学的不断发展和信息数据的不断扩充,网络规模日益增大,大规模网络数据的研究也逐渐成为研究热潮。鉴于表示学习算法对大规模网络研究的优势,关键节点分类以及链路预测等基于网络知识的传统研究内容开始结合知识表示学习算法进行探索研究,并取得显著成果。本文结合网络科学知识和表示学习算法提出关键蛋白质分类和基于Probase知识库的链路预测两种算法框架。首先,本文提出了一种结合生物信息知识的关键蛋白质分类的方法。在关键节点搜索的相关研究中,很多实验已经证明结合多源信息的方法比仅考虑单一知识的方法更加有效。而现有的搜索方法并没有充分的考虑网络本身蕴含的知识,使得很多关键信息被丢失。本文提出的关键蛋白质分类方法则是结合STRING数据库中体现的PPI网络中蛋白质节点的生物信息,同时结合表示学习算法提取网络中蛋白质节点的拓扑结构特征和生物信息特征,实现关键蛋白质节点的分类。通过实验对比分析,本文提出的关键蛋白质分类算法的准确率、召回率及F1值均高于其对比实验,这表明表示学习算法在网络关键节点识别任务中具有一定的优势。其次,本文提出了基于Probase知识库的链路预测方法。链路预测即通过分析网络结构以及节点属性,探索网络中相似的节点,进一步预测与已知节点具有潜在连边的节点。本文提出的链路预测方法主要结合网络嵌入的表示学习算法将网络进行向量化表示,并基于相似度的计算方法确定节点之间的相似程度,实现网络的链路预测。通过统计预测结果的top-k命中率、计算预测节点与给
定节点的相似性和统计最短路径长度来验证算法的有效性和稳定性,从而证明表示学习算法对链路预测任务有很好的提升作用。综上,本文利用多源信息并结合表示学习算法可以有效的提升网络中关键蛋白质节点分类的准确率。同时利用表示学习算法将网络进行向量化表示,借助相似度计算方法来计算节点的相似性,完成链路预测,可以提高预测的命中率,保证预测的稳定性。
最近发现很多公司招聘数据挖掘的职位都提到贝叶斯分类，其实我不太清楚他们是要求理解贝叶斯分类算法，还是要求只需要通过工具（SPSS，SAS，Mahout）使用贝叶斯分类算法进行分类。 反正不管是需求什么都最好是了解其原理，才能知其然，还知其所以然。我尽量简单的描述贝叶斯定义和分类算法，复杂而有全面的描述参考“数据挖掘：概念与技术”。贝叶斯是一个人，叫（Thomas Bayes），下面这哥们就是。 本文介绍了贝叶斯定理，朴素贝叶斯分类算法及其使用MapReduce实现。 贝叶斯定理 首先了解下贝叶斯定理 P X H P(H) P H X= 是不是有感觉都是符号看起来真复杂，我们根据下图理解贝叶斯定理。 这里D是所有顾客（全集），H是购买H商品的顾客，X是购买X商品的顾客。自然X∩H是即购买X又购买H的顾客。 P(X) 指先验概率，指所有顾客中购买X的概率。同理P(H)指的是所有顾客中购买H 的概率，见下式。
X P X= H P H= P(H|X) 指后验概率，在购买X商品的顾客，购买H的概率。同理P(X|H)指的是购买H商品的顾客购买X的概率，见下式。 X∩H P H|X= X∩H P X|H= 将这些公式带入上面贝叶斯定理自然就成立了。 朴素贝叶斯分类 分类算法有很多，基本上决策树，贝叶斯分类和神经网络是齐名的。朴素贝叶斯分类假定一个属性值对给定分类的影响独立于其他属性值。 描述： 这里有个例子假定我们有一个顾客X（age = middle，income=high，sex =man）：?年龄（age）取值可以是：小（young），中（middle），大（old） ?收入（income）取值可以是：低（low），中（average），高（high） ?性别（sex）取值可以是：男（man），女（woman） 其选择电脑颜色的分类标号H：白色（white），蓝色（blue），粉色（pink） 问题： 用朴素贝叶斯分类法预测顾客X，选择哪个颜色的分类标号，也就是预测X属于具有最高后验概率的分类。 解答： Step 1 也就是说我们要分别计算X选择分类标号为白色（white），蓝色（blue），粉色（pink）的后验概率，然后进行比较取其中最大值。 根据贝叶斯定理
复杂网络链路预测的研究现状及展望 吕琳媛 前言：做链路预测这个方向有一年多的时间了，有一些收获和体会。一直想写一个综述进行总结，总是希望这个综述尽可能的包括更多更全面的信息，但是新的思想和结果源源不断的涌现，所谓的综述也就无限期的搁置了下来。前不久刚刚和伟平合作发表了一篇关于利用网络局部随机游走进行链路预测的文章，借此文发表之动力，总结一下链路预测这个方向的研究进展以及展望。希望该文能对那些正奋战在这个方向上和希望在此领域有所建树的科研工作者有所帮助和启迪。 （本文中所提到的具体的技术方法以及实验结果将在另一篇中文综述中详细介绍。） 1．链路预测及其研究意义 网络中的链路预测(Link Prediction)是指如何通过已知的网络节点以及网络结构等信息预测网络中尚未产生连边的两个节点之间产生链接的可能性[1]。这种预测既包含了对未知链接（exist yet unknown links）的预测也包含了对未来链接（future links）的预测。该问题的研究在理论和应用两个方面都具有重要的意义和价值。 近年来，随着网络科学的快速发展，其理论上的成果为链路预测搭建了一个研究的平台，使得链路预测的研究与网络的结构与演化紧密联系起来。因此，对于预测的结果更能够从理论的角度进行解释。这也是我们相比计算机专业的人研究链路预测的优势所在。与此同时，链路预测的研究也可以从理论上帮助我们认识复杂网络演化的机制。针对同一个或者同一类网络，很多模型都提供了可能的网络演化机制[2, 3]。由于刻画网络结构特征的统计量非常多，很难比较不同的机制孰优孰劣。链路预测机制有望为演化网络提供一个简单统一且较为公平的比较平台，从而大大推动复杂网络演化模型的理论研究。另外，如何刻画网络中节点的相似性也是一个重大的理论问题[4]，这个问题和网络聚类等应用息息相关[5]。类似地，相似性的度量指标数不胜数，只有能够快速准确地评估某种相似性定义是否能够很好刻画一个给定网络节点间的关系，才能进一步研究网络特征对相似性指标选择的影响。在这个方面，链路预测可以起到核心技术的作用。链路预测问题本身也带来了有趣且有重要价值的理论问题，也就是通过构造网络系综并藉此利用最大似然估计的方法进行链路预测的可能性和可行性研究。这方面的研究对于链路预测本身以及复杂网络研究的理论基础的建立和完善，可以起到推动和借鉴的作用。 链路预测研究不仅具有如上所述的理论价值，其更重要的意义还是体现在应用方面。很多生物网络，例如蛋白质相互作用网络和新陈代谢网络，节点之间是否存在链接，或者说是否存在相互作用关系，是需要通过大量实验结果进行推断的。我们已知的实验结果仅仅揭示了巨大网络的冰山一角。仅以蛋白质相互作用网络为例，酵母菌蛋白质之间80%的相互作用不为我们所知[6]，而对于人类自身，我们知道的仅有可怜的0.3%[7,8]。由于揭示这类网络中隐而未现的链接需要耗费高额的实验成本。那么如果能够事先在已知网络结构的基础上设计出足够精确的链路预测算法，再利用预测的结果指导试验，就有可能提高实验的成功率从而降低试验成本并加快揭开这类网络真实面目的步伐！实际上，社会网络分析中也会遇到数据不全的问题，这时候链路预测同样可以作为准确分析社会网络结构的有力的辅助工具[9,10]。除了帮助分析数据缺失的网络，链路预测算法还可以用于分析演化网络，即对未来
朴素贝叶斯算法 1.算法简介 朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素，朴素贝叶斯的思想基础是：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。 2.算法定义 朴素贝叶斯分类的正式定义如下： 1）设为一个待分类项，而每个a为x的一个特征属性； 2）有类别集合； 3）计算。 4）如果，则。 其中关键是如何计算步骤3）中的各个条件概率。计算过程如下： （1）找到一个已知分类的待分类项集合，该集合称为训练样本集。 （2）统计得到在各类别下各个特征属性的条件概率估计。即 （3）如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导： 因为分母对于所有类别为常数，因此只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有： 可以看到，整个朴素贝叶斯分类分为三个阶段： 第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。 第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条
件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。 第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。 3.估计类别下特征属性划分的条件概率及Laplace校准 ?估计类别下特征属性划分的条件概率 计算各个划分的条件概率P(a|y)是朴素贝叶斯分类的关键性步骤，当特征属性为离散值时，只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计P(a|y)，下面重点讨论特征属性是连续值的情况。 当特征属性为连续值时，通常假定其值服从高斯分布（也称正态分布）。即： 而 因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差，代入上述公式即可得到需要的估计值。 ?Laplace校准 当某个类别下某个特征项划分没有出现时，会产生P(a|y)=0的现象，这会令分类器质量大大降低。为了解决这个问题，引入Laplace校准，就是对每个类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。 ●Laplace校准详解 假设离散型随机变量z有{1,2,…,k}共k个值，用 j (),{1,2,,} p z j j k Φ=== 来表示每个值的概率。假设在m个训练样本中，z的观察值是其中每一个观察值对应k个值中的一个。那么z=j出现的概率为： Laplace校准将每个特征值出现次数事先都加1，通俗讲就是假设它们都出现过一次。那么修改后的表达式为：
第五章贝叶斯统计 5.1 简介 到目前为止，我们已经知道了大量的不同的概率模型，并且我们前面已经讨论了如何用它们去拟合数据等等。前面我们讨论了如何利用各种先验知识，计算MAP参数来估计θ=argmax p(θ|D)。同样的，对于某种特定的请况，我们讨论了如何计算后验的全概率p(θ|D)和后验的预测概率密度p(x|D)。当然在以后的章节我们会讨论一般请况下的算法。 5.2 总结后验分布 后验分布总结关于未知变量θ的一切数值。在这一部分，我们讨论简单的数，这些数是可以通过一个概率分布得到的，比如通过一个后验概率分布得到的数。与全面联接相比，这些统计汇总常常是比较容易理解和可视化。 5.2.1最大后验估计 通过计算后验的均值、中值、或者模型可以轻松地得到未知参数的点估计。在5.7节，我们将讨 论如何利用决策理论从这些模型中做出选择。典型的后验概率均值或者中值是估计真实值的恰当选择，并且后验边缘分布向量最适合离散数值。然而，由于简化了优化问题，算法更加高效，后验概率模型，又名最大后验概率估计成为最受欢迎的模型。另外，通过对先验知识的取对数来正 则化后，最大后验概率可能被非贝叶斯方法解释（详情参考6.5节）。 最大后验概率估计模型在计算方面该方法虽然很诱人，但是他有很多缺点，下面简答介绍一下。在这一章我们将更加全面的学习贝叶斯方法。 图5.1（a）由双峰演示得到的非典型分布的双峰分布，其中瘦高蓝色竖线代表均值，因为他接近 大概率，所以对分布有个比较好的概括。(b)由伽马绘图演示生成偏态分布，它与均值模型完全不同。 5.2.1.1 无法衡量不确定性 最大后验估计的最大的缺点是对后验分布的均值或者中值的任何点估计都不能够提供一个不确定性的衡量方法。在许多应用中，知道给定估计值的置信度非常重要。我们在5.22节将讨论给出后验估计置信度的衡量方法。 5.2.1.2 深耕最大后验估计可能产生过拟合
贝叶斯决策模型及实例分析 一、贝叶斯决策的概念 贝叶斯决策，是先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法。 风险型决策是根据历史资料或主观判断所确定的各种自然状态概率（称为先验概率），然后采用期望效用最大等准则来确定最优决策方案。这种决策方法具有较大的风险，因为根据历史资料或主观判断所确定的各种自然状态概率没有经过试验验证。为了降低决策风险，可通过科学试验（如市场调查、统计分析等）等方法获得更多关于自然状态发生概率的信息，以进一步确定或修正自然状态发生的概率；然后在利用期望效用最大等准则来确定最优决策方案，这种先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法称为贝叶斯决策方法。 二、贝叶斯决策模型的定义 贝叶斯决策应具有如下内容 贝叶斯决策模型中的组成部分： ) ( ,θ θP S A a及 ∈ ∈。概率分布S P∈ θ θ) (表示决策 者在观察试验结果前对自然θ发生可能的估计。这一概率称为先验分布。 一个可能的试验集合E，E e∈，无情报试验e0通常包括在集合E之内。 一个试验结果Z取决于试验e的选择以Z0表示的结果只能是无情报试验e0的结果。 概率分布P(Z/e,θ)，Z z∈表示在自然状态θ的条件下，进行e试验后发生z结果的概
率。这一概率分布称为似然分布。 c 以及定义在后果集合C的效用函数u(e,Z,a,θ)。 一个可能的后果集合C，C 每一后果c=c(e,z,a,θ)取决于e,z,a和θ。.故用u(c)形成一个复合函数u{(e,z,a,θ)}，并可写成u(e,z,a,θ)。 三、贝叶斯决策的常用方法 3.1层次分析法(AHP) 在社会、经济和科学管理领域中，人们所面临的常常是由相互关联，相互制约的众多因素组成的复杂问题时，需要把所研究的问题层次化。所谓层次化就是根据所研究问题的性质和要达到的目标，将问题分解为不同的组成因素，并按照各因素之间的相互关联影响和隶属关系将所有因素按若干层次聚集组合，形成一个多层次的分析结构模型。 3.1.1层次分析模型 最高层：表示解决问题的目的，即层次分析要达到的目标。 中间层：表示为实现目标所涉及的因素，准则和策略等中间层可分为若干子层，如准则层，约束层和策略层等。 最低层：表示事项目标而供选择的各种措施，方案和政策等。 3.1.2层次分析法的基本步骤 (l) 建立层次结构模型 在深入分析研究的问题后，将问题中所包括的因素分为不同层次，如目标层、指标层和措施层等并画出层次结构图表示层次的递阶结构和相邻两层因素的从属关系。 (2) 构造判断矩阵 判断矩阵元素的值表示人们对各因素关于目标的相对重要性的认识。在相邻的两个层次中，高层次为目标，低层次为因素。 (3) 层次单排序及其一致性检验 判断矩阵的特征向量W经过归一化后即为各因素关于目标的相对重要性的排序权值。利用判断矩阵的最大特征根，可求CI和CR值，当CR<0.1时，认为层次单排序的结果有满意的一致性；否则，需要调整判断矩阵的各元素的取值。 (4) 层次总排序 计算某一层次各因素相对上一层次所有因素的相对重要性的排序权值称为层次总排序。由于层次总排序过程是从最高层到最低层逐层进行的，而最高层是总目标，所以，层次总排序也是计算某一层次各因素相对最高层（总目标）的相对重要性的排序权值。 设上一层次A包含m个因素A1,A2,…,A m其层次总排序的权值分别为a1,a2,…,a m；下一层次B包含n个因素B1,B2,…,B n，它们对于因素A j(j=1,2,…,m)的层次单排序权值分别为：b1j,b2j,…,b nj（当B k与A j无联系时，b kj=0），则B层次总排序权值可按下表计算。 层次总排序权值计算表
贝叶斯网络预测信用卡欺诈行为 ——贝叶斯网络应用（1） 一、理论说明 1．贝叶斯网络的应用 使用贝叶斯网络，可以通过将观察到并记录下的数据与实际常识结合起来构建概率模型，以通过使用表面看上去不相关的属性确定发生的可能性，找出一个结果到底与哪些影响变量相关，或者说，究竟是什么因素影响了结果。 贝叶斯分类模型继承了贝叶斯网络的优点并具有良好的分类精度，正受到越来越多的关注，并广泛的应用在欺诈识别、客户管理、医学诊断上、互联网搜索上，比如，利用贝叶斯分类模型建立客户的等级分类，如信用等级、忠诚等级，当新客户出现时，即可以按该分类模型对其等级情况做出分类预测。又比如本文所例举的，根据信用卡用户的信用记录及相关信息建立用户的信用模型，并监测哪些用户会做出贷款拖欠的行为。 2．贝叶斯网络模型 （1）贝叶斯原理 统计学分成两派，一派是传统的频率学派，一派是贝叶斯派，能够在统计学界自成一派，可见其影响。贝叶斯的核心思想在于一个公式 P(A|X)=P(X|A)·P(A)/P(X) 其中A是随机变量，X是数据，P(X|A)是似然，P(A)是先验分布，P(A|X)是后验分布，P(X)是一个数。 这个公式的意义在于，我们可以通过一个经验的概率，加上数据的实践，来得出一个后验的概率，也就是说“经验+数据=结果”。那么将这个原理用在贝叶斯网络上，即将先验贝叶斯网络和数据相结合而得到一个后验贝叶斯网络。那么什么是贝叶斯网络？ （2）贝叶斯网络模型概述 贝叶斯网络(Bayesian network),又叫概率因果网络、信任网络、知识图等,是一种有向无环图。一个贝叶斯网络由两个部分构成，一个是具有K个节点的有向无环图，图中有节点和连接节点的有向边，节点代表随机变量，有向边代表了节点间的相互关联关系。 另一个是与每个节点相关的条件概率表（Conditional Probabilities Table,CPT）P，它表示了节点和父节点之前的相关关系，这个关系就是条件概率。那么由这个图G和概率表P构成的网络就是贝叶斯网络，贝叶斯网络有如下假设（或者规定）： 给定一个父节点，那么它的子节点独立于任何非这个子节点的后代节点和其构成的任何节点子集。即如果用A(V i)表示非V i后代节点构成的任何节点子集,用∏(V i)表示V i的直接双亲节点,则 p(Vi|A(Vi),∏(V i))=p(Vi|∏(Vi)) 在这个假定下，变量Vi的联合概率就是：给定每个节点的父节点情况下，每个节点条件概率只积，如图中的联合概率为 p(V1,V2,...,V6)=p(V6|V5)·p(V5|V2,V3)·p(V4|V2)·p(V3|V1)·p(V2|V1)·p(V1) 这就是贝叶斯网络和其网络的概率。我们可以让贝叶斯网络通过数据不断的学习修正，上次修正的贝叶斯网络又是下次学习的先验贝叶斯网络，持续的学习使得网络更能体现数据的意义，即，让数据来说话！ （2）树增强朴素贝叶斯网络模型概述 尽管贝叶斯网络有良好的逻辑性、预测性、并在处理复杂问题上有很大的优势，但它的假
DOI : 10.11992/tis.201810025网络出版地址: https://www.doczj.com/doc/9d13137541.html,/kcms/detail/23.1538.TP.20190109.1748.006.html 融合朴素贝叶斯方法的复杂网络链路预测 王润芳1，陈增强1,2，刘忠信1,2 （1. 南开大学 人工智能学院，天津 300350; 2. 天津市智能机器人重点实验室，天津 300350） 摘 要：近来复杂网络成为了众多学者的研究热点。但真实网络中的连边信息并不完整，不利于网络的分析研究，链路预测可以挖掘网络中的缺失连边，为网络重构提供基本依据。本文认为网络中链接的产生不仅受外部因素——共同邻居的影响，还受其自身因素的影响。其中，共同邻居的影响可以通过文献中的局部朴素贝叶斯(LNB)模型量化，节点的影响则根据其自身的度量化。本文将两者综合考虑，提出了融合朴素贝叶斯(SNB)模型，然后用共同邻居(CN)、Adamic-Adar(AA)和资源分配(RA)指标进行推广。在美国航空网(USAir)上的实验结果表明，该方法的预测准确度比LNB 和基准方法均有所提高，从而证明了该方法的有效性。 关键词：复杂网络；融合朴素贝叶斯模型；局部朴素贝叶斯模型；贝叶斯模型；链路预测；共同邻居；节点度；网络重构 中图分类号：TP391 文献标志码：A 文章编号：1673?4785(2019)01?0099?09 中文引用格式：王润芳, 陈增强, 刘忠信. 融合朴素贝叶斯方法的复杂网络链路预测[J]. 智能系统学报, 2019, 14(1): 99–107.英文引用格式：WANG Runfang, CHEN Zengqiang, LIU Zhongxin. Link prediction in complex networks with syncretic naive Bayes methods[J]. CAAI transactions on intelligent systems, 2019, 14(1): 99–107. Link prediction in complex networks with syncretic naive Bayes methods WANG Runfang 1，CHEN Zengqiang 1,2，LIU Zhongxin 1,2 (1. College of Artificial Intelligence, Nankai University, Tianjin 300350, China; 2. Key Laboratory of Intelligent Robotics of Tianjin,Tianjin 300350, China) Abstract : Recently, complex networks have become a research hotspot. However, edge information in the real network is incomplete, which is not conducive to the analysis and research of the network. Link prediction can provide a funda-mental basis for network reconstruction by digging out the missing edges in the network. This paper demonstrates that the generation of links in the network is not only influenced by external factors (common neighbors) but also by its own factors. Among them, the influence of common neighbors can be quantified via the local naive Bayes (LNB) model in the literature, whereas the influence of nodes can be quantified depending on their degree. Therefore, a syncretic naive Bayes (SNB) model is proposed based on comprehensive consideration of the influence of the two abovementioned as-pects. The model is then extended to common neighbors, Adamic-Adar, and Resource Allocation methods. Finally, the experimental results on USAir show that the prediction accuracy of the method is higher than that of LNB and the benchmark method, which proves the effectiveness of the SNB model. Keywords : complex network; syncretic naive Bayes model; local naive Bayes model; Bayes model; link prediction;common neighbors; the degree of node; network reconstruction 现代社会中的信息呈爆炸式增长，使得社会 系统极具复杂性。研究表明，各种系统之间的交 互信息可以通过对应的复杂网络表示，其中，网络中的节点代表系统中的个体，连边代表个体之间的关系[1]。网络科学是专门用于研究各种复杂网络系统的定性和定量规律的一门交叉学科[2]。然而，由于隐私政策和个体设置等原因，实际获收稿日期：2018?10?23. 网络出版日期：2019?01?10. 基金项目：国家自然科学基金项目(61573199, 61573197). 天津 市自然科学基金项目(14JCYBJC18700). 通信作者：陈增强. E-mail: chenzq@https://www.doczj.com/doc/9d13137541.html, .第 14 卷第 1 期 智 能 系 统 学 报Vol.14 No.12019 年 1 月 CAAI Transactions on Intelligent Systems Jan. 2019
贝叶斯预测模型 贝叶斯预测模型的概述 贝叶斯预测模型是运用贝叶斯统计进行的一种预测.贝叶斯统计不同于一般的统计方法,其不仅利用模型信息和数据信息，而且充分利用先验信息。 托马斯·贝叶斯(Thomas Bayes)的统计预测方法是一种以动态模型为研究对象的时间序列预测方法。在做统计推断时，一般模式是： 先验信息+总体分布信息+样本信息→后验分布信息 可以看出贝叶斯模型不仅利用了前期的数据信息，还加入了决策者的经验和判断等信息，并将客观因素和主观因素结合起来，对异常情况的发生具有较多的灵活性。这里以美国1960—2005年的出口额数据为例，探讨贝叶斯统计预测方法的应用。 [编辑] Bayes预测模型及其计算步骤 此处使用常均值折扣模型，这种模型应用广泛而且简单，它体现了动态现行模型的许多基本概念和分析特性。 常均值折扣模型 对每一时刻t常均值折模型记为DLM{1，1，V，δ}，折扣因子δ，O<δ 推论2：μt的后验分布()～N [m t，C t]，其中m t = m t? 1 + A t e t,C t = A T v t,A t = R t / Q t,e t = y t? f t 由于Rt=Ct-1+Wt=Ct-1/δ,故有W? t = C t? 1(δ? 1? 1) 其计算步骤为： (1)R t = C? t/ δ；(2)Q t = R t + V； (3)A t = R t / Q t；(4)f t? 1 = m t? 1； (5)e t? y t? f t? 1；(6)C t = A t V； (7)m t? m t? 1 + A t e t [编辑] 计算实例 根据The SAS System for Windows 9．0所编程序，对美国出口额(单位：十亿元)变化进行了预测。选取常均值折扣模型和抛物线回归模型。 美国出口额的预测，预测模型的初始信息为m0=304，Co=72，V=0.Ol，δ=0.8得到的1960—2006年的预测结果。见表2中给出了预测的部分信息(1980—2006年的预测信息)。 万方数据 万方数据 万方数据 基于时间序列分析的网络流量预测模型研究 作者：周德懋， 李舟军， 康荣雷， ZHOU Demao， LI Zhoujun， KANG Ronglei 作者单位：北京航空航天大学,计算机学院,北京,100191 刊名： 现代电子技术 英文刊名：MODERN ELECTRONICS TECHNIQUE 年，卷(期)：2009,32(8) 被引用次数：2次 参考文献(17条) 1.Garrett M W;Wilhinger W Analysis,Modeling and Generation of Self-similar VBR Video Traffic 1994 2.Chen Borsen;Yang Yusuarg;Botekuen Lee Fuzzy Adaptive Predictive Flow Control of Network Traffic[外文期刊] 2003(04) 3.刘嘉琨;金志刚;薛飞基于FARIMA过程的网络业务预报与应用[期刊论文]-电子与信息学报 2001(04) 4.Chen Liang;Wang Xiaofan;Han Zhengzhi Controlling Bifurcation and Chaos in Internet Congestion Control Model 2004(05) 5.Joachim H;Werner L Lyapunov Exponents from a Time Series of Acausic Chaos 1989(04) 6.文兰动力系统简介[期刊论文]-数学进展 2002(04) 7.文成林;周东华多尺度估计理论及其应用 2002 8.杨福生小波变换的工程分析与应用 1999 9.雷霆;余镇危一种网络流量预测的小波神经网络模型[期刊论文]-计算机应用 2006(03) 10.陈振伟;郭拯危小波神经网络预测模型的仿真实现[期刊论文]-计算机仿真 2008(06) 11.文成林;周东华多尺度估计理论及其应用 2002 12.张传斌;王学孝;邓正隆非线性时间序列的RBF神经网络预测方法及其应用[期刊论文]-热能动力工程 2001(03) 13.张玉瑞;陈剑波基于RBF神经网络的时间序列预测[期刊论文]-计算机工程与应用 2005(11) 14.林天峰基于最大熵原理的网络流量预测综合模型[期刊论文]-微电子学与计算机 2006(08) 15.郭琳;张大方;黎文伟基于稳态模型的流异常检测算法[期刊论文]-计算机工程 2006(19) 16.余健;郭平基于改进小波神经网络的网络流量预测研究[期刊论文]-计算机应用 2007(12) 17.郑成兴网络流量预测方法和实际预测分析[期刊论文]-计算机工程与应用 2006(23) 本文读者也读过(10条) 1.潘乔.罗辛.王高丽.裴昌幸.PAN Qiao.LUO Xin.WANG Gao-li.PEI Chang-xing基于FARIMA模型的流量抽样测量方法[期刊论文]-计算机工程2010,36(15) 2.李林峰.裘正定时间序列分析在网络流量预测中的应用研究[会议论文]- 3.赵海阔.朱正平.ZHAO Hai-kuo.ZHU Zheng-ping基于非线性算法的网络业务流量预测[期刊论文]-自动化与仪器仪表2010(4) 4.何建基于时间序列的网络流量分析与预测[期刊论文]-中国科技信息2005,2(22) 5.段智彬.孙恩昌.张延华.董燕.DUAN Zhi-bin.SUN En-chang.ZHANG Yan-hua.DONG Yan基于ARMA模型的网络流量预测[期刊论文]-中国电子科学研究院学报2009,4(4) 6.闵洁.李潇.MIN Jie.LI Xiao基于最小二乘支持向量机的网络流量预测[期刊论文]-九江学院学报（自然科学版）2010,25(1) 7.韩志杰.王汝传.段晓阳.HAN Zhi-jie.WANG Ru-chuan.DUAN Xiao-yang一种基于小波卡尔曼滤波的MPLS流量预测算法[期刊论文]-计算机技术与发展2010,20(11) 复杂网络论文：复杂网络链路预测节点相似度指数弱连接【中文摘要】自然界和人类社会中广泛存在着各种各样的复杂系统,而复杂系统可通过复杂网络来描述。复杂网络的研究将极大地促进复杂系统的研究与发展,对理解复杂系统的结构与功能具有重要的意义。近年来,复杂网络的研究正渗透到从物理学到生物学的众多不同学科,对复杂网络的定性特征与定量规律的深入探索、科学理解以及可能的应用,已经成为复杂系统或复杂性科学研究中一项极其重要的挑战性课题。链路预测是复杂网络中的一个新兴的研究方向,是指利用已知的网络节点和网络结构等信息预测网络中存在但尚未发现的未知链接和不存在但可能形成的未来链接。近年来,链路预测因其重要的理论价值和潜在的应用前景而广受关注,成为了复杂网络研究领域的研究热点之一。目前,链路预测的研究主要集中在无向无权网络,关于有向或加权网络的链路预测问题的研究较少。本论文以无向无权网络的链路预测算法为基础,分别发展了有向网络的链路预测算法和加权网络的链路预测改进算法。本论文共分四章,第一章简单介绍了复杂网络中链路预测及其研究意义。第二章回顾了无向无权网络中链路预测的研究进展。在第三章中,我们首先将12种针对无向网络的链路预测算法拓展有向网络的情况,建立起了基于局域连接信息的有向链路预测算法的基本框架。然后,基于有向网络模体的统计分析,我们构造了一种广义的共有邻居指数,同时也提出了一种两指数共同预测的结合指数。在10个真实有向网络中,我们对基于这些指数所建立的16种链路预测算法进行了测试和分析,得到了一些对实际应用 有一定指导意义的结论。特别地,归因于高的预测精度和低的计算复杂度,广义共有邻居指数和结合指数将有望在实际的链路信息挖掘中得到应用。在第四章,我们提出了一种适于加权网络链路预测的改进算法,在几个真实的加权网络中进行了测试,分析了强、弱链接对预测精度的影响,发现弱链接在实现链路的高精度预测方面具有比强链接更重要的作用。最后,我们对论文进行了总结,并对将来可能的研究方向进行了展望。 【英文摘要】Complex networks provide a qualitative description for various complex systemswhich exist extensively in nature and human society. The research of complex networksvastly boost the study of complex systems and is of great significance for understandingrelations between their structure and function. Recently, the research of complexnetworks is extended to a number of disciplines from physics to biology and others. Thedeeper analysis of the qualititative and quantitative characteristics of complexnetworks,accumulation of scientific knowledge and the mining of their potentialapplications are becoming an important and challenging subject for the research ofcomplex systems and complex science.As a new research direction of complex networks, link prediction is to predict themissing links which exist yet not been found and the future links which 朴素贝叶斯分类器的应用 作者：阮一峰 日期：2013年12月16日 生活中很多场合需要用到分类，比如新闻分类、病人分类等等。 本文介绍朴素贝叶斯分类器（Naive Bayes classifier），它是一种简单有效的常用分类算法。 一、病人分类的例子 让我从一个例子开始讲起，你会看到贝叶斯分类器很好懂，一点都不难。 某个医院早上收了六个门诊病人，如下表。 症状职业疾病 打喷嚏护士感冒 打喷嚏农夫过敏 头痛建筑工人脑震荡 头痛建筑工人感冒 打喷嚏教师感冒 头痛教师脑震荡 现在又来了第七个病人，是一个打喷嚏的建筑工人。请问他患上感冒的概率有多大？ 根据贝叶斯定理： P(A|B) = P(B|A) P(A) / P(B) 可得 P(感冒|打喷嚏x建筑工人) = P(打喷嚏x建筑工人|感冒) x P(感冒) / P(打喷嚏x建筑工人) 假定"打喷嚏"和"建筑工人"这两个特征是独立的，因此，上面的等式就变成了 P(感冒|打喷嚏x建筑工人) = P(打喷嚏|感冒) x P(建筑工人|感冒) x P(感冒) / P(打喷嚏) x P(建筑工人) 这是可以计算的。 P(感冒|打喷嚏x建筑工人) = 0.66 x 0.33 x 0.5 / 0.5 x 0.33 = 0.66 因此，这个打喷嚏的建筑工人，有66%的概率是得了感冒。同理，可以计算这个病人患上过敏或脑震荡的概率。比较这几个概率，就可以知道他最可能得什么病。 这就是贝叶斯分类器的基本方法：在统计资料的基础上，依据某些特征，计算各个类别的概率，从而实现分类。 二、朴素贝叶斯分类器的公式 假设某个体有n项特征（Feature），分别为F1、F2、...、F n。现有m个类别（Category），分别为C1、C2、...、C m。贝叶斯分类器就是计算出概率最大的那个分类，也就是求下面这个算式的最大值： P(C|F1F2...Fn) = P(F1F2...Fn|C)P(C) / P(F1F2...Fn) 由于 P(F1F2...Fn) 对于所有的类别都是相同的，可以省略，问题就变成了求 P(F1F2...Fn|C)P(C) 的最大值。 Microcomputer Applications Vol. 25, No.11, 2009 技术交流 微型电脑应用 2009年第25卷第11期 ·31· 文章编号：1007-757X(2009)11-0031-03 基于贝叶斯网络技术的软件缺陷预测与故障诊断 王科欣，王胜利 摘 要：如何进一步地提高软件的可靠性和质量是我们十分关注的问题，而前期软件缺陷和后期软件故障的诊断都是控制质量的关键手段，由此我们提出了基于贝叶斯的神经网络。基于对贝叶斯网络和神经网络理论的分析，发现贝叶斯网络和神经网络各自的优点与不足，利用贝叶斯具有前向推理的优势进行故障诊断，利用神经网络学习算法能够处理更复杂网络结构的优势来积累专家知识，最后提出了贝叶斯网络与概率神经网络相结合的模型，该模型可以更好地兼顾软件缺陷与故障诊断两个方面。 关键词：贝叶斯；神经网络；测试；缺陷预测；故障诊断 中图分类号：TP311.5 文献标志码：A 0 引言 如何进一步提高软件的可靠性和质量是我们十分关注的问题，软件可能存在缺陷，我们在软件的整个生命周期中始终期望能及早发现重要错误，并及时诊断。这就告诉我们，在进行软件前期预测时，就应该重视和记录重要缺陷，以便在故障发生时能通过早期预测的记录表找到故障原因。这就说明软件缺陷预测和故障诊断不应该是两个独立的过程，而应该有所联系。本文就通过贝叶斯网络和模糊神经网络对两项工作进行了整合。通过贝叶斯的在推理规则上的优势，尤其是前向推理的特点进行故障诊断，利用神经网络学习和训练函数的复杂多样性，可以更好地拟合复杂情况。 1 软件缺陷预测与故障诊断 1.1 软件缺陷预测的两个方面 1.1.1 对于软件可靠性早期预测 对于开发者而言，在开发软件之前或者设计软件中，主要作用是进行风险控制，验证其设计可行性。由于贝叶斯网络可以在信息不完全的情形下进行不确定性和概率性事件的推理，所以对于复杂软件的早期预测具有先天的优势。软件缺陷数量属于动态度量元素，需要通过对软件产品进行完整的测试后才能获得。针对特定模块进行完整测试成本比较高，并且必须在软件开发完成之后才能进行集成测试，这样在前期很难控制软件产品缺陷数量。为了更好地提高软件质量，对软件模块中包含的缺陷进行预测是一个可行的方法。软件缺陷预测方法的前提假设是软件的复杂度和软件的缺陷数量有密切关联。复杂度高的软件模块产生的缺陷比复杂度低的模块产生的缺陷多。软件缺陷预测的思路是使用静态度量元素表征软件的复杂度，然后预测软件模块可能的缺陷数量或者发生缺陷的可能性。通过进行软件缺陷预测，能够以较低的成本在项目开发的早期预测产品的缺陷分布状况，可以更好的调整有限的资源，集中处理可能出现较多缺陷的高风险模块，从而从整体上提高软件产品的质量。 1.1.2 对于软件残留缺陷的预测 对于测试者而言，通过质量预测，可将软件的各个组成部分按预测的质量水平进行分类，明确测试的重点，避免在进行测试时同等对待，而是有所侧重，这对节约有限资源和缩短开发周期都有着十分重要的意义。软件的测试和修改是一个螺旋式上升的过程。由于资源和时间的有限投入，什么时候软件达到了要求的质量水平从而能够投入实际使用是一个十分关键的问题。对残留缺陷进行预测，目的就是为了确保代码中的缺陷数量维持在一个安全水平。对测试经理来说，估计目前软件的测试到了哪个阶段、还应该继续做到什么样水平，这都是尤其重要的。从软件经济学的观点上来看，它关系到产业界的投入产出比、测试过度，不能再检查出太 多错误，或者说检查耗费很长的时间和很多的人力，但最终是一个细微的错误，这是不经济的；但是如果残留缺陷还比较多，就停止测试工作，那么会使得这些缺陷在未排除的情 况下交付给用户，等到用户发现错误时，维护的成本就会更 高。因此，正确预测软件残留缺陷对于交付使用后的软件维护也具有重要意义。 1.2 软件故障诊断技术 软件故障诊断是根据软件的静态表现形式和动态信息查找故障源，并进行分析，给出相应的决策。其中静态形式包括程序、数据和文档，动态信息包括程序运行过程中的一系列状态，人在参与软件生存周期的各个阶段工作时，都有可能由于各种疏忽和不可预料的因素，出现各种各样的错误。因而，从广义上说，软件故障诊断的工作涉及到软件的整个生命周期——需求分析、设计、编码、测试、使用、维护等各阶段所造成的缺陷。 软件故障诊断，“诊”的主要工作是对状态检测，包括使用各种度量和分析方法；“断”的工作则更为具体，它需要确定：（1）软件故障特性；（2）软件故障模式；（3）软件故障发生的模块和部位；（4）说明软件故障产生的原因，并且提出相应的纠正措施和避免下一次再发生该类错误的措——————————— 作者简介：王科欣（1982-） ，男，湖南长沙人，暨南大学计算机科学系，硕士研究生，软件设计师，广东体育职业技术学院助教，主要研究方向为软件工程、数据库与知识工程，广东 广州，510632；王胜利（1984-），男，湖南衡阳人，暨南大学计算机科学系，硕士 研究生，研究方向为软件工程、数据挖掘，广东 广州，510632基于时间序列分析的网络流量预测模型研究
复杂网络论文：复杂网络链路预测节点相似度指数弱连接
朴素贝叶斯分类器应用
基于贝叶斯网络技术的软件缺陷预测与故障诊断
相关主题
文本预览