分布估计算法的模型分析与研究
毕丽红 刘 渊 张 静
（石家庄铁路职业技术学院 河北石家庄 ０５００４１）
摘要：分布估计算法是在遗传算法基础上发展起来的一类新型进化优化算法。分布估计算
法采用概率图模型表示基因变量之间的连锁关系，以构建优良解集的概率分布模型和采样分布
模型来实现迭代优化。详细分析分布估计算法的基本原理，对采用不同概率图模型的分布估计
算法进行总结和分析，并针对分布估计算法领域的研究现状，提出仍需解决的主要问题。
关键词：分布估计算法 遗传算法 概率图模型
中图分类号：TP301 文献标识码：A 文章编号：1673-1816(2008)01-0030-05
遗传算法（Genetic Algorithms，GA）[1]是一种借鉴生物界自然遗传机制的高度并行和自适应的全局优化随机搜索算法，具有功能强、鲁棒性好、计算简单、对搜索空间无限制等特点。已经成功应用于函数优化、机器学习、数据挖掘和图像识别等领域，然而，遗传算法本身还存在一些问题。首先，遗传算法的关键是处理进化过程中的积木块（building block）[2]，然而交叉算子和变异算子不具有学习和识别基因之间连锁关系的能力，所以实际的重组操作经常造成积木块的破坏，从而导致算法逼近局部最优解或早熟；另外，遗传算法中操作参数的选择依赖性强，甚至参数选择本身就是一个优化问题[3]；第三，遗传算法的理论基础还比较薄弱。为了解决遗传算法的这些问题，更好地解决各种难解优化问题，各种改进遗传算法不断出现。至今，探索和设计能够快速、可靠、准确求解各种复杂优化问题的可胜任的遗传算法（competent GA）[2]一直是进化计算领域的一项重要课题。１ 分布估计算法的基本原理
针对积木块被破坏的问题，对传统遗传算法有代表性的改进方法主要有两类：一类是改变算法中解的表示，通过基因级而不是染色体一级的重组操作来改善遗传算法的性能。如连锁学习遗传算法（LLGA）、基因表达混乱遗传算法（GEMGA）等，然而最近一些研究表明，此类算法所具有的连锁学习（linkage learning）能力不足以解决复杂的优化问题。另一类算法则是改变重组操作的基本原理，将遗传算法中基因的交叉和变异操作改进为学习优良解集中基因的概率分布，其基本思想是从当前种群中选取部分优良解，并利用这些优良解估计和学习染色体中基因的分布模型，然后采样该分布模型产生新的染色体和种群。逐次迭代，最后逼近最优解。基于这种由分布模型改进进化算法的思想形成的一类新型优化算法称为分布估计算法（Estimation of Distribution Algorithms, EDAs）或基于概率模型的遗传算法（Probabilistic Model-Building Genetic Algorithms, PMBGAs）。
收稿日期：２００７－１１－０９
作者简介：毕丽红（１９７０－），女，汉，河北石家庄人，硕士，副教授，研究方向智能控制。
基金项目：河北省科学技术研究与发展基金项目（０７２１３５１３４）
第１期 毕丽红，等 分布估计算法的模型分析与研究
分布估计算法最早是由Mühlenbein, H. & Paa?于1996年提出的。作为一类在遗传算法基础上发展起来的新型进化优化算法，分布估计算法也采用了“选择+繁殖”的群体进化策略，但由于利用构建概率图模型和采样概率图模型的进化方法，由
优良解集的概率分布来引导进化搜索的前进方
向，避免了传统遗传算法中交叉算子和变异算子
带来的盲目性和随机性，有效地提高了进化搜索
效率。分布估计算法的流程如图1所示。
根据基因变量之间的依赖关系的不同，分布
估计算法可以分为基于变量独立模型的分布估
计算法、基于双变量依赖模型的分布估计算法和
基于多变量依赖模型的分布估计算法。 ２ 基于变量独立模型的分布估计算法
最初的分布估计算法都假设n 维向量中所
有随机变量都是相互独立的，也就是假设候选解中所有基因之间没有连锁关系，因此，n 维联合概率分布可以分解成n 个独立单变量概率分布的乘积。在这种情况下，模型的结构是固定的，只需要对模型的参数进行学习。
２．１ 基于群体的增量学习算法
在基于群体的增量学习算法（Population Based Incremental Learning ，PBIL ）中，第l 代种群由一个n 维概率向量12()((),(),......())l l l l n p x p x p x p x =表示。其中()p x l i 表示向量中第i 个分量取1的概率，也就是二进制表示的解集中第i 位取1的概率。
在PBIL 算法运行时，概率向量初始值为（0.5,0.5……0.5）。在每一代，利用概率向量产生M 个个体，然后从这M 个个体中选择N （N =M ）个最优解，这N 个最优解代表了种群的进化方向，因 此可由这N 个最优个体产生新一代种群。新种群产生的方法是更新概率向量：11()(1)()(1)l l i p x a p x a m X N +=?+=。
其中a 为学习率，取值范围为(]0,1a ∈， (1)m X i =表示种群中N 个最优个体中1X i =的个数。 ２．２ 单变量边缘分布算法
在单变量边缘分布算法（Univariate Marginal Distribution Algorithm ，UMDA ）[11]中，种群由M 个个体组成。在每一代，从M 个个体中选择N 个优良解，然后计算优良解集中每一位取1的频率，并由此产生概率分布模型，进而采样该分布模型产生新一代种群。在UMDA 中，每个单变量边缘分 布由优良解集中每一位取1的频率来估算，即：(1)(1)m X i
p x i N ===。
(1)m X i
=表示被选择的N 个优良解中的第i 位取1的个数。 在PBIL 中，如果a =1，则与UMDA 相同，因此可以把UMDA 看作PBIL 的一个特例。
２．３ 压缩遗传算法
与PBIL 类似，在压缩遗传算法（compact Genetic Algorithm ，cGA ）[3]中种群由一个概率向量表示。每一代由概率分布采样产生两个相互竞争的个体winner x 和loser x ，算法根据优胜解winner x 等位基因上
的值来更新概率向量。如果winner x 和loser x 第i 个等位基因的值不同，则概率向量相应分量()l i p x 根据winner x 在该位置上的值是1或0而相应增加或减少1/s ，其中s 为种群规模。
图１ 分布估计算法的流程图
石家庄铁路职业技术学院学报 ２００８年第１期
在PBIL 、UMDA 和cGA 中，都假设各变量是相互独立的，在概率图模型中各节点之间没有边或弧相连，其概率图模型如图2所示。
３ 基于双变量依赖模型的分布估计算法
各变量相互独立是一个非常苛刻的条件假设，能够
满足这一条件的优化问题非常少。在绝大多数实际问题
中，各变量之间都存在一定的相互联系。本节中的几种
算法就假设两个变量之间存在相互依赖关系。此时，在算法中除了需要确定参数以外，还要对模型的结构进行学习。
３．１ 输入聚类最大互信息算法
输入聚类最大互信息算法（Mutual Information Maximization for Input Clustering ，MIMIC ）[4]把所有的随机变量之间的相互关系假设成了一个链连接关系，在n 个随机变量组成的链中，只有相邻节点之间存在相互联系。在每一代，MIMIC 搜索一个变量之间的最优排列()l p
x π，使被选择优良解集的概率分布()l p x 与该排列定义的概率分布()l p
x π最接近。其中：12231()()()......()()n n n l l i i l i i l i i l i p x p x x p x x p x x p x π?=g g g 。12(,,......)n i i i π=表示序号1,2,……n 的一个排列。两个概率分布()l p x 与()l p
x π
之间的接近程度Kullback-Liebler 度量来表示。在求得排列()l p x π
后，采样该排列产生下一代种群。
３．２ 双变量边缘分布算法
双变量边缘分布算法（Bivariate Marginal Distribution Algorithm ，BMDA ）假设待求解问题的概率模型是一组树结构（或称为森林结构）。这一组树组成的模型可以定义为一个三元组G ={V ,E ,R }，其中V 是节点的集合；E V V ?×是边的集合；而R 则是所有树的根节点的集合。在每一代，BMDA 算法的概率分布为：\()()(())r i i r R i V R p x p x p x p a x ∈∈=∏
∏。其中，R 表示根节点的集合，V 表示n 个变量的集合，概率分布()r p x 和(())i i p x pa x 由被选择的优良解集
来进行估计。在BMDA 中，节点之间是否存在
依赖关系采用Peason 的2
χ统计，对于两个随机变量的2χ统计量，如果2
χ<3.84，则认为它们之间是相互独立的（显著性水平95 %）。
MIMIC 、COMIT 和BMDA 都假设基因变量之间两两相关，并分别采用了链形、树形和森林结构，其概率图模型如图3所示。
４ 基于多变量依赖模型的分布估计算法
假设三个及三个以上随机变量之间存在相互依赖关系的算法属于多变量分布估计算法，许多复杂优化问题都属于多变量依赖的问题。假设多个随机变量之间存在相互依赖关系，概率模型非常复杂，构建概率模型的计算量很大，因此一般采用贪婪算法寻找次优解。
４．１ 扩展压缩遗传算法
扩展压缩遗传算法（Extended Compact Genetic Algorithm ，ECGA ）的基本思想是利用聚类分析的方法把所有变量划分成彼此独立的变量组，每一组变量的边缘分布作为其联合分布，并在每一组内使用cGA 算法。此时，全部变量的联合概率分布就是所有各组变量的边缘分布的乘积。ECGA 使用的这种概率模型称为边缘乘积模型。
图2 PBIL 、UMDA 和cGA
的变量独立模型（a ）链模型 （b ）树模型 （c ）森林模型图3 MIMIC 、COMIT 和BMDA 算法的概率图模型
第１期 毕丽红，等 分布估计算法的模型分析与研究
在划分变量组时，ECGA采用了最小描述长度准则（MDL），算法利用模型复杂度C m和压缩群体的复杂度C p之和来定义边缘乘积模型的组合复杂度C c。为了减少计算量，ECGA采用了贪婪算法进行变量组的划分。首先假设每个变量作为一组，然后算法将变量组两两组合，并选取使模型组合复杂度最小的一种组合方式进行合并，构成一个新组，算法一直进行这种合并，直到没有变量组可以合并为止。
４．２ 基于贝叶斯网络的分布估计算法
贝叶斯网络[18]是一个二元组（S,θ），其中，S表示变量之间的依赖关系，参数θ表示局部概率分布。完整的贝叶斯网络构建过程包括结构学习和参数学习两部分。在分布估计算法中，由于数据集就是被选择的优良解集，因此数据集是完备的，参数可以通过计算数据集中样本变量的频数来获得。所以对于分布估计算法而言，其核心是贝叶斯网络的结构学习。
基于贝叶斯网络的分布估计算法主要有贝叶斯优化算法（Bayesian Optimization Algorithm，BOA）和贝叶斯网络估计算法（Estimation of Baysian Networks Algorithm，EBNA）等。
贝叶斯优化算法是由Pelikan等提出的一种利用贝叶斯网络表示基因变量之间相互依赖关系的优化算法。该算法采用BD度量标准来评价网络结构，用贪婪搜索算法寻找一个在该评价标准下最优的贝叶斯网络。
贝叶斯网络估计算法也是一类利用贝叶斯网络来编码概率分布的分布估计算法。根据贝叶斯网络构建过程中采用不同的结构学习算法，贝叶斯网络估计算法可以分为EBNA PC、EBNA K2+pen、EBNA BIC等算法。EBNA PC采用PC算法；EBNA K2+pen采用BD评价标准和K2算法；EBNA BIC采用BIC评价标准。
及基于贝叶斯网络的BOA和 EBNA的概
率图模型。
４．３ 基于高斯网络的分布估计算法
高斯网络估计算法（Estimation of
Gaussian Network Algorithm, EGNA）[5]是
一类学习和采样高斯网络模型来实现优化
问题求解的分布估计算法，主要包括EGNA ee、EGNA BGe和EGNA BIC三种算法。在每一次迭代过程中EGNA主要有以下几个主要步骤：首先，利用不同的方法学习高斯网络的结构（EGNA ee采用边排除测试的方法；EGNA BGe采用贝叶斯评价标准+搜索的方法；EGNA BIC采用BIC评价标准+搜索的方法）；然后对网络参数进行学习并利用学习到的网络结构和参数构建高斯网络模型；最后采样编码的高斯网络。
４．４ 基于其它分布模型的分布估计算法
贝叶斯网络和高斯网络等有向概率图模型已经成功应用于分布估计算法，近几年，一类无向概率图模型——马尔科夫随机场也开始被应用于分布估计算法，并取得了一些成果。另外一些学者还将隐变量模型引入分布估计算法，利用主成分分析或独立分量分析等方法构建概率模型。
５ 结论
分布估计算法是在遗传算法基础上发展起来的一类新型智能优化算法。分布估计算法采用基因
石家庄铁路职业技术学院学报 ２００８年第１期
间的联合概率分布来表示其连锁关系，利用统计学习方法引导种群的进化方向，从原理上克服了传统遗传算法中难以解决的连锁学习问题。避免了遗传算法中交叉和变异操作造成的积木块破坏，减少了参数设置和遗传算子选择的盲目性和随机性，具有更高的理论基础和进化导向性。因此，自20世纪90年代后期提出后就备受学术界关注，成为当前国际国内进化算法界的研究热点，其应用范围也在不断扩展。
由于分布估计算法出现的时间较短，因此还有许多问题需要解决。首先，如何确定染色体中各基因变量的分布模型是分布估计遗传算法中的关键。目前已经建立了多种分布模型，提出了多种算法。然而这些模型基本是基于Bernoulli分布或高斯分布的单一分布模型，基于混合分布模型的算法研究刚刚起步，如何设计出适应各种复杂优化问题的快速、准确、可靠的分布估计算法是该领域争相解决的难点问题；其次，作为一种新型进化算法，如何借鉴已有进化算法的优点或结合统计学、人工智能、机器学习等领域的知识进一步提高分布估计算法的运行效率也是需要研究的重要问题；第三，部分学者对分布估计算法的理论进行了研究，对其进化机制、收敛性以及时间和空间复杂度等方面进行初步分析，但还远没有形成完整的理论框架。最后，与传统遗传算法相比，分布估计算法的应用领域还有待进一步拓宽。
（责任编辑 张宇平）参考文献：
[1]GOLDBERG, D. E. Genetic Algorithms in Search, Optimization, and machine Learning [M]. Addison-Wesley,1989
[2]GOLDBERG, D. E. The design of innovation - lessons from and for competent genetic algorithms [M]. Norwell, MA: Kluwer Academic Publishers, 2002
[3]GREFENSTETTE, J. J. Optimization of Control Parameters for Genetic Algorithms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1986, 16(1):122～128
[4]HARIK, G. R. Learning gene linkage to efficiently solve problems of bounded difficulty using genetic algorithms [D]. Ann Arbor, University of Michigan, 1997
[5]KARGUPT, H. The gene expression messy genetic algorithm: Proceedings of the 1996 IEEE International Conference on Evolutionary Computation[C]. IEEE Press, 1996:631～636
Analysis and Research Models of the Estimation of Distribution Algorithms
Bi Lihong Liu Yuan Zhang Jing
(Shijiangzhuang Institute of Railway Technology Shijiazhuang Hebei 050041 China )
Abstract：The Estimation of Distribution Algorithms (EDAs) is a novel class of evolutionary algorithms which is motivated by the idea of building probabilistic graphical model of promising solutions to represent linkage information between variables in chromosome. Through learning of and sampling from probabilistic graphical model, new population is generated and optimization procedure is repeated until the stopping criteria are met. In this paper, the mechanism of the Estimation of Distribution Algorithms is analyzed. Currently existing EDAs are surveyed and categorized according to the probabilistic model they used, then the strengths and weaknesses and the future perspective of EDAs are concluded.
Key words：Estimation of Distribution Algorithms Genetic Algorithms probabilistic graphical model
路由算法是路由协议必须高效地提供其功能，尽量减少软件和应用的开销。 路由器使用路由算法来找到到达目的地的最佳路由。 关于路由器如何收集网络的结构信息以及对之进行分析来确定最佳路由，有两种主要的路由算法：总体式路由算法和分散式路由算法。采用分散式路由算法时，每个路由器只有与它直接相连的路由器的信息——而没有网络中的每个路由器的信息。这些算法也被称为DV（距离向量）算法。采用总体式路由算法时，每个路由器都拥有网络中所有其他路由器的全部信息以及网络的流量状态。这些算法也被称为LS（链路状态）算法。 收敛是在最佳路径的判断上所有路由器达到一致的过程。当某个网络事件引起路由可用或不可用时，路由器就发出更新信息。路由更新信息遍及整个网络，引发重新计算最佳路径，最终达到所有路由器一致公认的最佳路径。收敛慢的路由算法会造成路径循环或网络中断。 路由算法的核心是路由选择算法，设计路由算法时要考虑的技术要素有： 1、选择最短路由还是最佳路由； 2、通信子网是采用虚电路操作方式还是采用数据报的操作方式； 3、采用分布式路由算法还是采用集中式路由算法； 4、考虑关于网络拓扑、流量和延迟等网络信息的来源； 5、确定采用静态路由还是动态路由。 各路由算法的区别点包括：静态与动态、单路径与多路径、平坦与分层、主机智能与路由器智能、域内与域间、链接状态与距离向量。 链接状态算法（也叫做短路径优先算法）把路由信息散布到网络的每个节点，不过每个路由器只发送路由表中描述其自己链接状态的部分。 距离向量算法（也叫做 Bellman-Ford算法）中每个路由器发送路由表的全部或部分，但只发给其邻居。 也就是说，链接状态算法到处发送较少的更新信息，而距离向量算法只向相邻的路由器发送较多的更新信息。 metric是路由算法用以确定到达目的地的最佳路径的计量标准，如路径长度。
精品文档 数据分析算法与模型模拟题（一） 一、计算题（共4题，100分） 1、影响中国人口自然增长率的因素有很多，据分析主要因素可能有：（1）从宏观经济上看，经济整体增长是人口自然增长的基本源泉；（2）居民消费水平，它的高低可能会间接影响人口增长率。(3)文化程度，由于教育年限的高低，相应会转变人的传统观念，可能会间接影响人口自然增长率（4）人口分布，非农业与农业人口的比率也会对人口增长率有相应的影响。为了全面反映中国“人口自然增长率”的全貌，选择人口增长率作为被解释变量，以反映中国人口的增长；选择“国名收入”及“人均GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。暂不考虑文化程度及人口分布的影响。 从《中国统计年鉴》收集到以下数据（见表1）： 表1 中国人口增长率及相关数据 人口自然增长率国民总收入居民消费价格指数增长人均GDP 年份（元）率（（亿元） CPI（%。））% 1366 15037 1988 15.73 18.8 1519 1989 18 17001 15.04 1644 18718 1990 14.39 3.1 1893 21826 3.4 1991 12.98 2311 26937 11.6 6.4 1992 2998 35260 14.7 11.45 1993 4044 48108 1994 24.1 11.21 5046 17.1 10.55 59811 1995 5846 70142 1996 10.42 8.3 6420 10.06 1997 2.8 78061 -0.8 1998 9.14 83024 6796 8.18 7159 1999 88479 -1.4 7858 2000 0.4 7.58 98000 精品文档． 精品文档
科研常用的实验数据分析与处理方法 对于每个科研工作者而言，对实验数据进行处理是在开始论文写作之前十分常见的工作之一。但是，常见的数据分析方法有哪些呢？常用的数据分析方法有：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析。 1、聚类分析(Cluster Analysis) 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析(Factor Analysis) 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。
3、相关分析(Correlation Analysis) 相关分析(correlation analysis)，相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y 分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析(Correspondence Analysis) 对应分析(Correspondence analysis)也称关联分析、R-Q 型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。 5、回归分析 研究一个随机变量Y对另一个(X)或一组(X1，X2，…，Xk)变量的相依关系的统计分析方法。回归分析(regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一
剖析大数据分析方法论的几种理论模型 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 作者：佚名来源：博易股份|2016-12-01 19:10 收藏 分享 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 利用大数据分析的应用案例更加细化的说明做大数据分析方法中经常用到的几种理论模型。 以营销、管理等理论为指导，结合实际业务情况，搭建分析框架，这是进行大数据分析的首要因素。大数据分析方法论中经常用到的理论模型分为营销方面的理论模型和管理方面的理论模型。 管理方面的理论模型： ?PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等?PEST：主要用于行业分析 ?PEST：政治(Political)、经济(Economic)、社会(Social)和技术(Technological) ?P：构成政治环境的关键指标有，政治体制、经济体制、财政政策、税收政策、产业政策、投资政策、国防开支水平政府补贴水平、民众对政治的参与度等。?E：构成经济环境的关键指标有，GDP及增长率、进出口总额及增长率、利率、汇率、通货膨胀率、消费价格指数、居民可支配收入、失业率、劳动生产率等。?S：构成社会文化环境的关键指标有：人口规模、性别比例、年龄结构、出生率、死亡率、种族结构、妇女生育率、生活方式、购买习惯、教育状况、城市特点、宗教信仰状况等因素。
?T：构成技术环境的关键指标有：新技术的发明和进展、折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度、国家重点支持项目、国家投入的研发费用、专利个数、专利保护情况等因素。 大数据分析的应用案例：吉利收购沃尔沃 大数据分析应用案例 5W2H分析法 何因(Why)、何事(What)、何人(Who)、何时(When)、何地(Where)、如何做(How)、何价(How much) 网游用户的购买行为： 逻辑树：可用于业务问题专题分析
一、描述统计描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。 1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策 树法。 2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W 检验、动差法。 二、假设检验 1、参数检验 参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数（如均值、百分数、方差、相关系数等）进行的检验。 1）U验使用条件：当样本含量n较大时，样本值符合正态分布 2）T检验使用条件：当样本含量n较小时，样本值符合正态分布 A 单样本t检验：推断该样本来自的总体均数卩与已知的某一总体均数卩0 （常为理论值或标准值）有无差别； B 配对样本t 检验：当总体均数未知时，且两个样本可以配对，同对中的两者在可能会影响处理效果的各种条件方面扱为相似； C 两独立样本t 检验：无法找到在各方面极为相似的两样本作配对比较时使用。 2、非参数检验 非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。 适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。 A 虽然是连续数据，但总体分布形态未知或者非正态； B 体分布虽然正态，数据也是连续类型，但样本容量极小，如10 以下； 主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。 三、信度分析检査测量的可信度，例如调查问卷的真实性。 分类： 1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度 2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何，常用方法分半信度。 四、列联表分析用于分析离散变量或定型变量之间是否存在相关。对于二维表，可进行卡 方检验，对于三维表，可作Mentel-Hanszel 分层分析列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。 五、相关分析 研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相关程度。 1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量； 2、复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个以
经典路由算法 一、先验式路由协议(DSDV) 先验式路由协议是一种基于表格的路由协议。在这种协议中，每个节点维护一张或多张表格，这些表格包含到达网络中其它所有节点的路由信息。当检测到网络拓扑结构发生变化时，节点在网络中发送路由更新信息。收到更新信息的节点更新自己的表格，以维护一致的、及时的、准确的路由信息。 不同的先验式路由协议的区别在于拓扑更新信息在网络中传输的方式和需要存储的表的类型。先验式路由协议不断的检测网络拓扑和链路质量的变化，根据变化更新路由表，所以路由表可以准确地反映网络的拓扑结构。源节点一旦需要发送报文，可以立即得到到达目的节点的路由。 （DSDV、OLSR路由协议等很多普通的因特网路由协议）它们查找路由是不依赖于路径上的节点是否要发包，而是每个节点维护一张包含到达其它节点的路由信息的路由表。节点间通过周期性的交换路由信息来不断更新自身的路由表，以便能够及时的反映网络拓扑结构和变化，以维护一致的、及时的、准确的路由信息。
DSDV:目的节点序列距离矢量协议（待补充） 可以解决路由成环问题，每一个节点维持一个到其它节点的路由表，表的内容为路由的“下一跳”节点。 1）给每条路径增加了一个序列号码 2）每个目的节点会定期广播一个单调递增的偶数序列号号码 3）当一个节点发现它到某个目的节点的路径断开时，它把到这个节点的距离 设为无穷大。并且将这条路径的序列号加1（此时为奇数），然后向网络中 广播这个更新包。当这条路径修复时，它又将序列号加1然后广播出去。 换另一种方式来说，每个节点都保持着一张路由表，路由表中的每一项记录了 它到目的节点的距离和序列号，也就是（s，d）。我们假设有一目的节点为D， 当以下任何一情况发生时，都会发送更新： 1）D定期将自己的序列号加2并广播出去，即（S，0） 2）如果节点X要通过Y到达节点D，当X和Y之间的连接断开后，X将到D的路径的序列号加1，同时将路径值设为∞，然后将信息发送给邻居。 参考资料：https://www.doczj.com/doc/1410876855.html,/candycat1992/article/details/8100146CSDN博客DSDV协议 DSDV创新之处是为每一条路由设置一个序列号，序列号大的路由为优选路由，序列号相同时，跳数少的路由为优选路由。正常情况下，节点广播的序列号是单调递增的偶数，当节点B发现到节点D的路由(路由序列号为s)中断后，节点B 就广播一个路由信息，告知该路由的序列号变为s+l，并把跳数设置为无穷大，这样，任何一个通过B发送信息的节点A的路由表中就包括一个无穷大的距离，这一过程直到A收到一个到达D的有效路由(路由序列号为s+1-1)为止。 在此方案中，网络内所有的移动终端都建立一个路由表，包括所有的目的节点到达各个目标节点的跳跃次数(或标识距离矢量的路径矩阵)。每个路由记录都有一个由目标节点设定的序列号。序列号使移动终端可以区分当前有效路由路径和已过时的路由路径。路由表周期性地做全网更新以维护全网的通信有效性。通常，为了减少由于路由表更新而产生的大量路由信息传递，减少网络路由开销，可以采用两种路由更新方式。 1）第一种是全清除方式： 即通过多个网络协议数据单元将路由更新信息在全网中传输。如果网络内终端出现移动，则产生的新路由分组信息不定期的传达至网络内所有终端。 2）第二种是部分更新方式： 或称为增量更新方式，即在最后一次全清除传输后，只传递那些涉及变化了的路
数据分析算法与模型模拟题（一） 一、计算题（共4题，100分） 1、影响中国人口自然增长率的因素有很多，据分析主要因素可能有：（1）从宏观经济上看，经济整体增长是人口自然增长的基本源泉；（2）居民消费水平，它的高低可能会间接影响人口增长率。(3)文化程度，由于教育年限的高低，相应会转变人的传统观念，可能会间接影响人口自然增长率（4）人口分布，非农业与农业人口的比率也会对人口增长率有相应的影响。为了全面反映中国“人口自然增长率”的全貌，选择人口增长率作为被解释变量，以反映中国人口的增长；选择“国名收入”及“人均GDP”作为经济整体增长的代表；选择“居民消费价格指数增长率”作为居民消费水平的代表。暂不考虑文化程度及人口分布的影响。 从《中国统计年鉴》收集到以下数据（见表1）： 表1 中国人口增长率及相关数据 人口自然增长率国民总收入居民消费价格指数增长人均GDP 年份（元））% 率（（亿元）（%。）CPI1366 15037 1988 15.73 18.8 1519 15.04 17001 18 1989 1644 3.1 18718 1990 14.39 1893 12.98 1991 21826 3.4 2311 11.6 26937 1992 6.4 2998 35260 1993 11.45 14.7 4044 11.21 48108 1994 24.1 5046 59811 1995 10.55 17.1 5846 8.3 10.42 1996 70142 6420 78061 10.06 2.8 1997 6796 9.14 1998 83024 -0.8 7159 1999 88479 8.18 -1.4 7858 2000 98000 7.58 0.4 8622 6.95 2001 0.7 108068 9398 -0.8 2002 6.45 119096 10542 1.2 6.01 2003 135174 12336 3.9 5.87 2004 159587 14040 1.8 184089 5.89 2005 16024 1.5 5.38 213132 2006 设定的线性回归模型为： 算法1多元线性回归.xlsx （1）求出模型中的各个参数，试从多个角度评价此线性回归模型，并检验模型
常用的数理统计及数据处理方法 水泥厂生产中的质量控制和分析都是以数据为基础的技术活动。如果没有数据的定量分析，就无法形成明确的质量概念。因此，必须通过对大量数据的整理和分析，才能发现事物的规律性和生产中存在的问题，进而作出正确的判断并提出解决的方法。 第一节数理统计的有关概念 一、个体、母体与子样 在统计分析中，构成研究对象的每一个最基本的单位称为个体。 研究对象的所有个体的集合即全部个体称为母体或总体，它可以无限大，也可以是有限的，如一道工序或一批产品、半成品、成品，可根据需要加以选择。 进行统计分析，通常是从母体中随机地选择一部分样品，称为子样（又称样本）。用它来代表母体进行观察、研究、检验、分析，取得数据后加以整理，得出结论。取样只要是随机和足够的数量，则所得结论能近似地反映母体的客观实际。抽取样本的过程被称作抽样；依据对样本的检测或观察结果去推断总体状况，就是所谓的统计推断，也叫判断。 例如，我们可将一个编号水泥看成是母体，每一包水泥看成是个体，通过随机取样（连续取样或从20个以上不同部位取样），所取出的12kg检验样品可称为子样，通过检验分析，即可判断该编号水泥（母体）的质量状况。 二、数据、计量值与计数值 1，数据 通过测试或调查母体所得的数字或符号记录，称为数据。在水泥生产中，无任对原材料、半成品、成品的检验，还是水泥的出厂销售，都要遇到很多报表和数据，特别是评定水泥质量好坏时，更要拿出检验数据来说明，所以可用与质量有关的数据来反映产品质量的特征。 根据数据本身的特征、测试对象和数据来源的不同，质量检验数据可分为计量值和计算值两类。 2，计量值 凡具有连续性或可以利用各种计量分析一起、量具测出的数据。如长度、质量、温度、化学成分、强度等，多属于计量值数据。计量值也可以是整数，也可以是小数，具有连续性。
车载网络综述及相关路由算法分析 Overview of V ANET and analysis of relevant routing algorithm 软网1301 王建帮 201192181 软网1301 张凯源 1车载网络综述 1.1相关概念 随着相关技术的发展，越来越多的无线设备开始被应用在汽车上，如远程钥匙、PDAs、 智能手机等，车载网络(英文术语为Vehicular Ad hoc Network，即VANET)的概念因而被 提出。在Vehicular ad hoc networks(VANETS):status, results, and challenges一文中，作者从 以下四个方面对VANET作出了较为全面的阐述： 1)Intelligent transportation systems (ITSs) VANET中节点可分为vehicles和Roadside Units(RSUs), 它们各自都有接收，存储，转发数据 以及路由的功能。两者区别在于，vehicles代表着移动的车辆，其位置是不断变化的，而 RSUs则是固定在路边的节点。 Fig. 1 Inter-vehicle communication
Fig. 2 Vehicle-to-roadside communication Fig. 3 Routing-based communication 由于实际应用的需要，在ITSs中存在三种可能的通信结构（communication configure-tion）:inter-vehicle, vehicle-to-roadside, and routing-based communication。这三者的实现都依赖于有关周围环境的精确且即时的信息，而要获取这样的信息，则需要精确的定位系统（如Bluetooth, Ultra-wide Band, ZigBee等）以及智能的通信协议（如GPS, DGPS）来提供支持。 2)Inter-vehicle communication The inter-vehicle communication configuration (Fig. 1) uses multi-hop multicast/broadcast to transmit traffic related in- formation over multiple hops to a group of receivers. 3)Vehicle-to-roadside communication The vehicle-to-roadside communication configuration (Fig. 2) represents a single hop broadcast where the road- side unit sends a broadcast message to all equipped vehicles in the vicinity. 4)Routing-based communication
一、描述统计 描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。 1、缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策树法。 2、正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W险验、动差法。 二、假设检验 1、参数检验 参数检验是在已知总体分布的条件下（一股要求总体服从正态分布）对一些主要的参数（如均值、百分数、方差、相关系数等）进行的检验。 1）U验使用条件：当样本含量n较大时，样本值符合正态分布 2）T检验使用条件：当样本含量n较小时，样本值符合正态分布 A 单样本t检验：推断该样本来自的总体均数口与已知的某一总体均数口0 （常为理论值或标准值）有无差别； B 配对样本t检验：当总体均数未知时，且两个样本可以配对，同对中的两者在 可能会影响处理效果的各种条件方面扱为相似； C两独立样本t检验：无法找到在各方面极为相似的两样本作配对比较时使用。 2、非参数检验 非参数检验则不考虑总体分布是否已知，常常也不是针对总体参数，而是针对总体的某些一股性假设（如总体分布的位罝是否相同，总体分布是否正态）进行检验。 适用情况：顺序类型的数据资料，这类数据的分布形态一般是未知的。
A虽然是连续数据，但总体分布形态未知或者非正态； B体分布虽然正态，数据也是连续类型，但样本容量极小，如10以下； 主要方法包括：卡方检验、秩和检验、二项检验、游程检验、K-量检验等。三、信度分析 检査测量的可信度，例如调查问卷的真实性。 分类： 1、外在信度：不同时间测量时量表的一致性程度，常用方法重测信度 2、内在信度；每个量表是否测量到单一的概念，同时组成两表的内在体项一致性如何，常用方法分半信度。 四、列联表分析 用于分析离散变量或定型变量之间是否存在相关。 对于二维表，可进行卡方检验，对于三维表，可作Mentel-Hanszel分层分析。列联表分析还包括配对计数资料的卡方检验、行列均为顺序变量的相关检验。 五、相关分析 研究现象之间是否存在某种依存关系，对具体有依存关系的现象探讨相关方向及相 关程度。 1、单相关：两个因素之间的相关关系叫单相关，即研究时只涉及一个自变量和一个因变量; 2、复相关：三个或三个以上因素的相关关系叫复相关，即研究时涉及两个或两个 以上的自变量和因变量相关；
常用数据分析方法详解 目录 1、历史分析法 2、全店框架分析法 3、价格带分析法 4、三维分析法 5、增长率分析法 6、销售预测方法 1、历史分析法的概念及分类 历史分析法指将与分析期间相对应的历史同期或上期数据进行收集并对比，目的是通过数据的共性查找目前问题并确定将来变化的趋势。 *同期比较法：月度比较、季度比较、年度比较 *上期比较法：时段比较、日别对比、周间比较、 月度比较、季度比较、年度比较 历史分析法的指标 *指标名称： 销售数量、销售额、销售毛利、毛利率、贡献度、交叉比率、销售占比、客单价、客流量、经营品数动销率、无销售单品数、库存数量、库存金额、人效、坪效 *指标分类： 时间分类 ——时段、单日、周间、月度、季度、年度、任意 多个时段期间 性质分类 ——大类、中类、小类、单品 图例 2框架分析法 又叫全店诊断分析法 销量排序后，如出现50/50、40/60等情况，就是什么都能卖一点但什么都不 好卖的状况，这个时候就要对品类设置进行增加或删减，因为你的门店缺少 重点，缺少吸引顾客的东西。 如果达到10/90，也是品类出了问题。 如果是20/80或30/70、30/80，则需要改变的是商品的单品。 *单品ABC分析（PSI值的概念） 销售额权重（0.4）×单品销售额占类别比＋销售数量权重（0.3） × 单品销售数量占类别比＋毛利额权重（0.3）单品毛利额占类别比 *类别占比分析（大类、中类、小类） 类别销售额占比、类别毛利额占比、 类别库存数量占比、类别库存金额占比、
类别来客数占比、类别货架列占比 表格例 3价格带及销售二维分析法 首先对分析的商品按价格由低到高进行排序，然后 *指标类型：单品价格、销售额、销售数量、毛利额 *价格带曲线分布图 *价格带与销售对数图 价格带及销售数据表格 价格带分析法 4商品结构三维分析法 *一种分析商品结构是否健康、平衡的方法叫做三维分析图。在三维空间坐标上以X、Y、Z 三个坐标轴分别表示品类销售占有率、销售成长率及利润率，每个坐标又分为高、低两段，这样就得到了8种可能的位置。 *如果卖场大多数商品处于1、2、3、4的位置上，就可以认为商品结构已经达到最佳状态。以为任何一个商品的品类销售占比率、销售成长率及利润率随着其商品生命周期的变化都会有一个由低到高又转低的过程，不可能要求所有的商品同时达到最好的状态，即使达到也不可能持久。因此卖场要求的商品结构必然包括：目前虽不能获利但具有发展潜力以后将成为销售主力的新商品、目前已经达到高占有率、高成长率及高利润率的商品、目前虽保持较高利润率但成长率、占有率趋于下降的维持性商品，以及已经决定淘汰、逐步收缩的衰退型商品。 *指标值高低的分界可以用平均值或者计划值。 图例 5商品周期增长率分析法 就是将一段时期的销售增长率与时间增长率的比值来判断商品所处生命周期阶段的方法。不同比值下商品所处的生命周期阶段(表示) 如何利用商品生命周期理论指导营运(图示) 6销售预测方法[/hide] 1.jpg (67.5 KB) 1、历史分析法
一、路由器简介 (1).基本概念 路由器是工作在网络层上，可以连接不同类型的网络，能够选择数据传送路径并对数据进行转发的网络设备。路由器工作的目的就是选择最佳路径，把数据传递到目的地。 (2).路由表 路由器在接收到数据时，要对其传输路径进行选择。为了实现这一目标，路由器需要维护一个称为“路由表”的数据结构。概括来讲，路由表就是包含若干条目、供路由器选路时查询数据包传输路径的表项。 (3).选路策略和选路机制 一般来说，路由器要实现数据转发的功能，至少需要完成两方面的工作： a)根据数据包的目的地址和网络的拓扑结构选择一条最佳路径，把对应不同目的地址的最 佳路径存放在路由表中（找最佳路径的过程就相当于更新路由表的过程）； b)搜索路由表，决定向哪个接口转发数据，并执行相应的操作。 在上面的两方面工作中，前者是选路策略（Routing policy, 也称为路由选择策略）问题，而后者是选路机制（Routing mechanism, 也称为路由选择机制）问题。 选路策略的实质就是如何确定数据传送的最佳路径，它是通过建立并维护路由表开实现的。选路策略的不同，从本质上讲就是建立和维护路由表的方式不同；选路机制实际上就是如何查找路由表，并根据查表的结果把数据转发出去。 (4).自治系统和路由域 由于Internet规模太大，分布范围太广，所以所有路由器的路由表中对应每一个目的网络都有一个条目是不可能的，同样，也不可能采用一个全局的路由算法或协议。因此，Internet 将整个网络划分为若干个相对自治的局部系统，即自治系统（Autonomous System, AS）。自治系统可以定义为同一机构下管理的路由器和网络的集合。 世界各地的自治系统都通过自己的边界路由器连接到Internet的核心网上。一般来说，一个自治系统可以配置一个或多个边界路由器，自治系统内部的路由器或者网络通过边界路由器与其他自治系统或者Internet核心网进行通信。
常用数据分析方法论 ——摘自《谁说菜鸟不会数据分析》 数据分析方法论主要用来指导数据分析师进行一次完整的数据分析，它更多的是指数据分析思路，比如主要从哪几方面开展数据分析？各方面包含什么内容和指标？ 数据分析方法论主要有以下几个作用： ●理顺分析思路，确保数据分析结构体系化 ●把问题分解成相关联的部分，并显示它们之间的关系 ●为后续数据分析的开展指引方向 ●确保分析结果的有效性及正确性 常用的数据分析理论模型 用户使用行为STP理论 SWOT …… 5W2H 时间管理生命周期 逻辑树 金字塔SMART原则 …… PEST分析法 PEST分析理论主要用于行业分析 PEST分析法用于对宏观环境的分析。宏观环境又称一般环境，是指影响一切行业和企业的各种宏观力量。 对宏观环境因素作分析时，由于不同行业和企业有其自身特点和经营需要，分析的具体内容会有差异，但一般都应对政治、经济、技术、社会，这四大类影响企业的主要外部环境因素进行分析。
以下以中国互联网行业分析为例。此处仅为方法是用实力，并不代表互联网行业分析只需要作这几方面的分析，还可根据实际情况进一步调整和细化相关分析指标：
5W2H分析法 5W2H分析理论的用途广泛，可用于用户行为分析、业务问题专题分析等。 利用5W2H分析法列出对用户购买行为的分析：（这里的例子并不代表用户购买行为只有以下所示，要做到具体问题具体分析）
逻辑树分析法 逻辑树分析理论课用于业务问题专题分析 逻辑树又称问题树、演绎树或分解树等。逻辑树是分析问题最常使用的工具之一，它将问题的所有子问题分层罗列，从最高层开始，并逐步向下扩展。 把一个已知问题当成树干，然后开始考虑这个问题和哪些相关问题有关。 （缺点：逻辑树分析法涉及的相关问题可能有遗漏。）
常用数据分析方法 常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析；问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach’a信度系数分析、结构方程模型分析(structural equations modeling) 。 数据分析常用的图表方法：柏拉图(排列图)、直方图(Histogram)、散点图(scatter diagram)、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。 数据分析统计工具：SPSS、minitab、JMP。 常用数据分析方法: 1、聚类分析（Cluster Analysis） 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析（Factor Analysis） 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。 因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。 3、相关分析（Correlation Analysis） 相关分析（correlation analysis），相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X 与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析（Correspondence Analysis） 对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。 5、回归分析 研究一个随机变量Y对另一个(X)或一组(X1，X2，…，Xk)变量的相依关系的统计分析方法。回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。 6、方差分析(ANOVA/Analysis of Variance) 又称“变异数分析”或“F检验”，是R.A.Fisher发明的，用于两个及两个以上样本均数差
方法、数据处理流程实战案例时代，我们人人都逐渐开始用数据的眼光来看待每一个事情、事物。确实，数据的直观明了传达出来的信息让人一下子就能领略且毫无疑点，不过前提是数据本身的真实性和准确度要有保证。今天就来和大家分享一下关于方法、数据处理流程的实战案例，让大家对于这个岗位的工作内容有更多的理解和认识，让可以趁机了解了解咱们平时看似轻松便捷的数据可视化的背后都是有多专业的流程在支撑着。 一、大数据思维 在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。 那么大数据思维是怎么回事？我们来看两个例子： 案例1：输入法 首先，我们来看一下输入法的例子。 我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调整才能把这个字打出来，效率是非常低的。 到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有按下去字就已经跳出来了。但是，后来很快发现紫光拼音输入法也有它的问题，比如当时互联网发展已经比较快了，会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难敲出来这个词。
在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。 比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一个重新构造的词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而，在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，但是我们发现有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。 案例2：地图 再来看一个地图的案例，在这种电脑地图、手机地图出现之前，我们都是用纸质的地图。这种地图差不多就是一年要换一版，因为许多地址可能变了，并且在纸质地图上肯定是看不出来，从一个地方到另外一个地方怎么走是最好的？中间是不是堵车？这些都是有需要有经验的各种司机才能判断出来。 在有了百度地图这样的产品就要好很多，比如：它能告诉你这条路当前是不是堵的？或者说能告诉你半个小时之后它是不是堵的？它是不是可以预测路况情况？ 此外，你去一个地方它可以给你规划另一条路线，这些就是因为它采集到许多数据。比如：大家在用百度地图的时候，有GPS地位信息，基于你这个位置的移动信息，就可以知道路的拥堵情况。另外，他可以收集到很多
Z i g B e e路由算法分析
摘要基于IEEE802.15.4标准的ZigBee网络是一种具有强大组网能力的新型无线个域网，其中的路由算法是研发工作的重点。本文介绍了IEEE802.15.4标准及ZigBee规范的协议模型，重点研究了ZigBee协议网络层的路由算法，分析了Tree路由及Z-AODV路由算法，在此基础上提出了ZigBee网格型网络中基于数据特性的路由选择机制，该机制在网络性能和低功耗方面有明显的优势，并且可以平衡节点能量，最后简单介绍了ZigBee节点的硬件实现。 关键词 ZigBee协议；网络；IEEE802.15.4；路由算法；Tree路由；Z-AODV路由 1 概述 ZigBee技术是由英国Invensys公司、日本三菱电气公司、美国摩托罗拉公司以及荷兰飞利浦等公司在2002年10月共同提出设计研究开发的具有低成本、体积小、能量消耗小和传输速率低的无线通信技术。 2000年12月，IEEE 802 无线个域网（WPAN，Wireless Personal Area Network）小组成立，致力于WPAN无线传输协议的建立。2003年12月，IEEE正式发布了该技术物理层和MAC层所采用的标准协议，即IEEE 802.15.4协议标准，作为ZigBee技术的网络层和媒体接入层的标准协议。2004年12月，ZigBee联盟在IEEE 802.15.4 定义的物理层（PHY）和媒体接入层（MAC）的基础上定义了网络层和应用层，正式发布了基于IEEE 802.15.4的ZigBee标准协议。 2 网络层的研究
ZigBee技术的体系结构主要由物理层（PHY）、媒体接入层（MAC）、网络/安全层以及应用框架层组成，各层之间的分布如图1所示。 图1 ZigBee技术协议组成 PHY层的特征是启动和关闭无线收发器、能量检测、链路质量、信道选择、清除信道评估（CCA）以及通过物理媒体对数据包进行发送和接收。MAC层可以实现信标管理、信道接入、时隙管理、发送确认帧、发送连接及断开连接请求，还为应用合适的安全机制提供一些方法。它包含具有时间同步信标的可选超帧结构，采用免碰撞的载波侦听多址访问（CSMA-CA）。安全层主要实现密钥管理、存取等功能。网络层主要用于ZigBee的LR-WPAN网的组网连接、数据管理等。应用框架层主要负责向用户提供简单的应用软件接口（API），包括应用子层支持APS（Application Sub-layer Support）、ZigBee设备对象ZDO （ZigBee Device Object）等，实现应用层对设备的管理，为ZigBee技术的实际应用提供一些应用框架模型等，以便对ZigBee技术的开发应用。 网络层的定义包括网络拓扑、网络建立、网络维护、路由及路由的维护。 2.1 ZigBee的网络拓扑结构 ZigBee定义了三种拓扑结构：星型拓扑结构（Star），主要为一个节点与多个节点的简单通信设计；树型拓扑结构（Tree），使用分等级的树型路
第7 章空间数据分析模型 7.1 空间数据 按照空间数据的维数划分，空间数据有四种基本类型：点数据、线数据、面数据和体数据。 点是零维的。从理论上讲，点数据可以是以单独地物目标的抽象表达，也可以是地理单元的抽象表达。这类点数据种类很多，如水深点、高程点、道路交叉点、一座城市、一个区域。 线数据是一维的。某些地物可能具有一定宽度，例如道路或河流，但其路线和相对长度是主要特征，也可以把它抽象为线。其他的 线数据，有不可见的行政区划界，水陆分界的岸线，或物质运输或思想传播的路线等。 面数据是二维的，指的是某种类型的地理实体或现象的区域范围。国家、气候类型和植被特征等，均属于面数据之列。 真实的地物通常是三维的，体数据更能表现出地理实体的特征。一般而言，体数据被想象为从某一基准展开的向上下延伸的数，如 相对于海水面的陆地或水域。在理论上，体数据可以是相当抽象的，如地理上的密度系指单位面积上某种现象的许多单元分布。 在实际工作中常常根据研究的需要，将同一数据置于不同类别中。例如，北京市可以看作一个点（区别于天津），或者看作一个面 （特殊行政区，区别于相邻地区），或者看作包括了人口的“体”。 7.2 空间数据分析 空间数据分析涉及到空间数据的各个方面，与此有关的内容至少包括四个领域。 1）空间数据处理。空间数据处理的概念常出现在地理信息系统中，通常指的是空间分析。就涉及的内容而言，空间数据处理更多的偏重于空间位置及其关系的分析和管理。 2）空间数据分析。空间数据分析是描述性和探索性的，通过对大量的复杂数据的处理来实现。在各种空间分析中，空间数据分析是 重要的组成部分。空间数据分析更多的偏重于具有空间信息的属性数据的分析。 3）空间统计分析。使用统计方法解释空间数据，分析数据在统计上是否是“典型”的，或“期望”的。与统计学类似，空间统计分析与空间数据分析的内容往往是交叉的。 4）空间模型。空间模型涉及到模型构建和空间预测。在人文地理中，模型用来预测不同地方的人流和物流，以便进行区位的优化。在自然地理学中，模型可能是模拟自然过程的空间分异与随时间的变化过程。空间数据分析和空间统计分析是建立空间模型的基础。 7.3 空间数据分析的一些基本问题 空间数据不仅有其空间的定位特性，而且具有空间关系的连接属性。这些属性主要表现为空间自相关特点和与之相伴随的可变区域 单位问题、尺度和边界效应。传统的统计学方法在对数据进行处理时有一些基本的假设，大多都要求“样本是随机的”，但空间数据可能不一定能满足有关假设，因此，空间数据的分析就有其特殊性（David,2003 ）。
Ad Hoc 中的常用路由算法分析 孙晓艳,李建东,张光辉,田红涛 (西安电子科技大学信息科学研究所 陕西西安 710071) 摘 要:在传统的移动无线In ternet 接入方式中,通常是以宽带有线接入网为支撑,无线用户只通过一跳(不需要在无线网中多次转接)就可以接入固定网络。在很多应用场合,如个人区域网、家域网、军事应用、抢险救灾等,无线网络没有固定的基础设施作支撑,移动用户的信息需要通过移动用户之间的多次中转才能到达目的用户,这种网络通常称为分布式或无中心式(A d hoc )网络。本文首先介绍了A d Hoc 网络,然后介绍了目前运用于A d Hoc 网络中的几种路由算法,并指出其优缺点。 关键词:A d Hoc ;D SDV ;CGSR ;W R P ;D SR ;AODV ;TORA 中图分类号:T P 30116 文献标识码:B 文章编号:1004373X (2003)1301804 Ana lysis of the Severa l Routi ng A lgor ith m s i n Ad Hoc SUN X iaoyan ,L I J iandong ,ZHAN G Guanghu i ,T I AN Hongtao (Institute of Info r m ati on Science ,X idian U niversity ,X i ′an ,710071,Ch ina ) Abstract :In traditi onal access m ethods to In ternet in mob ile and w ireless environm en t ,u ser can access to fixed netw o rk by one hop (w ithou t m u lti relay )based on w ideband access netw o rk 1In som e app licati on s ,such as personal local netw o rk ,hom e local netw o rk ,m ilitary app licati on ,em ergency rescue patien t care operati on s ,m essages from sou rce u sers can on ly arrive at destinati on term inals by m u lti relay (m u lti hop )among several mob ile u sers becau se w ireless netw o rk is infrastructu ral ,w h ich is so called distribu ted o r A d Hoc netw o rk 1Fo llow ing in troducti on to A d Hoc netw o rk concep ts ,rou ting algo rithm s u sually u tilized in A d Hoc 1 Keywords :A d Hoc ;D SDV ;CGSR ;W R P ;D SR ;AODV ;TORA 收稿日期:20030424 1 引 言 在通信基础设施很少或没有通信基础设施的地方,在现存的基础设施很昂贵或不方便使用的地方,例如学生使用笔记本电脑进行交互式的讲座时,商家在会议当中共享信息时,战士在战场上需要依靠信息获得地形状况[1,2]时,以及当洪水或地震后的紧急灾难援救人员共同协作时,如何来进行通信联系呢?这时就需要用A d Hoc 的思想来实现通信。A d Hoc 网络是在没有任何现存网络基础设施或是集中管理的情况下动态形成的暂时网络。由于无线节点的发射功率和无线网络接口传输范围的限制,多跳网络可能需要有一个节点或多个节点来和网络中的其他节点交换数据,而且网络中的移动节点动态的在他们之间建立路由以形成动态变化的网络。A d Hoc 网络的这个思想也称为无基础设施的网络[3]。所以由于A d Hoc 的存在,无线移动用户可能(在某种情况下)仍然可以通过一个A d Hoc 网络来交换信息。 在这种网络中,每一个移动节点不仅作为主机而且还作为路由器来为网络中的其他不 能直接通信的节点转发分组信息。通常,在A d Hoc 网络中需要考虑的移动性有:源节点的移动性(当源节点移动时必须把这种变化通知路由上游的节点)、目的节点的移动性(当目的节点移动时必须通知路由下游节点这种变化)和中转节点的移动性(对于路由中的这种变化,采用不同协议处理的方式也不同)。由于A d Hoc 网络中的节点并不是物理上相互连接,因此通信节点就必须寻找到网络的连接。通信节点寻找网络连接是通过发现来实现的。一个新节点可以通过检测其他节点发出的信标来和这个节点相连接,然后这个新加入的节点就通知主节点这条新的连接,这个信息就会在网络中得到进一步的广播(到协议所认为必要的范围内)。现在,当源节点试图建立到这个新加入节点的链路时,查询过程就可以通过广播消息的节点来进行。每一个A d Hoc 网络路由协议的节点都允许通过网络中的其他节点发现路由。随着通信技术的发展,人们对网络更大的移动性要求和军队对于传感器网络的 8 1