基于数据挖掘技术的分布式发电系统孤岛检测方法
董晓峰1，陆于平1，林霞2
（1、东南大学电气工程学院，江苏省南京市 210096 2、河海大学电气工程学院，江苏南京 210096）
摘 要：分布式发电系统孤岛检测是数据挖掘技术中典型的分类问题，C4.5决策树特别适用于挖掘数据量多，且对效率和性能要求高的场合。本文结合数据挖掘技术，提出了基于C4.5决策树的孤岛检测新算法，新算法可以缩小非检测区从而提高孤岛检测性能。文中详细介绍了如何用过去的分布式发电系统(DG)运行数据建立C4.5决策树，并使用C4.5决策树进行分布式发电系统孤岛检测的方法。Matlab/Simulink仿真结果证明C4.5决策树能正确的检测DG是否运行在孤岛状态，而且算法具有最小的非检测区。
关键词：智能电网；数据挖掘；C4.5；分布式发电；孤岛检测；
0 引言
随着可再生能源的推广，分布式发电(Distributed Generation, DG)已成为一种重要的电力电源形式。当带部分负荷的DG与电力系统断开时，DG将有可能继续向孤立运行的电力系统供电，形成孤立系统即孤岛。一般情况下，基于对设备、运行人员的安全以及孤岛系统中电能质量方面的考虑，应该避免DG运行在孤岛状态。因此，研究孤岛检测方法及保护措施，将孤岛产生的危害降低到最小，具有重要的现实意义。
采用C4.5算法进行分布式发电孤岛检测本质上是建立精确的样本空间，可以描述相应电力系统模型的所有运行模式，并综合使用多个电气量进行分布式发电孤岛检测，相比于频率继电器该方法可以最小化孤岛检测的非检测区，是一种理想的孤岛检测算法[1-3]。本文通过典型的分布式发电模型给出了建立样本空间、离线生成用于孤岛检测的C4.5决策树的整个过程。Matlab/Simulink仿真结果证明C4.5决策树算法是有效的，能正确的检测DG是否运行在孤岛状态，而且算法具有最小化的非检测区。运用现有的孤岛检测装置，只采用不同于以前的检测算法，不需要增加成本投资。
1 用于孤岛检测的C4.5决策树数学模型
1.1 样本及样本空间
在本应用中，整理历史数据或离线仿真得到n 组样本（待检测DG出口处的电气量）作为样本空间S，每个样本s i都含有电压改变量及改变率，有功功
国家自然科学基金资助项目（50577006）率改变量及改变率，无功功率改变量及改变率，电流总谐波畸变率和电压总谐波畸变率八个属性：{}
12
,,,
n
S s s s
=L(1)
,,,,,,,
i i i i i
i i i
V P Q
i
s V P Q C TH D VTH
t t t
D
??
??????
=???
??????
??????
??
(2) ()
{}
,,1,2,,
i i
s y i=L n
()
i
(3)
其中：S是n个数据样本的集合；i是组编号；
△V i是第i组电压变化量属性（pu）；
(d V/d t)i是第i组电压变化率属性（pu/s）；
△P i是第i组有功功率变化量属性（MW）；
(d P/d t)i是第i组有功功率变化率属性（MW/s）；
△Q i是第i组无功功率变化量属性（MV AR）；
(d Q/d t)i是第i组无功功率变化率属性（MV AR/s）；CTHD i是第i组电流总谐波畸变率（%）；
VTHD i是第i组电压总谐波畸变率（%）；
y i是分类标号属性；当DG在孤岛运行情况下，y i=1；当DG不在孤岛运行情况下，y i=0。
1.2 信息增益及信息增益比
信息增益基于信息论中熵的概念，熵是事件对应属性不确定性的度量，一个属性的熵越大，它蕴含的不确定信息越大，越有利于数据的分类。由期望信息和熵值可以得到对应的信息增益：
对一个给定的样本分类所需的期望信息由下式给出：
()
122
1
,,,log
n
n i
i
I s s s p p
=
=?∑
L(4)
其中p i是任意样本属于y i的概率，一般可用s i/s 来估计。
设属性A具有v个不同值{a1，a2，…，a v}。可以用属性A将S划分为v个子集{S1，S2，…，S v}，其中S j包含S中这样一些样本：它们在属性A上具有值a j。设s ij是子集S j中类y i的样本数。熵值越小，子集划分的纯度越高。根据由属性A划分成子集的熵由下式给出：
()()
12121
,,,v
j j nj
j j nj j s s s E A I s s s s
=+++=?∑
L L
(5)
对于在属性A 上分支将获得的信息增益可以由下面的公式得到：
()()()12,,,n Gain A I s s s E A =?L (6)
信息增益比是在信息增益概念基础上发展起来的，一个属性的信息增益比用下面的公式给出：
()()
()
Gain A GainRatio A SplitI A =
(7)
其中
()()21
log v
j j SplitI A p p ==?∑j (8)
1.3 决策树的建立步骤及分类规则
在本应用中，样本的属性是电气量，都是连续属性值。针对属性有连续值的情况，则在训练集中可以按升序方式排列a 1，a 2，…，a n （n 为训练集的个数）。排列后再分别计算每个划分的增益比，并选择增益比最大的划分来对相应的属性进行离散化，从而建立C4.5决策树。其步骤为：
（1）首先根据连续属性值，对样本集进行升序排序；
（2）当已排序好的样本集的输出发生变化时就可以确定为一个划分，对所有的划分计算其增益及增益比；
（3）选定具有最大增益比的属性取两个划分，所有子空间中的样本都在这两个划分中，并取两个属性实际值的平均值作为阀值；
（4）对根据样本选定的属性与阀值进行比较，可以把样本空间分为两类，从而形成决策；
（5）如果分类不完全，按子空间重复进行（1-4）步形成下一层的决策；
（6）对建立好的决策树添加新的正确数据重复以上的工作，可以实现再学习，从而不断进行决策树的自我完善；
（7）一旦决策树被建立，就可以把树转换成if-then 规则。规则存储于一个二维数组中，每一行代表树中的一个规则，即从根到叶之间的一个路径。表中的每列存放着树中的结点。
用于孤岛检测的C4.5决策树建立过程可以归纳为图1。其中，C4.5决策树学习过程是使用历史数据或离线仿真数据进行离线计算，可以结合数据
挖掘技术的优点进行离线计算得到C4.5决策树。判断孤岛状态是使用实时的数据进行孤岛检测，这过程是对实时数据的分类，不需要大量的数据，并
具有很好的实时性。
图1 建立C4.5决策树流程图
2 仿真模型及样本空间的建立
2.1 建立样本空间的通用规则
建立一个典型的DG 接入模型，首先要满足三点： 1）测试模型安装有所需的孤岛继电器；2）在IEEE1547标准下运行；3）模型在可能的拓扑结构下运行。
把G 个发电机容量区间（0%~100%）和L 个负载大小区间（0%~100%）都分成J 份；根据系统拓扑结构，设定系统中断路器跳开方式共B 种组合。这样包括断路器动作方式在内，系统将有J (G+L)×B 种运行模式。在实际系统中，为了提高孤岛检测的正确性，必须选取大的J 值。J 值越大，则样本空间刻画系统的程度越精确，样本空间本身规模也越大；相反，J 值越小，则样本空间刻画系统的程度越粗糙，样本空间本身规模也越小。
提取每种运行模式下，系统断路器动作后某一个固定时间点处（此处的时间长度在每种模式中必须一样，否则将失去参照性）目标DG 出口处的一组电气量作为式(1)中的一个样本。每个样本将代表关于目标DG 的一种运行模式，每种运行模式只有两种
状态：目标DG运行或不运行在孤岛状态。由此可以得到一个关于目标DG含有J(G+L)×B个样本的样本空间。
2.2 仿真模型
为了下文的分析所用，建立满足以上要求的典型DG接入模型如图2（DG容量为10MV A；L1负载10MW，3.5MV AR；L3负载5MW，2MV AR）。其中S代表等效系统，DG代表分布式电源，T代表电力变压器，L代表负载，CB代表三相断路器，Line代表输电线路，PCC代表微电网公共耦合点，LV代表低压，HV代表高压。
图2 典型DG拓扑结构
Fig.2 Typical distributed generation
为得到有代表性的运行模式模拟DG容量和负载之间的有功缺额-50%~+50%，将DG的负载大小划分成5份：1）L2，L4负载5MW，2MV AR；2）L2，L4负载8MW，3MV AR；3）L2，L4负载10MW，4MV AR；4）L2，L4负载12MW，5MV AR；5）L2，L4负载15MW，6MV AR。
为了全面覆盖系统运行拓扑结构，对于图2系统断路器假设六种断开方式：1）CB1断开；2）CB2断开；3）CB3断开；4）母线PCC-LV发生三相短路，CB1，CB2和CB3断开；5）CB6断开；6）CB7断开。上述的断路器六种断开方式中，1，3，4使DG1运行在孤岛状态，2，5，6使DG1不是运行在孤岛状态。
选取分布式电源DG1作为检测对象，测量CB4处的电压改变量及改变率，有功功率改变量及改变率，无功功率改变量及改变率，电流总谐波畸变率和电压总谐波畸变八种电气量以对应式(2)的八个属性。
2.3仿真结果
使用Matlab/Simulink离线仿真图2的典型模型得到用于建立C4.5决策树的样本空间。其中仿真时间设为2s，Solver设为ode23t，Relative tolerance 设为1e-3，Absolute tolerance设为auto。断路器动作时间设在1.50s处，数据统一采集于1.54s处。分别仿真30次，得出CB4处的30组电气量数据如表1和表2所示。其中孤岛状态为1代表DG1孤岛运行；孤岛状态为0代表DG1不是孤岛运行。
3 用于孤岛检测的C4.5决策树
使用表1数据建立C4.5决策树，使用表2数据检验决策树的正确性和决策树的再学习。首先把表1的离线仿真数据每个属性都按升序排列，按照第一章的方法计算得出所有属性的增益比，如表3所示。其中的第二行第一列的0.2949即是把表1按△V属性进行升序排列后，发现第三组和第四组输出发生改变，由此计算得到的增益比。
3.1选择增益比最大的属性进行分类
从表3可以看出最大的信息增益比出现在dP/dt属性和VTHD的属性中，所以可以使用这两种属性进行分类。首先考察按属性dP/dt进行分类的决策树。把属性dP/dt按升序排序后取第7组和第8组dP/dt属性的平均值-3.8389作为阀值把样本分两组。由此得到用于检测DG1是否在孤岛运行的C4.5决策树为图3所示。用表2数据对图3的C4.5决策树进行检验，现有数据的正确率为100%。
图3 dP/dt作为第一分类属性C4.5决策树若按属性VTHD进行分类，其过程为：把属性VTHD按升序排序后取第7组和第8组该属性的中间值0.59%作为阀值把数据分两组。由此得到用于检测DG1是否在孤岛运行的C4.5决策树为图4所示。用表2数据对图4的C4.5决策树进行检验，现有数据的正确率为100%。
图4 VTHD作为第一分类属性C4.5决策树
表1 用于建立C4.5决策树的15组数据
NO. △V
(pu) dV/dt
(pu/s)
△P
(MW)
dP/dt
(MW/s)
△Q
(MV AR)
dQ/dt
(MV AR/s)
CTHD
(%)
VTHD
(%)
孤岛
状态
2 0.0292 -0.3271 0.3518 -0.5599 -1.1572 1.0072 0.91% 0.81% 1
3 0.0200 0.1239 0.4782 -5.628
4 -0.4039-2.6866 2.31% 0.21% 0
4 0.0220 0.1164 1.0562 -9.4871 -0.5445-1.5643 1.30% 0.18% 0
5 0.0490 0.4035 -2.4733 -0.6720 -1.8359 1.3610 1.32% 1.20% 1
6 -0.0100 0.0700 0.6245 -8.364
7 0.0901 -0.4675 1.40% 0.15% 0
7 -0.0587 2.1740 -1.1179 4.7119 -1.0979 2.3501 1.46% 1.62% 1
8 0.0680 1.3635 -4.4038 -0.9723 -2.3446 1.7411 1.53% 1.45% 1
9 0.0204 0.0871 0.6484 -5.3591 -0.5009-2.8654 1.02% 0.31% 0
10 0.0219 0.1181 1.3157 -9.9297 -0.8008-1.8492 0.61% 0.37% 0
11 0.1381 4.3247 -9.2574 -2.3187 -3.8025 1.5499 1.52% 1.85% 1
12 0.0006 0.0943 2.2571 -15.0106-0.8729 2.7454 0.81% 0.25% 0
13 -0.0367 2.9856 -2.9598 3.6822 -1.5867 1.8890 1.45% 1.70% 1
14 0.0909 2.4826 -6.3424 -1.3813 -2.8730 1.7578 1.63% 1.60% 1
15 0.0206 0.0810 0.7021 -5.4689 -0.5438-2.9992 0.82% 0.31% 0
表2 C4.5决策树检验和C4.5决策树再学习的15组数据
NO. △V
(pu) dV/dt
(pu/s)
△P
(MW)
dP/dt
(MW/s)
△Q
(MV AR)
dQ/dt
(MV AR/s)
CTHD
(%)
VTHD
(%)
孤岛
状态
1 0.0218 0.1700 0.9383 -10.0205-0.4513-1.8116 2.28% 0.29% 0
2 0.0292 -0.3160 0.3508 -0.4929 -1.1572 1.0090 0.91% 0.75% 1
3 -0.0120 0.0522 0.1371 -6.5580 0.2130 0.391
4 2.07% 0.02% 0
4 -0.0767 1.3284 5.8259 5.4103 1.9860 2.6273 1.40% 1.48% 1
5 0.0491 0.4398 -2.4728 -0.6574 -1.8350 1.4842 1.35% 1.20% 1
6 0.0203 0.0892 0.5809 -5.4405 -0.45973-2.7710 1.30% 0.28% 0
7 0.0219 0.0942 1.1499 -9.3478 -0.6122-1.5085 1.02% 0.28% 0
8 0.0679 1.3502 -4.4042 -0.9132 -2.3454 1.5699 1.50% 1.42% 1
9 -0.0735 0.0847 1.0269 -9.8489 -0.0735-0.1663 1.16% 0.19% 0
10 0.0075 4.0112 -5.6799 1.3863 -2.436820.8363 1.34% 1.73% 1
11 0.1382 3.8861 -9.2572 -2.5691 -3.8024 1.8561 1.55% 1.80% 1
12 0.0212 0.0731 0.7594 -6.0604 -0.6092-3.4429 0.34% 0.57% 0
13 0.0217 0.1242 1.2278 -9.2684 -0.6847-1.6016 0.83% 0.37% 0
14 0.0908 2.3074 -6.3428 -1.3587 -2.8736 1.5695 1.56% 1.60% 1
15 -0.0052 0.1011 1.4717 -11.416 -0.31660.4524 0.98% 0.22% 0
表3计算得到表1所有属性的增益比
NO. V dV/dt P dP/dt Q dQ/dt CTHD VTHD 1-2 -0.1796 ------
3-4 0.2949 -----0.3632 -
4-5 ------0.1040 -
5-6 ------0.1836 -
6-7 -----0.7156 0.1761 -
7-8 --0.7092 1.0000 0.7092 -0.1618 1.0000 8-9 -0.7092 ----0.0853 -
9-10 ------0.1914 -
10-11 0.4457 -------
13-14 ----0.0009 ---
14-15 --0.1796-0.2188 0.2188 0.2188 -
3.2决策树的再学习分析
为了介绍决策树的再学习，本文也选择了增益比小的划分来建立一棵不理想的C4.5决策树，然后分析了决策树再学习的过程。如选取表3中 V的信息增益比为0.2949，即在表1中，把属性 V按升序排序后取第3组和第4组的该属性中间值-0.0234作为阀值把数据分两组。同理可以计算得到C4.5决策树的第二层dV/dt的阀值为-0.1286，第三层 P的阀值为-0.9976。由此得到用于检测DG1是否在孤岛运行的C4.5决策树为图5：
图5 初次建立的 V 作为第一分类属性的C4.5决策树
用表2数据进行检验，孤岛检测的正确率为93.3%。表2中第9组数据用图5的C4.5决策树分类出现错误，把数据加入表1，进行决策树的重新学习，得到改进的用于检测DG1是否在孤岛运行的C4.5决策树为图6：
图6 改进的 V 作为第一分类属性的C4.5决策树
按照分类规则，本文选取表3中的两个增益比最大的划分进行分类。本文3.1中两种分类方法的增益比最大，不仅得到的决策树最简单，而且分类的正确率也最高。随着系统规模的不断扩大，建立的C4.5决策树将越来越复杂，会用到所有的八个属性值，即决策树需要多层完成。
3.3与传统频率继电器的最小检测区的对比 基于频率继电器孤岛检测方法，如果孤岛中有功功率缺额低于10%~30%，则不能有效地检测到孤岛。文献[4]指出频率变化率检测法的最小有功缺额为13.1%。在图2模型中，当负载L2和L4有功功率为8MW ，负载L3有功功率为5MW （P L =8×2+5=21），断路器CB3跳开后形成的孤岛有功功率缺额为：
_()/(2120)/20100%5%
L DG DG rated P P P P ?=?=?×=
即采用C4.5算法的孤岛检测方法的最小有功功率缺额小于5%。这是因为采用C4.5算法进行分布式
发电孤岛检测本质上是建立精确的样本空间，可以描述相应电力系统模型的所有运行模式（其描述了高功率缺额至低功率缺额的各种可能的情况），并综合使用多个电气量进行分布式发电孤岛检测，所以可以最小化孤岛检测的非检测区，是一种理想的孤岛检测算法。
4结论
本文针对孤岛检测中存在的问题，提出了一种新的基于C4.5决策树的孤岛检测方法。该方法的特点是：学习过程是离线计算，可以结合数据挖掘技术的优点进行离线计算得到C4.5决策树；孤岛检测过程是对实时数据的分类，不需要大量的数据，并具有很好的实时性；建立的样本空间可以精确的刻画相应的电力系统模型；综合运用多个电气量，找到这些电气量之间潜在的规律来进行孤岛检测。
C4.5决策树方法检测孤岛的优点在于：1）系统可以在不同的工作模式下；2）系统的网络拓扑可以改变；3）通过决策树的再学习，可以改变决策树的if-then 规则；4）最小化孤岛检测的非检测区；5）运用现有的孤岛检测装置，只采用不同于以前的检测算法，不需要增加成本投资。
参考文献
[1] 王桂芹,黄道. 决策树算法研究及应用. 电脑应用技
术,2008,72,1-7
WANG Guiqin, HUANG Dao. Microcomputer Application
Technology.2008,72,1-7
[2] Shyh-Jier Huang, Jeu-Min Lin. Enhancement of anomalous data
mining in power system predicting-aided state estimation. IEEE Transactions on power systems,2004,19(1),610-619.
[3] Khalil EI-Arroudi, Geza Joos. Intelligent-Based Approach to
Islanding Detection in Distributed Generation. IEEE Transactions on power delivery,2007,22(2),828-835.
[4] C. M. Affonso, W. Freitas, W. Xu, and L. C. P. da Silva,
Performance of ROCOF relays for embedded generation applications, Proc. Inst. Elect. Eng., Gen. Transm. Distrib., 2005,152(1),109-114.
董晓峰(1984—)，男，硕士研究生，研究方向为分布式发电系统的保护和控制。Email ：dongxiaofeng@https://www.doczj.com/doc/ae15074950.html,
陆于平(1962—)，男，博士，教授，博士生导师，从事电力系统继电保护分布式发电系统的保护与控制等方面的教学和研究工作。
林霞(1975—)，女，博士，讲师，从事电力系统继电保护分布式发电系统的保护与控制等方面的教学和研究工作。
《分布式计算技术》教学大纲 课程编号： 编写人： 阳小华 开课学期： 2开课单位：计算机科学与技术学院课程中文名称 分布式计算技术课程英文名称Distributed Computing Technology主讲教师：阳小华总学时：36 其中：理论 24 时 实验： 12 时学分：2课程性质：非学位课考核方式：考查先修课程：《程序设计》、《数据结构》、《操作系统》、《计算机网络》一、课程教学目的（说明本课程与专业培养目标、研究方向、培养要求）与要求（限300字）： 分布式计算是近年来日趋重要的一种新的计算方式，是基于因特网的应用和服务的技术基础。在Web和其它基于因特网的系统空前重要的今天，分布式计算是计算机应用及其相关专业学生必须掌握的核心技术。本课程旨在传授分布式系统的设计原理和实践知识，要求学生掌握分布式系统的基础知识，了解中间件的基本概念和技术，了解基本的分布式算法，能够评价已有的系统，并具备设计、开发分布式应用系统的能力。 二、课程内容简介（限200字）： 分布式系统特征、实例与面临的挑战；体系结构模型与基础模型；网络和网络互联；进程间通信、外部数据表示和编码、客户－服务器通信、组通信；分布式对象间的通信、远程过程调用、事件和通知；操作系统支持；分布式文件系统；命名服务和域名系统、目录服务和发现服务；时钟、事件和进程状态、同步物理时钟、逻辑时间和逻辑时钟、全局状态 三、教学进度 章节内容授课或实验授课或实验教师学时安排（一）Characterization of Distributed Systems授课阳小华（2学时）（二）System Models授课阳小华（4学时）（三）Networking and Internetworking授课阳小华（1学时）（四）Interprocess Communication授课阳小华（4学时）（五）Distributed Objects and Remote Invocation授课阳小华（6学时）（六）Operating System Support授课阳小华（1学时）（七）Distributed File Systems授课阳小华（1学时）（八）Name Services授课阳小华（1学时）（九）Time and Global State授课阳小华（4学时）实验一 开发环境的安装与整合实验阳小华、罗江琴（2学时）实验二 RMI程序编制与调试实验阳小华、罗江琴（2学时）实验三 IP组播：组通信的实现实验阳小华、罗江琴（2学时）实验四 Jini分布式事件规范：共享白板应用 或者MSN Messager java模拟客户端程序的编制实验阳小华、罗江琴（6学时）四、所用教材（正式出版教材要求注明教材名称、作者姓名、出版社、出版时间）及主要参考书：[1] George Coulouris 等，分布式系统概念与设计（英文版，第三版），机械工业出版社，2004.1 [2] 王柏等，《分布计算环境》，北京邮电大学出版社，北京，2000。 [3] OMG编者，韦乐平，《CORBA系统结构、原理与规范》，电子工业出版社，2000。 [4] 潘爱民，《COM原理与应用》，清华大学出版社，2001。 课程负责人： 主管院长： 学院盖章： 年 月 日 注：本表一式二份，由编制教师填写，并报送学院研究生教学秘书处，由教学秘书汇总电子版和纸质版各一份交研究生处培养办公室备案。
第37卷第7期测绘与空间地理信息 GEOMATICS ＆SPATIAL INFOＲMATION TECHNOLOGY Vol．37，No．7收稿日期：2014－01－22 作者简介：马宏斌（1982－），男，甘肃天水人，作战环境学专业博士研究生，主要研究方向为地理空间信息服务。 大数据时代的空间数据挖掘综述 马宏斌1 ，王 柯1，马团学 2（1．信息工程大学地理空间信息学院，河南郑州450000；2．空降兵研究所，湖北孝感432000） 摘 要：随着大数据时代的到来，数据挖掘技术再度受到人们关注。本文回顾了传统空间数据挖掘面临的问题， 介绍了国内外研究中利用大数据处理工具和云计算技术，在空间数据的存储、管理和挖掘算法等方面的做法，并指出了该类研究存在的不足。最后，探讨了空间数据挖掘的发展趋势。关键词：大数据；空间数据挖掘；云计算中图分类号：P208 文献标识码：B 文章编号：1672－5867（2014）07－0019－04 Spatial Data Mining Big Data Era Ｒeview MA Hong －bin 1，WANG Ke 1，MA Tuan －xue 2 （1．Geospatial Information Institute ，Information Engineering University ，Zhengzhou 450000，China ； 2．Airborne Institute ，Xiaogan 432000，China ） Abstract ：In the era of Big Data ，more and more researchers begin to show interest in data mining techniques again．The paper review most unresolved problems left by traditional spatial data mining at first．And ，some progress made by researches using Big Data and Cloud Computing technology is introduced．Also ，their drawbacks are mentioned．Finally ，future trend of spatial data mining is dis-cussed． Key words ：big data ；spatial data mining ；cloud computing 0引言 随着地理空间信息技术的飞速发展，获取数据的手 段和途径都得到极大丰富，传感器的精度得到提高和时空覆盖范围得以扩大，数据量也随之激增。用于采集空间数据的可能是雷达、红外、光电、卫星、多光谱仪、数码相机、成像光谱仪、全站仪、天文望远镜、电视摄像、电子 显微镜、CT 成像等各种宏观与微观传感器或设备，也可能是常规的野外测量、人口普查、土地资源调查、地图扫描、 地图数字化、统计图表等空间数据获取手段，还可能是来自计算机、 网络、GPS ，ＲS 和GIS 等技术应用和分析空间数据。特别是近些年来，个人使用的、携带的各种传感器（重力感应器、电子罗盘、三轴陀螺仪、光线距离感应器、温度传感器、红外线传感器等），具备定位功能电子设备的普及，如智能手机、平板电脑、可穿戴设备（GOOGLE GLASS 和智能手表等），使人们在日常生活中产生了大量具有位置信息的数据。随着志愿者地理信息（Volunteer Geographic Information ）的出现，使这些普通民众也加入到了提供数据者的行列。 以上各种获取手段和途径的汇集，就使每天获取的 数据增长量达到GB 级、 TB 级乃至PB 级。如中国遥感卫星地面站现在保存的对地观测卫星数据资料达260TB ，并以每年15TB 的数据量增长。比如2011年退役的Landsat5卫星在其29年的在轨工作期间，平均每年获取8．6万景影像，每天获取67GB 的观测数据。而2012年发射的资源三号（ZY3）卫星，每天的观测数据获取量可以达到10TB 以上。类似的传感器现在已经大量部署在卫 星、 飞机等飞行平台上，未来10年，全球天空、地空间部署的百万计传感器每天获取的观测数据将超过10PB 。这预示着一个时代的到来，那就是大数据时代。大数据具有 “4V ”特性，即数据体量大（Volume ）、数据来源和类型繁多（Variety ）、数据的真实性难以保证（Veracity ）、数据增加和变化的速度快（Velocity ）。对地观测的系统如图1所示。 在这些数据中，与空间位置相关的数据占了绝大多数。传统的空间知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限， 受到数据传输、存储及时效性需求的制约等。为了从存储在分布方式、虚拟化的数据中心获取信息或知识，这就需要利用强有力的数据分析工具来将
分布式系统与云计算课程教学大纲 课程名称：分布式系统与云计算 英文名称：Distributed Systems and Cloud Computing 总学时：56 总学分：2 适用对象: 物联网工程专业 先修课程：程序设计语言、计算机网络 一、课程性质、目的和任务 本课程是物联网工程专业学生的专业选修课，分布式计算提供了跨越网络透明访问各种信息资源并协同处理的能力，是大规模网络应用的基础, 云计算是海量数据处理的支撑技术。本课程旨在通过介绍分布式计算与云计算相关的理论与技术，使学生能够掌握分布式系统与云计算的概念，理解并掌握当前分布计算领域的主流技术，了解分布计算与云计算研究的方向，开阔视野，为从事分布式应用开发或云计算研究打下一定的基础。 二、教学的基本要求 了解分布式计算与云计算的基本概念。 掌握常见的几种计算模式，并明确优缺点，可以根据需要选用适当的计算模式进行开发。 了解三种典型的分布式对象技术，并能掌握其中一种进行程序开发。 掌握基于Web的应用程序开发技术。 了解当今各大公司主流的云计算技术。 了解分布式计算与云计算研究的发展趋向。 三、教学的基本内容 分布计算技术和云计算的基本概念，分布式系统的目标，云计算的优点和缺点，分布式系统层次结构，分布系统中的主要特征，客户-服务器模式的基本概念，客户-服务器端架构和体系结构。 分布式对象计算：介绍三种典型的分布式对象技术CORBA、DCOM和EJB，以CORBA 为主介绍分布式对象计算技术，包括CORBA的基本结构、ORB之间的互操作，CORBA服务和公共设施以及CORBA编程。 当今各大公司主流的云计算技术介绍：Google文件系统，Bigtable技术，MapReduce 技术，Yahoo!公司的云平台技术，Aneka云平台技术，Amazon公司的Dynamo技术，IBM 公司的云计算技术。 云计算的程序开发：基于Hadoop系统的开发，基于HBase系统的开发，基于Google App Engine系统的开发，基于Windows Azure系统的开发。
应用实践 搭建基于云计算的开源海量数据挖掘平台 赵华茗 (中国科学院国家科学图书馆 北京100190) 摘要 通过分析亚马逊弹性M apR e duce(EMR )平台构架,针对信息情报机构内部数据处理的迫切需求,提出通过开源技术X en 和H adoop 平台构建基于云计算的动态可伸缩的海量数据处理平台并给出实施方案、海量文本数据处理案例和开源EMR 平台的优势分析。实施方案主要分为三部分:搭建动态虚拟的云计算环境、安装制作H adoop 虚拟服务器模板、配置运行C l oudera 和C l oudera D esktop 。通过开源EMR 架构的应用,可以有效解决服务器蔓延问题,提高网络计算资源的利用效率和分布式数据挖掘服务的快速布署能力及灵活性。 关键词 云计算 海量数据挖掘 虚拟技术 分布式计算 Xen Cloudera H adoop 分类号 TP393 Buil di ng t he Open SourceM ass DataM i ni ng Platform Based on C l oud Co mputi ng Zhao H ua m ing (N ational Sci ence L i brary ,Ch i nese A cade m y o f Sciences ,Beijing 100190,Ch i na) Abstract A m i i ng to m eet the i nter nal data processi ng needs of inf or m ati on organizati ons ,t h is paper ,by analyzi ng the fra m e wor ks o f Am azon E last i c M ap/R e duce (EM R )pl atfor m,puts for w ard to buil d t he dyna m ic and e l astic open source m ass datam i n i ng platfor m based on cloud co mputi ng ,and provides a road m ap of successful m i ple m entati on ,an exa mple of m assive text data processing and the analysis of advantages of open source EM R platf or m.This m i ple m entati on plan i ncl udes three parts :buildi ng dyna m ic virtual env ir on m ent of cloud co mputi ng ,creati ng the v irtual server te mplate of H a doop ,and depl oyi ng and r unni ng Cloudera and C loudera Desktop .Through the application of open source E M R platfor m,the proble m of ser ver spra w l can be solve d effectively ,the utilization rati o of net work co mputi ng resource is m i pr oved ,and the r ap i d depl oy m ent capability a nd ag ility of distri buted data processi ng ser v ices are e nha nced . K ey words C l oud co mputi ng M ass data m i ni ng V irtualizat i on D istribute d co mputi ng X e n C l oudera H a doop 收稿日期:2010-09-26 收修改稿日期:2010-09-28 *本文系!第二十四届全国计算机信息管理学术研讨会?论文。 1 引 言 互联网促进了信息流通,也带来了信息的爆炸式增长,最新的I DC 研究报告指出2010年全球信息量将进入ZB 时代,并且每年以60%的速度在上升,这意味着每18个月全球信息数据量将被翻倍 [1] 。面对不断拓展的惊人 的数据规模,海量信息的存储与管理、实时处理、数据搜索、数据挖掘与智能应用等信息处理能力面临新的挑战,信息技术架构迫切需要以动态可伸缩为特点的支持海量数据处理的新的存储计算模式。
收稿日期:2004 07 14 作者简介:刘俊丽(1972 ),女,毕业于黑龙江大学计算数学及其应用软件专业,黑龙江省黑河学院计算机系讲师,从事计算机教学工作。 分布式系统中容错技术导论 刘俊丽 (齐齐哈尔大学黑河学院,齐齐哈尔164300) 摘 要 本文讲述的是分布计算系统出现部分失效的时候,系统应该能自动从失效中恢复过来,并且不会对整个系统的性能产生严重的影响。 关键词 分布式系统;故障;失效;容错 Abstract The article is abou t the fault tolerance that the system can recover from the crash automatically and won t have a serious influence on the function of the whole system. Key words the distribu ted system;the crash;the failure;the fault tolerance 中图分类号 TP392 文献标识码 A 文章编号 1008-0821(2004)10-0223-03 分布计算系统区别于单机系统的一个特点是在分布式系统中存在着部分失效的情况。当分布式系统某个部件出现问题的时候就发生了部分失效。虽然部分失效对分布式系统的性能有一定的影响,但同时,它应该不会影响分布式系统中整个应用程序的正确执行。相反,在单机系统中,如果系统中的一个关键部件出现问题,整个应用程序就无法继续执行。 分布计算系统的一个重要设计目标是当系统中出现部分失效的时候,系统应该能自动从失效中恢复过来,并且不会对整个系统的性能产生严重的影响。故此在这里我们讨论分布计算系统中的容错技术。 容错是计算机科学中一个重要的研究领域。首先介绍与故障处理有关的一些基本概念和分布计算系统中的故障模型。关于分布计算系统中容错的一些非常有用而详细的介绍可以参见文献[J ALOTE,1994]。 1 基本概念 分布计算系统应该是一个可信赖的系统(dependable system),容错是与可信赖系统紧密相联系的一个概念。分布计算系统的可信赖性(dependability )包括如下几个方面[KOPETZ,1993]: 1 1 可用性(availability) 可用性反映的是系统随时可被用户使用的特性。也就是说,在任何给定的时刻用户都可以使用此系统正确地执行用户给定的任务。 1 2 可靠性(reliability) 可靠性指的是在错误存在的情况下,系统持续服务的能力。尽管可靠性和可用性容易混淆,但它们并不是同一个概念。可靠性反映的是一段时间的特性,而可用性反映的是某个时刻的特性。高可靠性系统能够持续运行一个相当长的时间而不会中断。如果一个系统,每个小时都有并 且仅有1毫秒时间失效,那么它的可用性可达99 9999%,但是它仍然是一个高度不可靠的系统。同样地,如果一个系统从来不崩溃,但是在8月份中,有2个星期的假期需要关机,这个系统是高可靠性的系统,但是它的可用性只有96%。 1 3 安全性(safety) 安全性指的是在系统出现暂时错误的情况下,不出现灾难性后果的能力。例如核电厂的控制系统和宇宙飞船的控制系统要求具有很高的安全性。 1 4 可维护性(maintainability) 可维护性指的是系统一旦出现故障,系统易于修复的能力。高可维护性的系统意味着具有高的可用性。对于高可维护性系统来说,要求它具有自动检测错误和自动修复的能力。 1 5 保密性(security) 保密性要求系统资源不被非法用户访问。 系统失效指的是系统不能提供它所固有的服务功能。例如,分布式系统是为用户提供一系列服务的,但其中某一个服务或某些服务功能不能完全正确提供时,就说系统失效了。 一般来说,从错误的时间特性来看,错误可分为暂时性的(transient)、间歇性的(intermittent)和永久性的(per manent)。暂时性的错误一旦发生之后就会消失,当相关的操作重复执行之后,错误就消失了。间歇性的错误是一会儿出现,一会儿又消失的错误,这种错误是十分令人烦恼的一种错误,因为它十分难于诊断。永久性错误是一种持续性错误,这种错误一旦出现,将会长时间存在,直到出现错误的部件被修复为止。像集成芯片被烧坏、软件缺陷、磁盘磁头损坏等都是永久性错误。 223 2004年10月第10期October 2004No .10 现代情报 情报纵横
Web Service构架下的分布式数据挖掘 摘要：提出一种基于动态数据集划分改进的并行关联规则挖掘算法，它是先实时评估处理器的工作性能后动态地分配给工作量，从而平衡负载。该算法能极大地实现分布式环境下的数据挖掘。关键词：web service 数据挖掘特点 1 引言 随着计算机在社会的各行各业中得到了广泛而深入的应用和信息技术的不断的发展，各行各业特别是在商业、金融以及数据分析比较密集的领域中时刻都再产生出大量的计算机数据，再加上web 及internet技术的迅速发展网络中得各式各样的信息和数据也越来越丰富。特别是当前的数据又分布于不同地区，在面对这种大量的gb 级、tb 级甚至更多的数据的情况下，如何处理数量日益增长的数据以及如何在这纷繁的信息数据中找到我们需要和精准的有用信息就显得十分的重要。这样计算机数据挖掘这一个年轻的学科在当今的计算机数据的处理和数据的挖掘中得到了越来越广泛的关注和应用。所谓的数据挖掘，简单来说就是应用计算机的一系列算法从海量的计算机数据中提取或“挖掘”有用的信息。随着计算机应用和技术的不断发展，人们在数据挖掘技术的研究也获得了不错的成绩，数据挖掘在这种背景下得到了很大的发展。 web服务是基于分布式架构并且独立的运行于操作系统的一种的计算机服务技术，通过这个可互操作的应用程序的平台和标准的web协议就可以让程序访问的应用程序逻辑。它具有更加广阔的应
用空间是由于web服务的分布式的技术特点使得它具有跨平台和跨internet的优点，这样就能成功的使用网络的强大的可伸缩性的特点，完成很多用于重复使用和互操作的目的的工作。web技术和数据挖掘技术的良好切合就能避免传统数据挖掘中大量转储和效率低下的缺点，提高数据挖掘的效率和灵活性，为企业提高效率和效益提供了保障。 2 web service体系 web service 技术是面向服务的能够给予服务的抽象定义和服务的发布、具体实现并给以服务查找、服务实例选择并实现可交互操作的一种体系结构。web service 体系结构基于服务提供者（service provider）、服务注册中心(service registry)和服务请求者(service requestor)之间的交互并依赖于依赖soap（simple object access protocol）、wsdl(web services description language) 和uddi(universal description discovery and integration) 三者的技术。其中的交互包含了发布（publish）、查找（find）和绑定（bind）操作。wsdl所提供的服务描述是通过web 服务提供方送达web 服务注册中心后，注册中心基于wsdl所提供的服务描述，按照uddi 的协议的要求更新internet上的服务目录并发布在internet上。用户要与服务的提供商取得通信就必须得到web 服务提供者的服务接口和地址等信息，这首先必须向注册中心发出通信请求，然后通过soap 协议与其进行连接和绑定服务后才能进行通信。服务提供者是实现web service 的应用平台，也同时是web service提供的最终供应商。它既负有服务
分布式系统原理介绍 刘杰
目录 前言 (1) 1 概念 (2) 1.1 模型 (2) 1.1.1 节点 (2) 1.1.2 通信 (2) 1.1.3 存储 (2) 1.1.4 异常 (3) 1.2 副本 (8) 1.2.1 副本的概念 (8) 1.2.2 副本一致性 (8) 1.3 衡量分布式系统的指标 (9) 1.3.1 性能 (9) 1.3.2 可用性 (9) 1.3.3 可扩展性 (9) 1.3.4 一致性 (10) 2 分布式系统原理 (11) 2.1 数据分布方式 (11) 2.1.1 哈希方式 (11) 2.1.2 按数据范围分布 (13) 2.1.3 按数据量分布 (14) 2.1.4 一致性哈希 (14) 2.1.5 副本与数据分布 (16) 2.1.6 本地化计算 (18) 2.1.7 数据分布方式的选择 (18) 2.1.8 工程投影 (18) 2.2 基本副本协议 (20) 2.2.1 中心化副本控制协议 (20) 2.2.2 primary-secondary协议 (20) 2.2.3 去中心化副本控制协议 (23) 2.2.4 工程投影 (24) 2.3 Lease机制 (26) 2.3.1 基于lease的分布式cache系统 (26) 2.3.2 lease机制的分析 (28) 2.3.3 基于lease机制确定节点状态 (29) 2.3.4 lease的有效期时间选择 (30) 2.3.5 工程投影 (30) 2.4 Quorum机制 (33) 2.4.1 约定 (33) 2.4.2 Write-all-read-one (33) 2.4.3 Quorum定义 (34) 2.4.4 读取最新成功提交的数据 (35) 2.4.5 基于Quorum机制选择primary (36)
第26卷第5期 2011年lO月 北京信息科技大学学报 Journal of Beijing Information Science and Technology University V01.26No.5 Oct.2011 文章编号:1674—6864(201105—0019—06 基于云计算的分布式数据挖掘平台架构 王小妮l’2,高学东2,倪晓明1 (1.北京信息科技大学理学院.北京100192;2.北京科技大学经济管理学院,北京100083 摘要:针对互联网上数量众多的网站带宽资源长期浪费或突发资源短缺、响应时间长、服务器宕机、网站受到黑客攻击等问题,提出了基于“云”的分布式web安全系统及基于云计算的分布式数据挖掘平台架构,并在此基础上提出了一种新型的分布式数据挖掘模式,利用云计算技术,可以方便地通过网络获取强大的计算能力和存储能力,将消耗大量资源的复杂计算通过网络路由优化和资源约束自适应策略分布到多节点上进行,然后通过组合不同数据站点上的局部数据模型,最终得到全局数据模型。 关键词:云计算;数据挖掘;分布式 中图分类号:TP 399文献标志码:A Architecture of distributed data mining platform based on cloud computing WANG Xiao—nil 2,GAO Xue—don92,NI Xiao-min91 (1.School of Applied Science,Beijing Information Science and Technology University,Beijing 100192,China;
基于WEB的分布式数据挖掘系统研究 1Web服务概述 1.1 Web服务及其特性 对于 Web 服务，微软给出的定义是：一个 Web 服务是为其他应用提供数据和服务的逻辑应用单元。应用程序通过统一的 Web 协议和数据格式（例如：HTTP、XML、SOAP ）访问Web 服务，不需要担心任何实现细节。从表面上看，Web 服务就是一个应用程序，它向外界暴露出一个能够通过 Web进行调用的 API。也就是说 Web 服务是可通过 URL 定位的自动将信息返回到需要它的客户端那里的一种资源。Web 服务应该能够被客户方便地集成到本地应用程序中，甚至是另外的 Web服务中。因此，它要有这样一些特性： 1）Web 服务应该是一个“黑匣子”,即客户无需关心它的具体实现，它的实现和维护工作由服务提供者负责，客户只需要通过它提供的接口来使用。 2）Web 服务应该实现自我功能描述，以便向客户介绍自己。 3）Web 服务需要提供一种发现机制，使得客户能够在 Web 上找到该服务。 4）Web 服务应该跨语言、跨平台。 5）面向消息，松散耦合。 1.2 Web服务的体系架构 在Web 服务的体系架构里有三个角色：服提务供者，服务注册中心和服务请求者。服务提供者是提供最终Web 服务的供应商，它实现了一个为特定的需求而编写的应用程序——Web 服务，并放置在在线服务器上供别人使用。从商业角度看，服务提供者是Web 服务的拥有者，负责其所拥有服务的发布、更新和回收。从Web服务体系架构的角度看，服务提供者是实现Web 服务的平台。服务请求者是服务的用户。从商业角度看，服务请求者是是特定服务的消费者。从Web 服务体系架构的角度看，服务请求者是查找并调用一个特定服务的应用。服务请求者可以是一个通过浏览器访问服务的人，或者是一个应用程序，甚至是另外一个Web 服务。服务注册中心是一个Web 服务的注册地，汇集了很多在线的Web 服务，一般来说服务提供者将Web 服务安装到在线服务器后，会将Web 服务发布到服务注册中心。对于想要使用Web 服务的服务请求者来说，他首先去查去查询服务注册中心，当他发现了合适的Web 服务之后，将从服务注册中心获取这些Web 服务的技术信息引用，通过这些引用找到Web 服务及其相关的技术信息，从而完成服务请求者和服务提供者之间的技术绑定。 具体结构如下图所示：
可视化空间数据挖掘研究综述 贾泽露1，2 刘耀林2 （1. 河南理工大学测绘与国土信息工程学院，焦作，454000；2. 武汉大学资源与环境科学学院，武汉，430079）摘要：空间数据挖掘针对的是更具有可视化要求的地理空间数据的知识发现过程，可视化能提供同用户对空间目标心理认知过程相适应的信息表现和分析环境，可视化与空间数据挖掘的结合是该领域研究发展的必然，并已成为一个研究热点。论文综述了空间数据挖掘和可视化的研究现状，重点阐述了空间数据挖掘中的可视化化技术及其应用，并对可视化空间数据挖掘的发展趋势进行了阐述。 关键词：数据挖掘；空间数据挖掘；数据可视化；信息可视化；GIS； 空间信息获取技术的飞速发展和各种应用的广泛深入，多分辨率、多时态空间信息大量涌现，以及与之紧密相关的非空间数据的日益丰富，对海量空间信息的综合应用和处理技术提出了新的挑战，要求越来越高。空间数据挖掘技术作为一种高效处理海量地学空间数据、提高地学分析自动化和智能化水平、解决地学领域“数据爆炸、知识贫乏”问题的有效手段，已发展成为空间信息处理的关键技术。然而，传统数据挖掘“黑箱”作业过程使得用户只能被动地接受挖掘结果。可视化技术能为数据挖掘提供直观的数据输入、输出和挖掘过程的交互探索分析手段，提供在人的感知力、洞察力、判断力参与下的数据挖掘手段，从而大大地弥补了传统数据挖掘过程“黑箱”作业的缺点，同时也大大弥补了GIS重“显示数据对象”轻“刻画信息结构”的弱点，有力地提高空间数据挖掘进程的效率和结果的可信度[1]。空间数据挖掘中可视化技术已由数据的空间展现逐步发展成为表现数据内在复杂结构、关系和规律的技术，由静态空间关系的可视化发展到表示系统演变过程的可视化。可视化方法不仅用于数据的理解，而且用于空间知识的呈现。可视化与空间数据挖掘的结合己成为必然，并已形成了当前空间数据挖掘1与知识发现的一个新的研究热点——可视化空间数据挖掘(Visual Spatial Data Mining，VSDM)。VSDM技术将打破传统数据挖掘算法的“封闭性”，充分利用各式各样的数据可视化技术，以一种完全开放、互动的方式支持用户结合自身专业背景参与到数据挖掘的全过程中，从而提高数据挖掘的有效性和可靠性。本文将对空间数据挖掘、可视化的研究概况，以及可视化在空间数据挖掘中的应用进行概括性回顾总结，并对未来发展趋势进行探讨。 一、空间数据挖掘研究概述 1.1 空间数据挖掘的诞生及发展 1989年8月，在美国底特律市召开的第一届国际联合人工智能学术会议上，从事数据库、人工智能、数理统计和可视化等技术的学者们，首次出现了从数据库中发现知识(knowledge discovery in database，KDD)的概念，标志着数据挖掘技术的诞生[1]。此时的数据挖掘针对的 作者1简介：贾泽露（1977,6－），男，土家族，湖北巴东人，讲师，博士，主要从事空间数据挖掘、可视化、土地信息系统智能化及GIS理论、方法与应用的研究和教学工作。 作者2简介：刘耀林(1960,9- ),男，汉族，湖北黄冈人，教授，博士，博士生导师，武汉大学资源与环境科学学院院长，现从事地理信息系统的理论、方法和应用研究和教学工作。
第一章分布式系统概述 计算机系统正在经历着一场革命。从1945年现代计算机时代开始到1985年前后，计算机是庞大而又昂贵的。即使是微型机，通常也每台价值数万美元。因此，大多数机构只有少数的几台计算机，同时，由于缺乏一种把它们连接起来的方法，所以这些计算机只能相互独立地运行。 但是，从20世纪80年代中期开始，技术上的两大进步开始改变这种状况。首先是功能更强的微处理机的开发，开始出现了8位的机型，随后不久16位，32位，甚至64位的CPU 也开始普及。其中许多机器具有较大主机（即，大型机）的计算能力，但价格却只是它的几分之一。 在过去的半个世纪里计算机技术取得了惊人的进步，这在其它工业中是前所未有的。从每台机器价格高达1000万美元，每秒执行一条指令，发展到目前售价1000美元而每秒执行1000万条指令，其性能价格比提高了1011倍。如果在同一时期内汽车工业也能以这样的速度发展，那么现在一部劳斯莱斯牌汽车（Rolls Royce）将会只需要花10美元就可买到，而每加仑汽油就能行驶10亿英里（不幸的是，那时可能会有一本200页的手册告诉你该如何打开车门）。 第二个进步是高速计算机网络的出现。局域网LAN使得同一建筑内的数十甚至上百台计算机连接起来，使少量的信息能够在大约1毫秒左右的时间里在计算机间传送。更大量的数据则以（107～108 ）比特/秒（bit/s）或更大的速率传送。广域网WAN使得全球范围内的数百万台计算机连接起来，传输速率从64Kbps(每秒千位比特)到用于一些先进的实验型网络中的每秒千兆比特（gigabits）。 这些技术的结果使得把由大量CPU组成的计算系统通过高速网络连接在一起不仅成为可能，而且变得十分容易。相对于以前包括单个CPU、存储器、外设和一些终端在内的集中式系统（又叫单处理机系统single processor system），它们通常被称为分布式系统(distributed systems)。 现在仅存在一个比较棘手的问题，那就是软件。分布式系统需要与集中式系统完全不同的软件。特别是系统所需要的操作系统只是刚刚出现。虽然分布式系统已经向前迈出了最初的几步，但仍有很长的一段路要走。对于分布式操作系统，我们对它的一些基本思想的介绍到这里已经足够了。接下来，本书将致力于研究分布式操作系统的概念、实现和几个实例。 1.1什么是分布式系统？ 分布式系统有很多不同的定义，但其中没有一个是令人满意或者能够被所有人接受的。介绍分布式系统，对它的特点的下列大致的描述足够了： “一个分布式系统是一些独立的计算机的集合，但是对这个系统的用户来说，系统就象一台计算机一样。” 这个定义有两个方面的含义：第一，从硬件角度来讲，各个计算机都是自治的；第二，从软件角度来讲，用户将整个系统看作是一台计算机。这两者都是必需的，缺一不可。在简要介绍有关硬件、软件的一些背景材料之后，我们将再回到这两点上来进行讨论。 由于给出分布式系统的一些实例可能要比进一步的深入研究定义更有帮助，下面就给出一些分布式系统的例子。第一个例子，设想一个大学或公司部门内的工作站网络。除了每个用户的个人工作站外，机房中可能还有一个共享的处理机池(pool of processor)，这些处理机并没有分配给特定的用户，而是在需要的时候进行动态分配。这样的系统可能会有一个单一的文件系统，其中所有的文件可以从所有的计算机上以相同的方式并且使用相同的路径名存取。另外，当一个用户输入一条命令时，系统能够找到一个最好的地方执行该命令。这可能
41摘要：分布式数据挖掘是一种数据挖掘技术，通过这一技 术可以整合局部而获得全局知识，提高决策水平。本文基于大 量的文献资料，对分布式数据挖掘技术的定义、框架，以及现 有的分布式数据挖掘系统分类进行了分析。然后，探讨了分布 式数据挖掘系统应用过程表现出来的共性问题，并提出了相应 的解决措施，以提高分布式数据挖掘质量，充分挖掘网络空间 内分布式数据的价值。 关键词：系统分析；共性问题；定义；框架；解决措施 近年来，随着信息技术、通信技术及网络技术的不断发 展，广电网、移动网、互联网等网络和相关的衍生业务快速拓 展，形成了大量的基于网络空间的分布式数据。这些数据中蕴 藏着巨大的价值，可为决策提供依据。但是受网络平台兼容 性、易购性等特征的影响，集中式数据挖掘已经难以适应分布 式计算环境，这种情况下诞生了分布式数据挖掘技术，用于挖 掘分布式数据价值。由于分布式数据挖掘技术刚刚兴起，很多 人对这一技术的应用和系统问题了解不多，所以对分布式数据 挖掘系统及其共性问题、解决方法进行分析是必要的，利于深 化对分布式数据挖掘技术的应用，提高分布式数据挖掘质量。 1、分布式数据挖掘的定义与框架 1.1 定义 分布式数据网挖掘这一词汇出现较早，直至20世纪90年代 后期才被人们所关注，并将其定义为基于网络空间的分布式计算 环境的数据挖掘。除了这一种解读外，人们还普遍认为分布式数 据挖掘是利用分布式计算方式对网络空间内的分布式数据进行挖 掘，通过局部知识进行整合来获得全局知识，进而挖掘分布式数 据的价值，为决策提供可靠的依据，确保决策质量。数据挖掘质 量的高低，主要取决于局部知识整合方法和局部知识质量，在局 部知识质量较高情况下必然可以保证数据挖掘质量。 1.2 框架 通常情况下，分布式数据挖掘遵循“全局分布、局部集中” 的挖掘原则，以站点间的纯粹独立挖掘方式进行，但是并不都是 独立挖掘，也可以利用某些站点进行数据挖掘。当网络空间中的 分布式数据挖掘研究 文／王建君 某个或某些站点的计算能力、储存能力、通信能力较强时，它 （它们）就可以汇集其它站点的数据，对其进行分布式数据挖 掘，得到整合的局部数据挖掘结果，再借助这一结果获取全局结 果。具体情况如图1所示。分布式数据挖掘中的数据主要来自于 分布式计算环境中的数据，此外也有部分集中数据。无论数据来 源是什么，都可以将数据分散到各站点中，利用站点进行数据的 分布式挖掘，获得较高质量的数据挖掘结果。 2、分布式数据挖掘系统及分类 发展初期，分布式数据挖掘系统将系统内的数据集中起 来，构建一个临时数据集市，然后集中的进行数据挖掘。这种 数据挖掘方式的保密性、安全性较高，但是易给网络通讯运行 造成一定困扰。而且，它采用的数据挖掘方式以集中式挖掘为 主，虽然表面上是分布式数据挖掘，实质上却是集中式数据挖 掘。为实现真正的分布式数据挖掘，引进国外先进技术，构筑 了分布式数据挖掘系统。目前，国内分布式数据挖掘系统主要 有基于网络的分布式数据挖掘系统、基于元学习的分布式数据 挖掘系统、基于Multi-Agent的分布式数据挖掘系统。 2.1 基于网络的分布式数据挖掘系统 这一种分布式数据挖掘系统以互联网等现代网络为基础，具 备网络资源共享、协同工作、开放服务等特点，在分布式数据挖 掘中具备较高的协同性、可靠性，对保证数据挖掘质量有积极作 用。特别是该种系统利用网络计算尽心分布式数据挖掘，使数据 挖掘性能得到有效的提高，利于提高数据资源的利用率。 2.2 基于元学习的分布式数据挖掘系统 这一种分布式数据挖掘系统以元学习为基础，通过元学 习与分布式数据挖掘系统的融合进一步优化了分布式数据挖掘 算法，可以对已有的局部知识进行多次挖掘，确保了数据挖掘 质量。在这一系统的框架研究上，已经有了一些显著成果，如 Weka4GML框架。 2.3 基于Multi-Agent的分布式数据挖掘系统 这一种分布式数据挖掘系统以Multi-Agent系统为基础，通过 Multi-Agent的自治性充分保护了局部知识挖掘结果的私有性，利 于提高数据挖掘的自动化程度。同时，可以减少用户参与，实现 多种算法协同挖掘，是一种高效的分布式数据挖掘技术。 2.4 基于CDM的分布式数据额挖掘系统 这一种分布式数据挖掘系统以CDM为基础，将待学习的函 数视作为一组基函数，允许各站点分布式数据源选择各自适合 的学习算法，是一种数据源独立挖掘的分布式挖掘方式。进行 数据挖掘时，虽然各站点独立进行数据挖掘，但因为以全局知 识正确为基本前提，可以减少网络通信量。 3、分布式数据挖掘系统的共性问题及解决 3.1 共性问题 以上分布式数据挖掘系统的技术水平虽然较高，实际运 用中依然表现出了不少问题，主要体现在挖掘质量、挖掘效率图1 分布式数据挖掘框架
操作系统论文 题目：分布式和分布式操作系统简介学院：计算机科学与工程学院 专业：计算机科学与技术 班级: 计算机科学与技术师范（1）班学生姓名： 学号： 指导教师：
分布式和分布式操作系统简介 摘要 本文介绍了分布式系统、分布式操作系统及其特点以及与网络操作系统的区别，分布式操作系统是在比单机复杂的多机环境下得到实现的，并且具备分布性、自治性、并行性、全局性这四个基本特征，能够实现资源共享，加快计算速度，并且可靠性得到了提高。在分布性与并行性上比网络操作系统有独到的优点，并且在透明性以及健壮性方面具有网络操作系统不可匹敌的优势，本文从分布式系统的结构、分布式系统的工作原理、分布式系统的典型作用以及分布式系统的局限性等方面详细阐述了分布式系统是如何实现分布的。 关键字：分布式、分布式操作系统、网络操作系统、
1.分布式系统 1.1分布式系统概述 利用计算机网络把分布在不同地点的计算机硬件、软件、数据等信息资源联系在一起服务于一个共同的目标而实现相互通信和资源共享，就形成了管理信息系统的分布式结构。具有分布结构的系统称为分布式系统。 实现不同地点的硬、软件和数据等信息资源共享，是分布式系统的一个主要特征。分布式系统的另一个主要特征是各地与计算机网络系统相联的计算机系统既可以在计算机网络系统的统一管理下工作，又可脱离网络环境利用本地信息资源独立开展工作。 下图是分布式的图例： 1.2硬件环境 原来系统内中央处理器处理的任务分散给相应的处理器，实现不同功能的各个处理器相互协调，共享系统的外设与软件。 1.3网络环境 多数分布式系统是建立在计算机网络之上的，所以分布式系统与计算机网络
技术层次图 各技术简介 1.1mybatis简介 MyBatis 是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis 消除
了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis 使用简单的XML 或注解用于配置和原始映射，将接口和Java 的POJOs（Plain Old Java Objects，普通的Java对象）映射成数据库中的记录。 每个MyBatis应用程序主要都是使用SqlSessionFactory实例的，一个SqlSessionFactory实例可以通过SqlSessionFactoryBuilder获得。SqlSessionFactoryBuilder可以从一个xml配置文件或者一个预定义的配置类的实例获得。 用xml文件构建SqlSessionFactory实例是非常简单的事情。推荐在这个配置中使用类路径资源（classpath resource)，但你可以使用任何Reader实例，包括用文件路径或file://开头的url创建的实例。MyBatis有一个实用类----Resources，它有很多方法，可以方便地从类路径及其它位置加载资源。 1.2webservice简介 Web service是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XML（标准通用标记语言下的一个子集）标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。 1.3jquery简介
jQuery UI 是以jQuery 为基础的开源JavaScript 网页用户界面代码库。包含底层用户交互、动画、特效和可更换主题的可视控件。我们可以直接用它来构建具有很好交互性的web应用程序。所有插件测试能兼容 jQuery UI包含了许多维持状态的小部件（Widget），因此，它与典型的jQuery 插件使用模式略有不同。所有的jQuery UI 小部件（Widget）使用相同的模式，所以，只要您学会使用其中一个，您就知道如何使用其他的小部件（Widget）。 1.4springmvc简介 Spring MVC属于SpringFrameWork的后续产品，已经融合在Spring Web Flow里面。Spring 框架提供了构建Web 应用程序的全功能MVC 模块。使用Spring 可插入的MVC 架构，可以选择是使用内置的Spring Web 框架还可以是Struts 这样的Web 框架。通过策略接口，Spring 框架是高度可配置的，而且包含多种视图技术，例如JavaServer Pages（JSP）技术、Velocity、Tiles、iText 和POI。Spring MVC 框架并不知道使用的视图，所以不会强迫您只使用JSP 技术。Spring MVC 分离了控制器、模型对象、分派器以及处理程序对象的角色，这种分离让它们更容易进行定制。 1.5spring简介 Spring是一个开源框架，Spring是于2003 年兴起的一个轻量