贝叶斯网络在数据分析中的应用

图书与档案　

计算机网络技术在数据管理中的应用分析　

黄姝妤张洋　

（平顶山市人民政府用水节水管理办公室河南省４６７０９９）　

［摘要］网络对人类生活的影响可以说是革命性的。它具有快捷性、自由性、开创性、互动性以及创新性。它传播的速度快，传播的深度广以及对社会反应灵　敏。它改变了人们传统的生活方式，在数据管理中扮演重要的角色。本文对计算机网络技术在数据管理中的应用以及发展进行分析，重点阐述计算机网络技术在档　案管理中的应用，同时就应用的重点以及难点进行解析，指出计算机网络技术在档案管理中具有广泛的应用前景。　［关键词］计算机技术数据管理档案管理　中图分类号：Ｇ２７１　文献标识码：Ａ　文章编号：１００９—９１４Ｘ（２０１４）０９—０３５７—０１　

一　计算机网络技术的概述及其发展历程　

１．１概述　

计算机网络技术是通信技术与计算机技术相结合的产物，计算机网络是按　

照网络协议，将地球上分散的、独立的计算机相互连接的集合。随着产品生产的　

社会化、专业化、自动化的发展，对数据，管理工作的要求越来越高。数据管理要　

为生产经营活动的全过程提供所需要的、准确的数据管理数据和信息，因而必　

须提高企业的数据管理检测能力和数管理管理水平，允分发挥数据管理检测数　据的作用，使其成为企业管理、决策和成本核算的依据以达到提高产品质量。保　

障安全生产，节约能源和材料，提高劳动生产率，提高经济效益的目的。因此，企　业的产品要在竞争中占领市场，数据管理和数据管理检测技术的现代化发展势　

在必行。随着科学技术的不断创新，计算机技术“也随之飞速发展，并越来越广　

泛地应用于社会的各个领域。其在数据管理中的应用，为企业生产和管理实现　

高速化、规范化和自动化创造了条件：同时，数据管理工作要适应社会主义市场　

经济的发展。要进一步规范化、系统化、科学化，就必须和计算机技术结合起来，　

建立先进、科学合理的数据管理体系　

１　２发展历程　

计算机的发展可分为四个阶段，第１阶段：２０ｆｆ纪６Ｏ年代末到２Ｏ世纪７Ｏ年代　

龙源期刊网

大数据技术在网络安全分析中的应用

作者：党小燕

来源：《科学与信息化》2018年第09期

摘 要 随着近些年网络的迅速发展，越来越多的人开始使用网络，同时网络对于我们生活的影响越来越大，衣食住行都离不开网络的协助。网民数量急剧增加，所产生的网络数据也在迅猛增长，而为了保障用户的隐私不被侵犯，就必须保证网络的安全性。由于网络已经渗透到我们生活的方方面面，网络安全也直接影响到我们个人信息的安全，而对于整个国家而言，网络安全关系到国家机密信息的安全性。

关键词 网络安全分析；大数据技术；应用

在网络刚刚普及时，人们交流大都采用文字的方式，而文字占用的存储空间很小，也很容易保障其安全性。但随着网络传输速度的加快，人们交流逐步采用图片，视频的形式，这将产生非常庞大的数据量，同时数据的来源越来越多，数据存储空间的数量级已经从TB转变为PB。数据量越来越大意味着可能存在的漏洞越来越多，数据泄露的可能性也越来越大。此外，网络技术的发展也让很多不法分子利用网络漏洞进行犯罪行为，严重影响网民的财产和隐私安全。

1 网络安全分析引入大数据技术的必要性

由上文知，网络数据量已经非常庞大，并且还在快速增长，同时数据的种类多，来源广，这对数据的分析造成了很大的困难。如果按照传统的搜索方式去检索数据，那将犹如大海捞针，即使查找到所需要的数据那也得付出烧毁几台计算机的代价，而且采用传统的数据库技术和网络架构来对数据进行分析，很有可能导致数据的损坏或是丢失，甚至整个数据错位，进而导致数据的崩溃。所以说传统的网络技术已经不能满足如今庞大的，多类型，多架构的网络数据的分析需求，急需引进新的数据分析技术。

大数据技术简单来说就是针对大量的数据进行分析处理，它能够处理类型多样，且风格迥异的海量数据，相对于传统的网络数据分析技术而言，大数据技术为海量的网络信息数据的存储和管理提供了可能。除此之外，大数据技术的应用成本低廉，对于硬件的要求也不高，在普通的家用电脑上便可以流畅运行，而且查询速度很快，查询的精度很高，这就为大数据技术应用于网络安全分析打下了坚实的基础[1]。

多源异构数据融合的方法研究及应用

随着互联网的发展和信息技术的普及，越来越多的数据产生和存储在不同的系统和平台中，这些数据有可能是结构化数据，如关系型数据库，也有可能是非结构化或半结构化数据，如文本、图片、音频、视频等。由于数据来源和格式的多样性，企业在分析和利用数据方面面临很多难题。多源异构数据融合技术应运而生，它可以将来自不同系统和平台的数据进行整合，形成一张全局视图，为企业提供更准确和全面的数据分析和应用支持。

一、多源异构数据的特点

1.来源多样化。多源异构数据有可能来自不同的系统和平台，如关系型数据库、文本、图片、音频、视频等。

2.格式不一致性。由于数据来源的多样性，数据的格式也存在着差异，如数据的结构、记录、字段名、编码、精度等方面。

3.数据质量不可靠。由于数据来源的不确定性和数据收集的不完全性，数据的质量可能会存在着各种问题，如重复、缺失、错误、无效、不一致等。

4.数据量庞大。多源异构数据的规模通常很大，可能存在着海量的数据，需要进行有效的存储、管理和分析。

二、多源异构数据融合的方法

1.数据预处理。在数据融合之前需要对原始数据进行预处理，包括数据清洗、去重、存储、标准化等。数据清洗可以将无效数据或异常数据进行删除或修复；去重可以避免重复数据的出现；存储可以选择适当的数据存储格式和机制以便于后续的数据访问和管理；标准化可以将不同格式或表示的数据转换成一致的形式。

2.数据集成。数据集成是将原始数据进行整合，以便于生成一张全局视图。数据集成的核心就是实现数据的对齐和匹配，将不同数据源中的相应数据元素进行匹配和对齐，以便于构成一个全视图。数据集成的方式可以有两种，即逻辑集成和物理集成。逻辑集成是指通过一定的方式来定义数据元素之间的关系，物理集成是指将数据元素存储到同一个物理位置下。

3.数据匹配。数据匹配是数据融合过程中最关键和难点的一个环节，主要是对数据元素进行对齐和匹配，以便于生成全局视图。数据匹配一般由两个步骤组成，一是对数据元素进行规范化处理，二是对数据元素进行相似度计算和匹配。对于文本数据，可以使用文本相似度算法来实现数据匹配；对于结构化数据，可以使用聚类算法或分类算法来实现数据元素的自动匹配。

重要性采样在贝叶斯网络中的参数学习及结构学习方法探索

在贝叶斯网络中，参数学习和结构学习是推断过程中至关重要的两个步骤。重要性采样是一种常见的方法，在贝叶斯网络中可以用于参数学习和结构学习。

首先，让我们先来了解一下贝叶斯网络。贝叶斯网络是一种概率图模型，用于建模变量之间的依赖关系。它由有向无环图表示，其中节点表示变量，边表示依赖关系。贝叶斯网络通过条件概率分布和贝叶斯定理来表示变量之间的关系和推理过程。

参数学习是指在给定贝叶斯网络结构的情况下，通过观察数据来估计网络中的参数。常见的方法包括最大似然估计和贝叶斯推断。然而，当变量的数量较多或者数据集较大时，精确估计参数将变得困难。这时候，重要性采样可以派上用场。

重要性采样是一种用于近似计算积分的方法，可以在参数学习中用于近似计算网络的边缘概率和条件概率。它基于一个重要性分布，通过对样本进行抽样和权重计算来近似计算目标概率。重要性采样可以提高计算效率，减少计算复杂度。

在贝叶斯网络中，重要性采样的参数学习方法可以分为两步：抽样和权重计算。首先，我们需要从重要性分布中抽样得到一组样本，这些样本可以来自先验分布或者其他已知分布。然后，根据抽样得到的样本，我们可以计算每个样本的权重，权重是目标分布和重要性分布的比值。最后，通过对样本的加权平均来近似计算目标概率。

结构学习是指在给定数据和变量集合的情况下，从所有可能的网络结构中选择最优的贝叶斯网络结构。常见的方法有贝叶斯结构学习和启发式搜索。重要性采样可以用于结构学习中的模型选择和评估。 在结构学习中，重要性采样可以用于从候选网络中抽样网络结构，并计算每个结构的权重。这些权重可以用于比较不同结构的优劣，并选择最优的网络结构。同时，重要性采样可以用于对模型进行评估，通过计算不同结构的边缘概率和条件概率来评估模型的质量和准确性。

总结来说，重要性采样是在贝叶斯网络中进行参数学习和结构学习的一种有效方法。它可以提高计算效率，减少计算复杂度。在参数学习中，通过抽样和权重计算来近似计算网络的边缘概率和条件概率。在结构学习中，重要性采样可以用于模型选择和评估。重要性采样的应用可以帮助我们更好地理解和分析贝叶斯网络，并为实际问题的建模提供参考。