大数据背景下数据挖掘技术的应用研究

《科技传播》2019·1（下）

127信息科技探索

随着科技的发展，云计算、人工智能等技术的兴起，人们开始迈入以大数据为支撑的信息化时代。对于新兴技术应用领域的开拓，已经成为一个国家发展的重要战略方向。将新兴技术应用到公安侦查领域，成为公安侦查领域强有力的技术支持。本文在大数据背景下，对数据挖掘技术在公安侦查工作中的应用进行分析，使读者对其应用有更为清楚的认识。1 数据挖掘技术概述1.1 数据挖掘的概念根据百度百科的解释，数据挖掘（Data Mining）也被翻译为数据探索。这是数据库知识发现的一个步骤。数据挖掘通常是指通过算法对大量数据中隐藏的信息进行搜索。数据挖掘通常与计算机科学相关，通过统计学、联机分析和处理、信息检索、机器学习、专家系统(依赖于过去的经验规则)和模式识别等手段来实现上述目的。 1.2 数据挖掘的一般过程数据挖掘的过程一般为：数据集选取、数据预处理、数据分析算法、分析总结改进。其中，数据预处理包括数据清理、数据集成、数据归约和数据变换等四个步骤。数据清理是将错误的、不完整的、不一致的数据进行消除，避免在数据挖掘过程中干扰数据分析。数据集成是对从不同数据库或文件系统中收集得到的数据进行合并，从而得到完整、清晰的数据。数据归约是将与数据挖掘任务有关的数据进行提取。数据预处理将选取的数据集进行提前处理，为数据开采做准备。数据预处理有利于提高数据的准确性、完整性和一致性上，对数据挖掘的准确性有直接的影响。2 公安侦查工作中运用数据挖掘技术的现实 意义2.1 提供了体量激增的情报来源数据是指记录和区分客观事件的符号。它是指记录客观事物的性质、状态和相互关系的物理符号或这些物理符号的组合。它不仅指狭义的数字，而且可以是有意义的单词、字母、图形、图像、视频和音频。它也是客观事物的性质、数量、位置和关系的抽象表现。在公安侦查工作中，数据具有多种表现形式和丰富内容。数据是信息的形式和载体。信息依赖于数据来表达、连接和处理信息，这些信息可以形成信息。价值作为标准，这3个被安排成基于信息和数据的金字塔结构。大容量是大数据的主要特征之一，它包含大量的数据。随着存储技术和加工技术的发展，数据与以前相比有了爆炸性的增长。数据挖掘技术用于处理、分析和挖掘互联网空间中未经处理的原始数据，为调查工作提供了无穷的信息来源，成为调查工作的有力支持。2.2 引发了更高效的侦查模式的演变随着科技的发展，尤其是计算机科学的发展，信息化的普及，对于犯罪活动的监管造成了很大的困难。这是由于，犯罪类型随着科技的发展，呈现出多样化、复杂化的趋势，出现了许多以前没有的犯罪行为，这给侦查工作带来新的挑战，同时，构成案件的各个要素都在发生变化，新型犯罪行为的出现，使得公安侦查工作进行改革，合理运用科技，对新型犯罪行为进行监督管理。现代犯罪，犯罪手段越来越隐蔽，无实体犯罪场所的网络犯罪案件也日益增加。传统侦查模式依赖于现场勘查，并不适用于网络犯罪等没有实体犯罪场所的犯罪。而利用新技术对数据进行挖掘，通过对犯罪信息的分析和有用信息的提取，使得在海量的信息中搜寻到与案作者简介：王玉清，山东省青岛市公安局信息通信处。大数据背景下数据挖掘技术在公安侦查中的应用王玉清摘 要 随着大数据时代的到来，数据挖掘的重大意义被更多人所了解，在很多领域中也得到了广泛的使用，数据挖掘技术的应用，使传统的工作模式发生了极大的改变，同时也给行业发展带来了新的机遇，研究并分析基于大数据背景下，数据挖掘技术在公安侦查中的应用，分析其技术应用的显示意义和具体操作，对数据挖掘技术在公安侦查工作中的运用有促进作用。关键词 大数据；数据挖掘；公安侦查中图分类号 TP3 文献标识码 A 文章编号 1674-6708（2019）227-0127-02DOI:10.16607/ki.1674-6708.2019.02.062《科技传播》

《计算机科学与技术前沿》 课程论文 大数据背景下数据挖掘技术的应用 2016年1月7日 题目 学院 学号 姓名 指导老师 日期

I 大数据背景下数据挖掘技术的应用 摘 要 当今社会是一个信息化社会的时代，同时又是一个大数据时代。随着互联网、物联网、云计算和人工智能等信息技术和计算机产业的不断发展和进步，使得数据的处理成为一个亟待解决的问题。因此在大数据的背景下,如何高效地从大量包含有用数据的库获得有用信息已成为企业和科研工作重点关注的点，而这一工作涉及的关键技术就是数据挖掘技术。总得说，数据处理的需要既给数据挖掘技术带来了机遇，于此同时带来了一系列的挑战。 本文分别从企业、图书管理和情报学领域三个方面阐述数据挖掘技术的应用，同时对它的发展现状、存在的问题和未来的发展趋势进行了一些阐述，从而加深了对数据挖掘技术的理解，以便更好地了解数据挖掘在各个领域的应用，最后对数据挖掘技术的应用进行一个整体的总结。 【关键字】：大数据；数据挖掘；数据挖掘的应用

II Application of data mining technology in the context of data Abstract Today is the age of information society,but it is also an age of big data．With development and progress of information technology and the computer industry which include the Internet, the Internet of things, cloud computing and artificial intelligence, data processing has become an urgent problem．Therefore,in the context of big data,how to get useful information from a large library of useful data have become focuses of enterprises and scientific and research work．The work involved is the key technology of data mining．In General spedking, data processing needs for data mining technology, and at the same time poses a series of challenges． The paper aims to account the development present situation,existing problems,and developmenttrend in the future based on companies,library management and the field of information science development,so as to enhance understanding of the data mining technology ,to better understand data mining applications in various fields,and to draw an overall summary of the application of data mining technology． 【Key words】：Large amounts of data；Data mining；Application of data mining

2016年第1期信息与电脑China Computer&Communication数据库技术

21世纪是个信息时代，大数据时代，数据无处不在，它

不仅是文字、字符、语音，更是图像或视频。人们在互联网

上的一切行为轨迹，比如淘宝上的购物数据，百度搜索关键

字，随身手机健身运动记录等等……注入大数据的海洋。试

想，全球70亿人口，每时每刻会产生多少数据，他们如何

被记录或开发呢？

互联网技术的成熟，借靠网络媒体和硬盘的存储能力，

记录海量信息越来越简单，麦肯锡作为全球知名咨询公司在

他的一份报告《大数据：创新、竞争和生产力的下一个新领

域》，称“大数据”时代已经到来，大数据长驱渗透至每一

个行业、每个业务职能领域。对信息挖掘并加以利用的能力

将决定其是否能及时地抓住机遇。

１　大数据的特点

基维百科对大数据定义为：规模巨大到无法用目前的软

件工具处理的资料量，在相应时间内完成撷取、管理、处理

后利于企业完成经营目标的资讯；市场研究机构将大数据定

义为必须用新型的处理模式才更好地洞察、决策并优化流程

的巨量、多样化且高速增长的信息资产。我们通俗的理解为

一般指在10TB规模以上的数据量。其同时具备数据量大、

数据种类繁多、价值密度低、处理速度快等特点。

因此，大数据的战略意义在对富有意义的数据进行专业

化处理，而不在于掌握多么庞大的数据信息，对他们进行“过

滤”“整合”“加工”，实现数据的“增值”。这就成了一

个亟待解决的问题，引领互联网数据处理进入了数据挖掘时

代。

２　数据挖掘的基本分析方法

数据挖掘理论上讲是一个在海量数据中利用分析工具充

分发现模型与数据间关系的这么一个过程，通过数据挖掘可

以帮助决策者寻找数据间潜在的某种关联，发现隐藏的、被

忽略的因素。它融合了统计学、人工智能、数据库、机器学

习等多领域的理论与技术，因此成为一门交叉学科，这些学

科反过来对数据挖掘提供了强大的技术支持。传统的数据挖掘更倾向于对代码和算法的编辑，作为面

对大数据的数据挖掘，绝非仅仅停留在对数据进行统计分类

龙源期刊网

大数据时代背景下数据挖掘技术的应用

作者：徐振国 范研博 车丽娟

来源：《科学导报·学术》2019年第04期

摘 要：随着时代的进步和信息技术的发展，我们国家现在正处于大数据时代背景下。何为大数据呢，就是我们身处信息爆炸的时代，想要以最低的成本和更有效率的方式搜罗、保存、剖析和处理不同结构和类型的数据，而且能从中获得含有珍贵价值的相关资料，这就是大数据。我们依靠大数据背景，生活日常都变得更加快捷，也更加的智能化。信息爆炸超负荷，就在这样的情况下，数据挖掘技术随之产生了，大数据时代让人们实现了将所有存在的信息变换成数据，然后进行存储，而数据挖掘技术就能够把这些大数据进行一系列的查验、从中拿取有价值的信息结构并搭建智能的分析系统，从而得出有利用和参考价值的结论。数据挖掘技术现如今在我国很多方面都有广泛的应用。

关键词：大数据时代；数据挖掘技术；应用；发展趋势

前言

现如今人类处于一个关键的信息资源爆炸的时代，大数据是对时代的描述，同时也是真实存在的数据时代。数据挖掘技术在各个领域的应用都很广泛，例如：电子商务；财务分析；制造业；互联网行业等各行各业。数据挖掘系统发明了很多我们可以轻松掌握和运用的软件：SAS EM；IBM名下SPSS公司的Modeler；神舟通用公司的K-Miner；美林数据技术股份有限公司的Tempo等重要软件。数据挖掘技术是指在大数据信息里摘取重要及有价值的信息，进行重新编织形成新的体系的过程。本文就大数据时代背景下数据挖掘技术的主要内容来分析它在如今行业的应用，以及它的存在意义和重要性。数据挖掘技术必不可少，只有它的存在才能让我们这个大数据时代不乱套。

一、大数据时代数据挖掘技术的意义

1.1使人们的生活变得方便快捷

随着科技的进步和时代的发展，我们的进步速度越来越快，为了跟上时代的发展我们的脚步不得不放快。数据挖掘技术不只是使得数据分析和处理变得更加快捷，同时它的存在让人们变得越来越懂得变通和创新，让我们越来越大程度上开发头脑进行数据研究，数据研究在很多方面都有应用，例如金融和医学方面，是我们的生活变得便捷，再也不像以前那样什么事情都要很麻烦的一步一步解决，数据挖掘技术直接提取重要信息，只用简单的几步就可以达到目的，而且能够避免大面积偏差。之前人们对于一些的数据收集不能达到足够的能力去整理，没有能力处理一些大数据，而现在就很方便，目的明确，直接从数据库获取最有价值的信息进行各类研究就可以了。 龙源期刊网