谈大数据技术在计算机数据信息处理中的应用

  • 格式:docx
  • 大小:29.09 KB
  • 文档页数:5

谈大数据技术在计算机数据信息处理中的应用

摘要:本文对大数据技术及经济数据信息处理进行了综述,并分析了大数据技术流程和工具,最后对大数据在计算机信息处理中的应用范畴进行了概述。

关键词:大数据;计算机数据;信息处理

1 大数据技术及计算机数据信息处理综述

1.1大数据技术

大数据的概念是在一定的时间范围内产生的极大量数据,同时改数据,用常规的软件工具,无法进行有效的捕捉和管理。因此区分大数据的核心是数据的量。正由于大数据的海量特征,只想对大数据进行处理,需要更加强大的处理模式以及更加良好的数据计算流程。大数据背景是现代信息技术的不断提升,人们在网络中产生的数据量也在不断提高,同时数据结构也在不断丰富,使得现在的大数据具有着数据量庞大、日增长量庞大以及数据类型庞大等特征。

首先是大数据的巨量特征。一般情况下大数据的计算单位通常是EB,根据估算,目前互联网当中每天产生的各类数据内容已经超过7亿GB,如果将这些数据以DVD光盘的形式储存,将会占满1.69亿张光盘。因此一般情况下大数据的存储都会采用 LSI潜在语义索引技术,该技术的数据储存规模显著超越之前使用的各类储存技术,其技术的核心是通过语义的索引来快速定位已有信息,准确来说并非是一种信息储存技术,而是一种帮助查找已储存信息的定位技术。

其次是数据类型的多样化。由于移动网络以及光纤网络的速度都在不断提升,人们传播信息的媒介也从最初的文本变成了包括语音、视频、图像,文字,地理位置符号等多类型的信息,这些信息掺杂在一起使得数据的处理和分析难度极大提升。顺带一提,这也是大数据技术门槛高、完善难的主要原因。 最后是广阔的发展前景。由于大数据分析技术能够从巨量多样化的数据中挖掘出核心资料以满足使用者需求,因此大数据能够有效帮助企业做出正确决策,或帮助研究人员梳理相关信息。因此目前大数据技术已经被广泛应用在各行各业包括工业、营销行业、教育行业、服务行业甚至是国家的交通部门、教育部门等。

1.2 计算机数据信息处理技术

计算机数据信息处理技术是数据的采集技术,传输技术、处理技术、整合技术以及分析技术的统称,想要实现计算机的数据信息处理,就需要多种技术进行协同工作。而在计算机数据信息处理技术当中,信息处理技术占据了核心地位,可以说其他的技术都是对信息处理技术和辅助。在传统信息处理当中,计算机的信息处理技术较为简单,其核心就是从某一类数据当中获取指定字符,这一阶段下计算机信息处理技术,还无需通过LSI等模式来实现模糊索引;而随着大数据技术的不断普及,信息处理技术乃至计算机数据信息处理技术整体都需要进行全面提升,以满足大数据的核心需求。

2大数据技术的应用

2.1大数据技术流程

大数据技术的处理流程可以包括数据采集、数据处理与集成、数据分析、数据解释四个部分。

首先是数据采集,由于大数据呈现巨量性以及多类型特征,因此如何从大量数据中收集有效数据是目前大数据的重点之一,目前在大数据当中数据的采集手段较多,不同的行业也会选择不同的数据收集方式,例如物流等企业对于大数据信息的需求,一般是自家仓库内的各类物流快件信息,因此会广泛使用RFID技术、条形码技术;互联网企业由于缺乏实体产业,同时其大数据的需求也并非来源于现实,因此数据收集方式一般都是通过自家的搜索引擎数据以及APP内后台记录的数据为主。

其次是数据处理与集成,在企业或部门收集了相关数据后,就应对数据进行集成以及处理,由于数据的内容较为繁杂,且数据内部会出现许多完全不相关的信息(称之为噪点),所以需要对数据进行清洗去燥并进行筛选分类,在完成后将数据进行集成存储,等待下一步分析。

第三是数据分析。大数据技术的核心价值不在于数据的收集和整理,而在于对数据的分析。如何在巨量数据中查找到有价值的数据信息是大数据的关键。早在2006年,谷歌就提出了云计算的概念,其核心是通过GFS系统以及云端服务器实现数据分地存储、算力集中的模式,各类数据可以不存储在集中机房内,而是以big table的模式存储在各个数据库当中,而这些数据在需要被处理时,将会集中传输到核心计算机房内,由多台超算组成的数据处理机房快速地对数据进行分析并提取出有效信息,最后将处理过的信息返还分发给各分布式数据库。

最后是数据解释,虽然超算能够快速的分析数据,但想要让数据变得可视化、变得可用,就必须对数据进行解释。由于大数据的数据量过于庞大,即使经历了三种步骤后,其数据量依然非常夸张,传统的数据分析方法根本无法满足需求。因此目前的大数据技术往往会使用数据可视化来将数据进行分析,不需要对数据进行逐个检查和解释,只需讲清整体数据的波动即可。目前常见的可视化技术包括图标可视化,像素可视化,分布式技术以及集合可视化等。

2.2大数据技术常见处理工具

常规的数据处理工具,一般使用关系数据库这种模式虽然能够有效处理常规数据,但无法解决大数据环境下媒介多数量大的问题。因此许多针对大数据的处理工具被开发出来。其中包括针对Apache 大数据的Hive、Flink、Atlas、Beam、Apex、Spark、Hadoop等。目前最受欢迎的大数据处理工具是Hadoop、storm、Hive和spark,其中 Hadoop的应用范围最广,由于大多数大数据的计算模式都属于分布式计算,而head up能够有效兼容可拓展分布式计算模式,同时也可以用作通用文件的存储以及数据处理,因此深受人们喜爱。 Hadoop的结构较为简单,分别为HDFS、map reduce和yarn三个部分。但由于现如今大数据技术越来越成熟,对于数据的处理和存储也有了更高的要求,因此也出现了诸多替代

Hadoop的工具,例如spark就能够兼容包括Scala、Java和Python在内的4种语言,同时由于使用了随机存取存储器,spark的数据流大大提升,平均每个微批处理的时间甚至能够低于0.5秒,在进行乱序处理时spark的处理速度也要比Flink和storm等处理工具快上10倍不止。但spark也有着自己的问题,比如对混合大数据的处理能力要明显弱于普通数据,而在这一方面Flink的表现要更好,甚至阿里巴巴也在使用Flink进行销售情况以及消费者行为观察。

2.3大数据技术在计算机数据信息处理当中的应用

大数据技术在计算机数据信息处理当中有着大量的应用范畴,其中可以包括信息采集与加工、虚拟资源调度以及信息挖掘三个方面。

2.3.1在信息采集与加工当中的应用

在信息采集与加工当中,大数据能够通过数据流处理模型以及批量数据处理模型有效采集以及加工信息,同时也能够对数据技术体系进行详细整理,并做好筛选工作。其次通过大数据技术也能够对计算机中的数据进行动态监测。避免部分数据由于疏忽而被疏漏,同时也能对数据的变化进行实时分析。

2.3.2 在虚拟资源调度中的应用

在虚拟资源调度方面,其核心便是资源分配与虚拟存储的良好配置。通过大数据技术,能够提高数据资源的采集能力,并在采集过后根据数据信息的类型进行合理的资源调度,进而保证每一类虚拟资源都能够有效处理,同时能够提高资源的利用率并降低各类成本支出。

2.3.3 在信息数据挖掘中的应用

信息数据的挖掘是大数据的重要战场,通过大数据技术能够对网络中的大量繁杂的信息进行初步筛选检索,通过多轮语序检索的算法将无用的信息分轮分次排除,并通过各类流媒体处理技术来抽帧分析视视频中出现的画面、抽段分析视频及音乐当中出现的词语,从而实现多类数据的整合与分析,甚至发掘出从未被人关注过的数据。可以说大数据在数据信息挖掘当中的应用十分广泛,同时手段也十分丰富,比如回归分析、神经网络、Web数据挖掘等。

结语:综上所述,大数据技术在计算机信息处理当中的应用十分广泛,同时也成为了目前数据处理当中的核心技术,相信未来大数据技术能够成为计算机数据的核心技术,并全面取代传统技术,进而推动计算机数据处理行业乃至于我国互联网的全面发展。

参考文献:

[1] 张锋军. 大数据技术研究综述[J]. 通信技术, 2014, 47(11):9.

[2] 李君芳, 徐小亚. 大数据时代背景下计算机信息处理技术分析[J]. 信息与电脑, 2017(2):3.

[3] 张华峰, 黄晓利, 赵博,等. "大数据"时代的计算机信息处理技术研究[J]. 电脑迷, 2018(1):1.