浅谈大数据分析技术及其应用

--

--

浅谈大数据技术及应用（黑体小二）

哈尔滨商业大学管理学院物流工程2015 王兴哲

摘要:大数据的概念由来已久,但在多数人眼中大数据就是数据大,甚至有时和云计算混为一谈。本文主要对大数据的定义进行重新的认识，并将其与云计算加以区别。而在大数据流行的今天，大数据究竟带来了什么有利的影响，或者说它将有什么样的前景。这些问题都将在文中一一列举

关键词：大数据 云计算 应用

浅谈大数据技术及应用

1 引言

大数据这一术语正是产生在全球数据爆炸增长的背景下,用来形容庞大的数据集合。与传统的数据集合相比,大数据通常包含大量的非结构化数据,且大数据需要更多的实时分析。此外，大数据还为挖掘隐藏的价值带来了新的机遇,同时给我们带来了新的挑战,政府机构最近也宣布了一项加快大数据进程的重大计划,各行各业也都在积极讨论大数据的吸引力。

大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”近几年大数据一词的持续升温也带来了大数据泡沫的疑虑，大数据代表了互联网的信息层(数据海洋)，是互联网智慧和意识产生的基础。包括物联网，传统互联网，移动互联网在源源不断的向互联网大数据层汇聚数据和接受数据。

2 大数据的定义

一般意义上，大数据是指无法在有限时间内用传统IT 技术和软硬件工具对其进行感知､获取､管理､处理和服务的数据集合。 大数据技术描述了新一代的技术和架构体系，通过高速采集､发现或分析,提取各种各样的大量数据的经济价值。大数据的特点--

-- 可以总结为 4 个 V,即ｖoｌume(体量浩大）､vａriety（模态繁多)､veloｃity(生成快速）和ｖａlue(价值巨大但密度很低)。 大数据价值链可分为４个阶段:数据生成､数据采集､数据储存以及数据分析。数据分析是大数据价值链的最后也是最重要的阶段,是大数据价值的实现,是大数据应用的基础，其目的在于提取有用的值,提供论断建议或支持决策,通过对不同领域数据集的分析可能会产生不同级别的潜在价值。

浅谈大数据在民航领域的应用

大数据也被称为"未来的新石油和矿产"，它的出现开启了大规模生产、分享和应用数据的时代，能让我们通过对海量数据进行分析，以一种前所未有的方式获得全新的产品、服务或独到的见解，最终形成变革之力，实现重大的时代转型。这就好比当我们感受浩瀚无垠的宇宙时，用望远镜只能看到宇宙的冰山一角，但更广阔的区域都在表面之后，等待着进一步的探索。大数据正在改变我们的生活及理解世界的方式，正在成为新发明和新服务的源泉，同时也为各行业发展提供了前进的驱动力，民航业也在其中。

二：大数据技术

1大数据概念

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。

2大数据的特征

大数据具有十分广泛的特性；例如高速性，规模性，多样性，价值型，有效性，真实性等；而现在大数据业内普遍认为大数据主要具有"4V"特征，即Volume（体量大）、Variety（种类多）、Velocity（速度快）和Value（价值高）

特性特性描述

Volume

（体量大）大数据，顾名思义，在于其"大"上；数据的储存从最初的TB增长到ZB的程度，这与大数据的数据储存技术和网络应用技术的提升密切相关；数据加工处理技术的快速提升，网络宽带的高速发展和社交软件的大幅度应用都为这一进步提供了大量的数据储存量，极大促进了大数据的发展。据统计，从文字出现到21世纪初，人类产生的数据总量只相当于现在两天的数据流量；IDC（国际数据资讯公司）曾预测：2013年全球储存的数据预计达到1.2ZB；处理如此多的数据全要归功于大数据技术的发展，大数据技术也确实为我们提供了相当大的便利；例如：腾讯的QQ和微信每天均有上千万条的数据需要分析存储，正是基于大数据技术的应用，才为人们提供了如此便捷实用的处理人际关系的软件。

浅谈大数据在教育教学中的应用

随着信息技术的不断发展，大数据已经逐渐成为人们关注的热点。在教育领域，也有越来越多的教育工作者开始关注大数据的应用，希望通过大数据分析来优化教育教学的模式，提升学生的学习效果。本文将对大数据在教育教学中的应用进行简单的探讨。

一、数据采集

大数据的应用首先要依靠数据采集。在教育教学中，数据采集可以分为两种：一种是人工采集，也就是教师手动记录和汇总学生的学习情况，包括课堂参与度、作业完成情况、考试成绩等；另一种是自动化采集，也就是借助各种技术手段自动记录学生的学习行为，包括学习时间、学习频率、学习内容等。这些数据在大数据应用中可以作为基础数据，进行深入的分析和挖掘。

二、数据分析

大数据的应用最核心的环节就是数据分析。在教育教学中，基于大数据分析可以得出以下几个方面的结论：

1.学生的学习状态——通过分析学生的学习情况，可以推断出学生的学习状态，比如学习积极性、学习热情、学习信心等等。通过这些结论，教师可以根据学生的实际情况制订更加有效的教学策略。

3.教学方法的有效性——通过对不同教学方法的实验数据的对比分析，可以得出哪种教学方法对学生的学习效果更好。通过这些结论，教师可以针对不同的学生群体制定不同的教学策略，提高教学效果。

4.教育资源的优化——通过对学生学习数据的深入分析，可以确定哪些教育资源对学生的学习效果最大，哪些教育资源对学生的影响较小。通过这些结论，学校可以更好地优化教育资源配置，提高教育资源利用效率。

三、数据展示

数据的展示是大数据应用的另一个重要环节。在教育教学中，数据的展示可以采用多种方式，比如图表、报表、直观的数据可视化工具等。通过数据的展示，可以让教师和学生更加清晰地了解自己的学习情况，有针对性地制定教学和学习策略，提升效果。

总之，大数据在教育教学中的应用可以帮助教师更好地了解学生的学习情况，制定更加有效的教学策略，提高教学效果。但是需要注意的是，大数据分析不仅需要技术支持，更需要教育领域的专家和教育从业人员的深入研究和专业素养，方能发挥大数据在教育教学中的最大效益。

浅谈铁路工务安全生产管理系统大数据分析及应用

摘要：铁路中长期规划中，明确要求加快铁路信息化建设和深化工务维修体制改革，工务安全生产管理系统是在工务信息化和持续工务检修体制改革的背景下应运而生。如何利信息化手段分析数字化的信息从而指导安全生产、提升设备质量，成为摆在工务基层管理者面前的一项课题。本文着重讲述如何使用工务安全生产管理系统状态分析功能，利用动、静态大数据分析及结果运用于生产中，为管理人员提供设备变化规律，为车间组织生产提供决策参考。

关键词：工务；信息化；大数据；分析；车间组织生产

1．大数据概念及工务大数据来源

“大数据是指其大小超出常规数据库获取、储存、管理和分析能力的数据集。”［1］大数据具有四个特征：价值高、速度快、体量大、种类多。当前，计算机运行、计算速度越来越快、存储成本下降、人工智能飞速发展为我们现实大数据应用提供了有力技术支撑。

工务大数据主要包含设备履历数据、设备状态数据和安全生产关键环节数据。工务安全生产管理系统中大数据的来源主要六个方面：

图1 工务安全生产管理系统大数据分类及来源

静态检查数据主要来源于检巡工区日常各类检查数据(含轨道检查小车检查数据)、各级管理人员静态检查数据。 动态数据的来源有三种途径，即轨道检查车、车载式线路检查仪、便携式线路检查仪（人工添乘）。便携式（人工）添乘由于容易受人、车型、车速、会车等外在因素干扰，数据准确性受到影响，建议添乘人员对干扰数据进行必要剔除，对大值信息进行必要的现场复核后，再录入系统中。

大数据分析的前提要有准确、有效、大量的历史数据支撑，工务安全生产管理系统集合动、静态大数据, 围绕设备质量变化规律, 开展设备质量评价,以设备状态修为主，大修为辅，为管理者开展修程提供辅助决策。

2．主要分析功能的介绍

目前，工务安全生产管理系统更新后，分析模块主要分两块，即单元质量分析和动态质量分析。

2.1单元质量分析

单元质量分析模块主要按线路设备进行划分，利用动静态检查数据，按照设置权重扣分标准，对线路设备进行静态综合分析和评价，并指导生产。