看懂你的大数据-final

public class MyKafkaConsumer { private final ConsumerConnector consumer; private final String topic; public MyKafkaConsumer(String topic) throws Exception{ InputStream in = Properties.class. getResourceAsStream("KafkaProducer.properties"); Properties props = new Properties(); props.load(in); ConsumerConfig config = new ConsumerConfig(props); consumer = Consumer.createJavaConsumerConnector(config); this.topic = topic; }
2 of 42
2.1大数据采集架构
第二章 数据采集与预处理
2.1.2 常用大数据采集工具
数据采集最传统的方式是企业自己的生产系统产生的数据，除上述生产系统中的数据外， 企业的信息系统还充斥着大量的用户行为数据、日志式的活动数据、事件信息等，越来越 多的企业通过架设日志采集系统来保存这些数据，希望通过这些数据获取其商业或社会价 值。
$sudo apt-get update
Apache Kafka需要Java运行环境，这里使用apt-get命令安装default-jre包，然后安装Java运行环境：
$sudo apt-get install default-jre
通过下面的命令测试一下Java运行环境是否安装成功，并查看Java的版本信息：

数据（Big data），或称巨量资料，指所涉及的资料量规模巨大到无法透过目前主流软件工具进行分析，而需结合其所在行业特征，研发合适的软件工具以能够在合理时间内达到撷取、管理、处理、并整理成为帮助经营决策具有积极意义的信息。

大数据一般具有4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Veracity（精确）。

列车运行实绩数据是典型的大数据，我国铁路网规模巨大，每天运行约28 000列列车，产生海量的列车运行实绩数据，包括列车在各个站的实际到发时刻、列车对轨道区段的占用和释放时刻、信号系统的状态变化数据等。

1 列车运行实绩数据分析研究数据为京沪高铁2013年12月1日—2014年1月15日的数据。

通过对图定列车运行情况和实际列车运行情况进行比较，分别对列车停站时间、区间运行时间进行了频率分析，对其运行晚点情况进行评价。

然后通过对数据的初步处理，分析列车区间运行时间与发车晚点的关系，以及列车停站时间与到达晚点的关系。

1.1 区间运行时间分析选取京沪高铁A站—B站两个中间站的数据，进行区间运行晚点时间分析，选取图定运行时间为22 min的列车，绘制实际列车运行时间的频数分布直方图和频率表（见图1）。

从图1中可以看出85.6%的列车正点到达，只有14.4%的列车发生晚点，但晚点偏离不大，证明绝大多数列车按图行车。

但是同样可以看出，79.2%的列车实际运行时间小于图定运行时间，因此该区间的冗余时间较大，为节约区间能力，提高区间能力利用率，该区间的列车运行时间应略有缩短。

1.2 车站停站时间分析选取B站对列车停站时间进行分析，选取图定停站时分为2 min的列车，绘制实际列车停站时间的频率分布列车运行实绩大数据分析及应用前景展望刘 岩：中国铁道科学研究院，高级工程师，北京，100081郭竞文：北京交通大学轨道交通控制与安全国家重点实验室，硕士研究生，北京，100044罗常津：中国铁路信息技术中心，工程师，北京，100844孟令云：北京交通大学轨道交通控制与安全国家重点实验室，副教授，北京，100044摘 要：基于京沪高铁一个半月的列车运行实绩数据，分析得出列车实际区间运行时分和停站时分的分布特征、列车区间运行时分与发车晚点之间的关系、列车停站时分与到站晚点之间的关系，阐述了大数据分析对优化列车运行图编制和辅助调度指挥工作中的作用，并展望列车运行大数据分析的应用前景。

c1c2的计算我们根据附件1附件4给出的8月11月份的数据分别进行站点日期进站和出站客流量的提取c1是表示同一天同一站点的进站人数的进行统计累加则分别提取1号31号的进站客流量c2是表示同一天同一站点的出站人数的进行统计累加则分别提取1号31号的出站客流量由于提取代码相似则我们就以8月份数据提取为例进行介绍以同样的方法也可以得出9月11月份的数据示例代码如下
3
近些年来，日益加重的城市交通拥堵问题成为制约经济发展的主要因素，因 此以地铁为代表的城市轨道交通系统得到了大力的发展。地铁相比与其他的交通方 式具有较大的优势，主要体现在运量大、污染小、省能源，并且具有快捷、方便、 安全、舒适的特点。
随着城市轨道交通网络规模的持续扩大，客流时空分布规律愈加复杂，作为 客流生成源头的进出站客流，运营管理部门需对其进行实时监测，准确把握未来短 时间内客流变化趋势，从而实时调整运营计划，对突发大客流做出及时预警和响应。 为此，高精度、小粒度的实时进出站客流量预测已成为精细化运营管理的关键。本 次案例通过郑州市2015年8月-11月各地铁闸机刷卡数据，从数据中根据刷卡类型 编号，刷卡日期两个字段提取出不同时间进站和出站状态下的数据。提取所需数据 之后预测12月1日至7日七天内各个站点的日客流量（进站和出站的总人数），为 节日安保、人流控制等提供预警支持。
行业PPT模板：/hangye/ PPT素材下载：/sucai/ PPT图表下载：/tubiao/ PPT教程： /powerpoint/ Excel 教程：www.1ppt .com/excel/ PPT课件下载：/kejian/ 试卷下载：/shiti/
Part 9 9.1 背景案例
PPT模板下载：/moban/ 节日PPT模板：/jieri/ PPT背景图片：/beijing/ 优秀PPT下载：/xiazai/ Word教程： /word/ 资料下载：/ziliao/ 范文下载：/fanwen/ 教案下载：/jiaoan/ 字体下载：/ziti/

6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
需求背景及采用的大数据分析方法
• 把正常运行油温分成几个区间段，分析各区间段的油温出现次数分布，并计算出该区间 段的油温次数分布中心点。而根据中心点的偏离程度即阈值作为设备异常的预判是有较 大参考价值的。
• 采用聚类K-Means分析方法 • 在Spark集群上实现
6.2 银行信贷评价
第六章 数据挖掘应用案例
神经网络（NN），就是构建一个含有输入层、输出层和隐含层的模型，其中隐含 层可以有多层，这组输入和输出单元相互连接，单元之间的每个连接都设置一个权 重。输入层中神经元数目根据数据集中的属性数目确定，输出层为一个神经元，经 过训练，设定迭代次数和误差及求出每个神经元的权重，确定模型，对输入数据进 行预测。
17/11/07 23:15:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 0.2 1000 0.2 900 0.2 1050 0.4 1500 0.4 1450 0.4 1530 0.6 2500 0.6 2430 0.6 2520 0.8 2000 0.8 1960 0.8 2030 1.0 1200 1.0 1160 1.0 1230
大数据应用人才培养系列教材
数据挖掘基础
大数据应用人才培养系列教材
第六章 数据挖掘应用案例
6.1电力行业采用聚类方法进行主变油温分析 6.2 银行信贷评价 6.3 指数预测 6.4 客户分群的精准智能营销 6.5 使用WEKA进行房屋定价 习题