bigdata精品PPT课件
- 格式:pptx
- 大小:37.91 MB
- 文档页数:13
Big Data大数据技术交流目录❖1.大数据技术介绍❖2.Hadoop(HDFS,MapReduce)介绍❖3.Hadoop的最新发展❖4.流计算技术❖5.内存数据库❖6.列式数据库❖7.各技术适用的场合❖8.讨论什么是大数据?大数据指的是海量无法通过传统方式管理的数据。
Big Data作为一个专有名词成为热点,主要应归功于近年来互联网、云计算、移动和物联网的迅猛发展。
无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互……要处理的数据量实在是太大、增长太快了,而业务需求和竞争压力对数据处理的实时性、有效性又提出了更高要求,传统的常规技术手段根本无法应付。
大数据的4V 特性多样性Variety 速度Velocity 非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据技术分布式缓存、基于MPP 的分布式数据库、分布式文件系统、各种NoSQL 分布式存储方案,内存数据库等。
存储处理应用Map Reduce ,流计算HIVE,pig,R ,mahout 等查询统计,数据挖掘技术❖大数据的存储❖采用了一批新技术,主要包括分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等。
分布式数据库与传统数据库对比大规模并行处理MPP (Massively Parallel Processing)。