ASG Server ASG Server
Grid Server
Grid Server
ASG Server
Grid Server
移动终端
ASG Server
Grid Server
To Other Grid Nodes
ASG Server
PC用户
移动终端
ASG Server
ASG Server
邮件服务器
➢异常检测:识别其特征显著不同于其他 数据的观测值
实战项目1—— Python 网络爬虫
网络爬虫是一个自动提取网页的程序/脚 本,它可以搜索引擎从万维网上下载网 页,是搜索引擎的重要组成。 ➢做为oping、 chinahr) ➢科学研究:在线人类行为,在线社群 演化,复杂网络,数据挖掘领域的实证 科学研究,快速收集大量数据
Task:携程数据库(游客数据、点评记录)
实战项目2—— 数据分析及可视化应用
1.Python—2012年美国总统大选数据分析 2.动态气泡图的实现 3.热力感应图(heatmap.js)
管理大数据“易”,理解大数据“难”
•目前大数据管理多从架构和并行等方面考虑, 解决高并发数据存取的性能要求及数据存储 的横向扩展,但对非结构化数据的内容理解 仍缺乏实质性的突破和进展,这是实现大数 据资源化、知识化、普适化的核心.
作用:
- 成本降低,能用PC机,不用大型机和高端存储 - 软件容错硬件故障视为常态,通过软件保证可靠性 - 简化并行分布式计算,无须控制节点同步和数据交换
技术变革
云计算:把集中的运算分散开来
物联网:把分散的设备连在一起
Hadoop:把大数据切成小模块
大数据处理技术——Hadoop