阿里云大数据技术介绍

个性化推荐
淘宝电商、小说、视频、导购等众多场景下的个性化推荐能力透出
商品
榜单
主题
视频
文章
人以类聚，物以群分 购买 商品A 用户A 相似 商品D
相似
用户B
商品B
商品E
商品C 用户C
商品F
• 用户AC相似，A买过的商品B会推荐给用户C • 商品AE相似，A买过商品A，商品E会推荐给用户A
领先，从AI的基石开始
Eyou
智能运维 基于Elasticsearch的运维 经验和数据，提供智能交 互式白屏运维能力，动态 智能的给出集群运维建议 。即将上线。
Elastic
弹性伸缩 基于阿里云IaaS服务，提 供平滑、弹性的扩容、升 级、备份、恢复服务，屏 蔽机器层面的操作逻辑。
“智能”的开放搜索
基于淘宝搜索场景的技术和算法沉淀，赋能云上搜索客户
安全保障
多租户隔离，数据安 全等级设定，数据脱 敏，安全审计。帮助 企业安全可控的使用 大数据，符合法务法 规需要。
应用市场
BI
开放共享
行业方案
大屏
平台管理
城市大脑 工业大脑 医 B I 疗大脑 金融大脑
AI服务
推荐
生态
……
公安大脑
…… 租户
8 5
数据服务
6
安全交换区服务
数据资产管理
数据地图 资产报告 成本管理 维表管理 资产门户 数据目录
一站式大数据云研发平台
一站式研发
开箱即用，极大降低 数据研发的门槛，快 速上手大数据。满足 数据、AI、数据服务 开发需要。
高效上云
支持任意位置、任意 网络环境下的400+对 数据源之间的数据同 步。
数据治理
提供数据质量、运维 监控、资产管理、数 据血缘的治理体系。 通过一体化产品能力 降低数据中心的管理 运营成本。
阿里云大数据技术介绍
总览
全域赋能
智慧全球
全域赋能，智慧全球，驱动中国数字产业
阿里云大数据产品一览
差
计算引擎、研发体系、应用生态
全域赋能，助力企业高速发展
计算引擎、研发体系、应用生态
全域赋能，助力企业高速发展
MaxCompute 流计算 分析型数据库 E-MapReduce Data Lake Analytics
Data Lake场景的 数据清洗 数据同步 数据分析
30%
大规模场景下，成本直 降30%
20+
支持20+上下游系统对 接
1
一个产品，更多功能 流式计算 数据同步 数据清洗 数据分析
阿里云Elasticsearch
兼容开源的云上elasticsearch托管服务
X-Pack
商业插件 提供基于X-Pack的节点间 数据传输加密、数据存储 加密、数据可视化、数据 字段级权限管理等能力。 并计划在6.3版本提供APM 、SQL等功能。
Elasticsearch Opensearch 推荐引擎 企业图谱 智能语音交互 人脸识别 自然语言处理 印刷文字识别 …
大数据研发平台 DataWorks
机器学习平台 PAI
强大高效的计算引擎
便捷开放的研发体系
专业丰富的应用生态
MaxCompute2.0 性能进一步提升，降低企业大数据成本
突破多项大数据Benchmark 指标
Indexing
数据预处理 提供全量、增量数据 indexing能力，支持ODPS 、RDS、API推送数据源， 并提供数据写入之前的 Join、Filter、Transfer功 能。
Searching Algorithm
数字单位 提供丰富的分词模板及个 性化分词能力，对搜索场 景下强需求的下拉提示、 查询表达式意图分析、召 回内容二次排序提供强大 的干预能力。 数字单位 基于阿里内部的搜索算法 沉淀，提供个性化的搜索 服务、理解用户查询表达 式中的意图进行数据“精 准”召回。
权限
数据研发
工作流运维
智能监控报警
流式任务开发
机器 学习 PAI
计量
持续集成
协同开发
数据汇聚
1 数据集成 1
离线数据同步 实时数据采集 互联网数据采集 元数据上报同步 数据填报 端采集 IOT采集 计费
元数据中心
ODPS
RDS
EMR
ADS
图计算
Blink
阿里云流计算
历经阿里巴巴双十一磨练的实时计算引擎
100 TB
首个100TB测试通过的引擎 The first engine passed 100TB Bigbench verification
8200 QPM
首个达到7000分的引擎 The first engine reaches 7000+
源自文库
$354.7/QP M
预付费包3年价格 Pre-paid for 3yrs
数据
EB级的海量数据湖
BigBench全球首次达 到 100TB
计 算力
10000台单集群能力
全球最完整的 AI异构计算家族
算法
KITTI 2018 UU_ROAD—-公开测试集 UU_ROAD分类取得第一 KITTI 2018 URBAN_ROAD ——自动驾驶计算 机视觉测试集第一 2017ACM多媒体大会大 规模视频分类比赛（ LSVC）——大规模视频分类比赛冠军 SQuAD 机器阅读理解挑战赛— -- 准确率首次超 越人类
472M events/sec
sub-second latency
流计算独享模式正式发布
流计算 – 不止于流
流计算独享模式特点
UDX开放
网络联通
硬件适配
Data Lake
开放UDF等更底 层的API，满足 用户的业务需求
无缝对接用户 VPC，且用户可 自主控制访问权 限
支持多种机型适 配，包括GPU、 FPGA等
数据质量
离线/实时数据
7
数据校验 故障预警
数据安全
数据权限 安全打标 数据审计 数据脱敏 账号
数据治理
智能数据探查 代码规则校验
变更通知
2
数据开发
工作流开发 代码编辑器 预编译 DEBUG 数据建模 代码仓库 调度配置 版本管理 发布管理
3
监控运维
基线管理 运维大盘
4 实时分析
实时报表引擎 数据计算组件 分析展示
AI已经彻底改变了阿里经济体的商业效率
工业 IDC运维 设计 物流 家居生活
……
“见远” 图像检测
“天巡” 运维机器人
预付费包1月价格 $12.3/QP Pre-paid for 1 M month 按需后付费价格 $2.1/QP Post paid by M usage
首个基于公共云服务的Benchmark The first BigBench verification run on public cloud
DataWorks