大数据平台数据管控解决方案50页PPT

据您的Байду номын сангаас体内容酌情修改。
标题内容
点击输入本栏的具体文字，简 明扼要的说明分项内容，请根
据您的具体内容酌情修改。
标题内容
点击输入本栏的具体文字，简 明扼要的说明分项内容，请根 据您的具体内容酌情修改。
标题内容
点击输入本栏的具体文字，简 明扼要的说明分项内容，请根 据您的具体内容酌情修改。
产品运行
2016
规划统计报表⑤年至年排 危工程报表⑥扶持人口较少民族发展规划表完成了“十五”期
学布局调整规划并为布局调整工作的启动，落实好布局调整规划，组织召开了全盟中小 经验交流现场会。三基本建设工作全盟教办系统共新建校舍平方米，完成投资万元，其 建校舍平方米，完成投资万元；初中新建校舍平方米，完成投资万元，小学新建校舍平 投资万元。直属学校共计新建校舍平方米，完成投资万元。在
国家没有投资的情况下，协助盟幼儿园盟特教中心，建起了教学楼与食堂律动教室。这 完成，从根本上改变了盟幼儿园的办园条件，也使特教中心学生必不可少的餐厅与律动 解决，同时使这两个办学条件相对薄弱的直属园校，跻身全区同类园校的先进行列变成 年共建教职工住宅平方米，共计户，完成投资万元。四“义教工程”及“排危工程”工 组织召开了全盟各旗市计财股长会议，对全盟中小学布局调整规
市场分析
添加标题
单击添加文本单击添加文本 单击添加文本
添加标题
单击添加文本单击添加文 本单击添加文本单击添加
文本
添加标题
单击添加文本单击添加文 本单击添加文本
添加标题
单击添加文本单击添加文 本单击添加文本单击添加 文本
市场分析
正面 观点
单击此处添加标题
您的内容打在这里，或者通过复制您的文本后，在此框中选择粘贴，并选择只保留文字。在此录入上述图表的综 合描述说明，在此录入上述图表的综合描述说明您的内容打在这里，或者通过复制您的文本后，在此框中选择粘 贴，并选择只保留文字。

点击添加标题
在此录入图表的描述说明，在此录入上述图表的 描述说明，在此录入上述图表的描述说明。
点击添加标题
在此录入图表的综合描述说明，在此录入图表的 描述说明，在此录入上述图表的描述说明。
点击添加标题
在此录入图表的综合描述说明，在此录入图表的 综合描述说明。
点击添加小标题
单击添加标题
您的内容打在这里，或者通过复制您的文本后，在此框中选择粘贴，并选 择只保留文字。
点击输入简要文字内容，概括精炼言简意赅的说明分项内容。
01 02 03 点击输入简要文字内容， 概括精炼言简意赅的说
点击输入简要文字内容， 概括精炼言简意赅的说
点击输入简要文字内容， 概括精炼言简意赅的说
明分项内容。
明分项内容。
明分项内容。
04 05 点击输入简要文字内容， 概括精炼言简意赅的说
点击输入简要文字内 容，概括精炼言简意赅
宣传调高烤烟收购价格的政策，加大生产投入，提高为烟农服务的质量，调动农民种烟 省落实烟叶面积万亩，与去年基本持平。积极实施科技兴烟，
大力推广先进实用技术，新品种种植面积达到％以上，集约化育苗移栽面积达到％以上
整体水平有所提高。三门峡市烟叶标准化示范基地正在申请国家局验收，南阳市列入了
技示范基地，全省烟叶种植区划项目开始启动。积极走出去请进来，加强与工业企业的 联办基地取得新的进展，全省签订基地烟叶供货协议万担，占省外销售合同的.%。对全 队伍集中开展诚信教育，积极推进分公司统一经营，推广烟叶
01 项目简介 请插入您的相关文本的内容
点击添加小标题
01
添加小标题
点击输入简要文字内容，概括精炼言 简意赅的说明分项内容。点击输入简 要文字内容，概括精炼言简意赅的说

10TB每月近万亿条存放6个月查询速度不高于1秒，并发查询数1000请求/秒
6T/年
300T/年
272T/年
新增
新增
评估中
大数据使得现有的数据处理方法面临新问题
面对海量的数据压力，需要大数据平台提供可供线性扩容的存储能力。
大数据使得现有的数据处理方法面临新问题
DW&MK
ODS层
应用层
■
■
1
2
3
4
大数据平台目标架构及定位
批量采集 准实时采集
数据挖掘能力
√ √ √
√ √ √
√ √ √
√
大数据平台： Hadoop主要功能
快速的数据读取
大数据存储统计
复杂计算并行处理
大数据平台： 分布式数据库
√ √ √ √ √ √
数据融合与分级存储实施将核心模型（即中度汇总的模型）通过改造融入到现有主数据仓库的核心模型中，减少数据冗余，提升数据质量。将主数据仓库中的历史数据和清单数据迁移到低成本分布式数据库，减轻主数据仓库的计算与存储压力并支撑深度数据分析。数据 数据 数据
谢谢观赏
大数据平台规划方案汇报
一、大数据应用发展趋势
大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。从大量数据中挖掘高价值知识是各界对于大数据的一个共识。
大数据对电信运营商的应用价值体现
3
1
5
4
2
提升业务效率
增强管理水平
创新商业模式
提升客户体验
技术高效、低成本
数据平台现状
最大、内容最丰富数据量的增长挖掘数据价值

8
7.1业务词库
业务词库
业务词库是企业用于传达 其对信息的认识的语言。 创建并维护该层业务元数 据，对表达要求的含义和 描述IT系统可用的信息至关 重要。
业业务务词词库库保保证证了信了息信开息发开的发准 确的性准和确速性度和。速度。
术语代表着企业和业务层 面对信息的理解，所以许 多组织倾向于自下而上创 建数据词典，对已有的信 息进行归类。
12
从非结构化文件中采集元数据，支持企业搜索
创建非结构化数据的索引，也是元数据的一种形式，许多企业的搜索供应商已开发 相应工具。
保险业
通过向呼叫人员提供客服关怀、告警、保单和客 户信息文件等多个文件库的可搜索访问，可将平 均处理时间减少三秒，年节约数百万美元。
制药业
通过提供对EMC Documentum、文件系统、 微软Share-Point、内网和外部数据库中客户、 患者和研究数据的快速访问，加快科研进程。
➢ 数据架构：结构化和非结构化数据系统及应用的架构 式设计，用于实现数据的可用性，并将数据分配给合 适的用户。
➢ 元数据：指用于创建常见的语义定义、IT术语、数据模 型和数据库的方法和工具。
➢ 审计信息日志和报告：指监测和测量数据价值、风险 和信息治理有效性的组织流程。
➢ 数据结构和认识：如关键角色的职位说明中，是 否包含大数据治理，如配备首席数据官和信息治 理官？
执行大数据隐 私政策
大数据治理团队可以通过 使用数据分析工具发现敏 感的大数据，以监督对政 策的遵从度。
10
从相关的大数据存储中输入技术元数据
在创建业务词库后大数据治理团队需要从大数据源中采集合用的、相关的元数据。
数据库 文件
结构化
信息管理经销商
元数据

目录
46
数据中台 --> 支撑基础库的建设 --> 赋能数字政府转型
47
基础数据库人口库法人库空间地理库
数据抽取/数据交换
电子地图数据 地名地址数据 三维数据
基础库建设
民政口婚姻关系双方信息
卫计口孕产妇及家属信息
空 间 地 理 数 据
法 人 数 据
人 口 数 据
质监口
工商口
数据中台的定义
业务 ( AP)
应用 ( TP)
数据
7
05 数据资产在线化传统数仓的数据管理和治理， 往往花费大量精力 ， 最终形成的是离线的规范和文档； 数据中台则强调 元数据管理统一入口的自动化和数据资产管理的在线化 04 数据应用创新传统数仓以某个业务主题的 BI 报表和决策支持为主， 目的性单一， 烟囱式建设； 数据中台则主张全域数据 、打通数据孤岛 ，释放业 务方数据应用创新的能量
北京
李四
1432****0452
上海
王五
1222****1325
北京
统一数据查询 SQLBI安全访问 JDBC
风险识别数据资产分类登记
MYSQLOracel Hive
业务应用级用户 UserA
业务应用级用户 UserB
User
数据安全网关
Data
安全防控
45
一 、数据治理服务二 、案例分享
数据标准审核 发布
邮件通知相关 负责人
自定义数据 标准
是否有可引用 的数据标准？
数据标准体系 建设
发布数据 标准？
发布基
Y
• 不建议在没有业务需求时， 强制按标准进行系统改造• 配合已有的系统改造计划， 将数据标准要求作为需求执行• 可考虑在不同系统交互时， 完成标准转换

60、人民的幸福是至高无个的法。— —西塞 罗
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔44、卓越的人一大优点是：在源自利与艰 难的遭遇里百折不饶。——贝多芬
45、自己的饭量自己知道。——苏联
大数据平台数据管控整体解决方案
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克

APP被动测试-行为数据
活跃手机分布
活跃用户访问量分布
视图停留时间 视图访问量 判断视图热度
APP被动测试-性能&行为
行为数据
性能数据
跳离率与性能关系统计
京东2014.11.11
京东 2014.11.11
1.1 双十一用户访问地图对比
整体性能
京东
11月10日 22时至11月11日24时 淘宝
压缩前2696.849KB分辨率:305 X 190 压缩后7.103KB，节省2689.273KB
1.8 双十一用户访问性能对比
首屏用时 11日 0点
11月10日 22时至11月11日24时
淘宝 天猫 京东
吞吐量
京东在双11 期间页面增 大，但未对 首屏用时造 成影响,但整 体性能受到 影响。
3.1 京东事务应用性能
超云与科技部合作 平安APP应用数量 30个 APP日活 3000万
解决用户在使用APP中遇到的问题 用户行为分析为产品设计和推广服务
超云BR系统优势
超云BR系统是国内唯一一家 用户行为+应用性能+数据安全
大数据 用户行为 应用性能
公有云
私有云
open
开源
解决方案-被动式
国美 私有云
营销 社区 运营 APP APP APP
国美618 国美如何阻击京东？ 国美618保障计划？
一站式解决方案
一站式解决方案
APP 适配
APP 主动
APP 被动
WAP 监测
网络连接一切
超云BR系统 企业大数据 采集工具
大数据处理过程：采集-清洗-分析-呈现
THE END!
•

8.发现及 纠正当 前数据 错误
9.实施监 督控制
10.沟通行动和结果
数据质量管理关键点
• 制定规范的数据质量度量标准 • 建立有效的数据质量监管体系 • 建立完善的数据质量管理制度 • 高质量的数据来源于数据标准、数
据分析、检验以及管理制度的综合 作用
11
场景分析：唯一性校验
• 存在问题 – 某ODS系统中，对私客户主题中的客户信息不允许重复，客户身份证号 字段可以作为客户唯一的标识，为了保证系统中客户信息的正确，需要 对系统中客户基本信息表增加唯一性校验。
平台孤岛 安全管理
业务系统数据变化周期 变化频度
技术元数据
数据维护 数据维护
人为调整 数据流程
变更维 数据测 错误数据维
护流程 试流程 护流程
数据清洗
流程
调度流 程
数据使用
稽核流程
数据创建
稽核传递
流程问题域
数据加 载流程
实体数据刷新周期
数据质量问题
数据装载
数据转 换流程
激励
反馈渠道 反馈机 奖惩制 奖惩制
• 解决方案 – 数据质量管理系统中提供了规范的一致性校验规则来检核系统中ETL过程 中数据记录数不一致的问题。通过对系统ODM层及FDM层对公活期表主 键增加一致性COUNT校验规则，得到ODM层与FDM层不一致记录数。
场景分析：主外键校验
• 存在问题 – 某ODS系统中，对公客户财务信息表中存在出资币种、注册资本币别等 币种描述信息，其信息来自系统中的币种代码表。为了保证系统中对应 关系的正确，需要对系统中对公客户财务信息表与币种代码表关联关系 进行主外键校验。
数据质量管理解决方案
目录
• 数据质量管理概述 • 数据质量问题解决之道 • 数据质量管理产品简介 • 产品实施案例及场景分享