大数据产品架构及应用方案

批量数据非实时 分析能力
秒级实时交互分 析能力
实时数据查询能 力
亚秒级，低延时的 实时流处理
高可用的、基于内 存计算的流计算引 擎
性能业界领先
一键式安装 可视化运维监控 按需部署 简单易用 全生态安全加固
产品功能-运维管理子系统
Biblioteka Baidu
产品功能-日志分析子系统
Hadoop+Spark 数据收集及整合
生态组件融合；
萃取能力
MPP+Hadoop混 横向扩展能力
合框架；
数据备份、安全
国内组件支持最多
存储能力
，最丰富。
数据按策略存储
能力
基于数据的检索 对结构化、半结构
化、非结构化数据 的全类型检索支持 支持按类型分类呈 现检索结果，在线 播放音视频文件。
核心特色
复杂异构数据源
实时性传输
兼容大数据技术栈
多人协作开发
高效稳定
操作智能便捷
产品介绍（设计界面）
产品介绍（调度页面）
任务执行一览无余
可视化手段多角度作业监控 作业执行状态与成功率监控 对作业进行多角度排序
全方位洞察一项任务执行
单一业务的任务详情 图形化展示任务执行日志 任务运行情况变化曲线
告警帮你随时把握任务异常
著作权
已取得74项著作权 核心产品大数据基础平台、 分析平台、可视化平台等均 已取得相关著作权
权威认证
2016年11月，获得高新技术企业认定
2017年3月，通过CMMI L5 软件成熟度模 型能力认证
2017年3月，大数据基础平台SDC Hadoop 通过中国信通院产品能力认证
2017年6月，大数据基础平台SDC Hadoop 分别通过中国软件评测中心产品能力认证
公司资质
ISCCC信息安全服务
计算机信息系统集成
2级
ISO27001信息安全管理
ITSS 服务运维
2级
军工涉密咨询服务 ISO14001环境认证
CMMI – DEV
5级
武器装备科研生产单位保密资格证 二级 国军标质量管理体系认证证书 二级保密资格单位证书 企业信用等级证书A
ISO9001质量认证
软件企业认定证书 国家高新技术企业
定义指定任务的报警规则 定制指定任务的报警渠道 指定报警信息的接收者 根据需要控制告警规则的启用与关闭
构造大数据运行基石
SDC Hadoop 大数据存储计算平台
产品架构
SDC 企业级一站式大数据基础平台 大数据领域 --- 存储计算为核心的基础平台
组件融合
统一存储
全文检索
交互式分析 实时流计算
运维管理
大数据产品架构
建立大数据的数据之源
SDC ETL 大数据采集平台
产品定位及产品特色 产品定位
SDC 融合数据ETL 以元数据智能驱动，通过流程设计器快速构建数据处理模型，完成数据库、半结 构化、非结构化数据之间的ETL工作，支持多人协作，大大节约了开发周期以及开发难度。提供强 大的调度能力，使得相关部门全面地了解数据处理模型的运行情况，有助于迅速定位和排除故障。 提供高可用集群管理以及HA能力，使得数据处理过程高效稳定。
四方伟业数据治理 平台以元数据智能驱动，由数据标准、数据质量、数据服务 等端到端的一站式数据服务管理平台，提供统一的用户管理、数据源管理、建模 设计、任务管理、数据权限等基础模块，面向 “政务、教育、交通、政法、电 力、能源、健康、金融”八大重点领域，实现快速、自动、稳定、持续的数据质 量提升，保证信息的可用性、一致性及安全性，确保及时、准确的数据支持和服 务，加快数据开发人员、数据实施人员、数据分析人员等针对数据采集、数据架 构、数据质量、主数据等数据管理项目的开发和部署速度。
产品功能-设备可视化监控
SDC平台技术创新-命令解析工具
产品测试
性能评测场景
30T数据情况下测试：
场景1：复杂SQL语句查询。 • 在30T数据情况5条不同SQL语句5次查询，
分别执行时间为：202.7s ,258.0s, 50.8s,132.7s,53.1s.
• 最好执行速度为：1.7s/T 最坏情况：6.7s/T
可视化效果
快速检索，性能高效
自动部署能力
500T 数据
业务访问负载均衡能力
可视化，资源使用情况查看
海量数据智能分发存储
集群节点自动伸缩能力
可视化管理
20+ 节点
检索速度 平均小于<5s
大数据治理提升数据管控能力
SDC Govern 数据治理平台
产品定位
数据治理 SDC GOVERN 智能 高效 数据驱动价值
比规定测试时间提前2天跑出性能结果。
第一梯队 与其它参评的企业相比，数据查询性能处于行业
。
国家版权云项目案例
项目背景
难点
原数据的种类多样，大小不同，大数据平台存储方 式不同，对后续用户检索效率有影响，需要按类型， 大小存储到不同的组件，提升检索效率。
解决思路
1.大文件存放HDFS，建立索引，将索引存入关系型数据库，小文件 直接放入NoSQL数据库。 2.提前配置好分类存储策略，自动分类存储： Size>100M && Video 存储#001， 10M< Size <= 100M && Video || Voice || Picture 存储#002， 0M< Size <=10M&& Video || Voice || Picture 存储#003
2017年6月，大数据分析平台SDC Miner通 过中国软件评测中心分析类产品能力认证
2017年6月，大数据可视化平台SDC UE通 过中国软件评测中心分析类产品能力认证
产学研
联合实验室 与国内多家高校、研究机构成 立了： 大数据可视化应用联合实验室 大数据基础架构研究实验室 工业大数据应用联合实验室
大数据产品架构及应用方案
服务能力
政府
金融
能源
交通
军工
企业
行业应用
咨询
设计
算法
定制
提供专业服务能力
实施
运维
业务价值导向 业务价值实现
交换汇集
融合治理
存储计算
挖掘分析
提供一站式大数据应用支撑平台产品能力
可视化
大数据 基础平台
服务成果
专利权
已授权4项专利 目前核心产品相关的还有20 项发明专利已取得受理通知 书，部分已进入实审阶段。
场景2：简单SQL语句查询。 • 在30T数据情况5条不同SQL语句5次查询，
分别执行时间为：52.9s ,34.9s, 66.3s,92.5s,79.8s.
• 最好执行速度为：1.1s/T 最坏情况：3s/T
通过了权威机构性能评测
2017年6月，四方伟业SDC大数据基础平台参加 了中国信息通信研究院大数据性能评测，取得了以 下成绩：