目录
1.前言 (2)
2.产品简介 (3)
3.核心功能介绍 (4)
4.技术特点 (6)
前言业界背景
随着计算机网络技术的飞速发展，信息网络已经成为社会发展的重要保证，涉及到国家的政府、军事、文教等诸多领域。其中有很多是敏感信息，甚至是国家机密。因此，随着数据本身的价值越来越高，信息安全问题也越来越凸显。
目前，全世界每年因为数据泄漏、销售非法数据获利等而导致的经济损失逐年上升。“11.30”特大电信诈骗案、汇丰银行员工盗窃客户资料案、12306用户信息泄漏等案例都在时时提醒着数据安全问题不得不重视。
企业现状
针对非生产环境所需的样例数据，传统的工作方式是：
●通过备份的方式直接提供没有经过任何处理的真实数据。
●客户写程序、脚本或者命令对数据进行脱敏。
●直接交由开发商负责
传统工作方式只是对数据进行简单的处理甚至不处理，因此普遍存在泄漏数据的风险。根据目前的情况来看，针对非生产环境的数据管理，数据保护，防止数据的泄漏，是非常有必要的。因此，针对信息安全的法律法规也应运而生。
行业规范
2013年1月31日证监会发布《证券期货业信息系统运维管理规范》明确规定，在线数据和离线数据用于非生产环境时，应进行脱敏处理；用于模拟测试时如无法进行脱敏处理，测试环境应采取与生产环境相当的安全措施。
银监会在《中国银行业“十二五”信息科技发展规则监管指导意见》中提出，完善敏感信息存储和传输等高风险环节的控制措施，对数据、文档的访问应建立严格的审批机制。对用于测试的生产数据要进行脱敏处理，严格防止敏感数据泄露。
鼎甲数据脱敏一体机（InfoSteganos）是一款集隐私数据发现、数据提取、数据漂白、测试数据管理、数据装载等功能于一体的软硬件一体化设备。结合访问控制、性能监控等手段对用户数据进行筛选，并依据用户定义的脱敏规则对隐私数据进行替换，规避敏感数据泄漏风险，确保测试数据的业务完整性和有效性。
产品特点
●多：可以应付更多的生产数据
●快：产品开箱即用，操作简单，大幅度提高工作效率
●好：数据仿真度高，保证数据安全
●省：低维护成本，项目实施成本低
产品规格
InfoSteganos 是软硬一体化的数据脱敏设备，可根据用户实际数据量选择对应产品型号，提供深度压缩功能供用户选配。
鼎甲迪备核心功能
产品简介
核心功能介绍InfoSteganos 仅作为数据库的客户端访问数据，只需要通过以太网连接生产数据源和目标非生产数据源，不需要安装任何部件。
★数据发现
首先用户确定数据脱敏的对象，以确定哪些是需要脱敏的敏感数据，并以此为依据梳理出隐私数据模型。
InfoSteganos的自动发现功能能够自动扫描并定位企业当中的敏感数据，并根据隐私数据算法确认隐私数据，以及隐私数据类型。
★数据抽取
根据生产数据的定义，周期性的从数据源中抽取真实数据到InfoSteganos上。支持多种数据平台。
★数据漂白
InfoSteganos内置多种国内通用的隐私数据模型的漂白规则与算法，根据不同的用户，不同的数据选择不同适当的算法进行脱敏，生成伪造数据。由于设备是封闭系统，能够很好地防止数据泄漏。
漂白效果：
?保持数据的关联关系
?提供高仿真度的伪数据
?不可逆算法，保证数据安全
★数据装载
用户使用受限权限的帐号登录到作为客户端连接到非生产环境的数据库的InfoSteganos平台，将已经漂白的数据写入到目标数据库。
?支持子集管理
支持子集管理
核心功能介绍
?支持异构平台的高速数据装载
?支持元数据加载
?支持全量和抽样加载
?默认使用高速的批量写入技术
★数据监控
InfoSteganos能够对自身设备的各项资源进行实时监控和历史查询，包括CPU、内存等的繁忙程度，数据空间的使用率，还能对各种作业的运行状态进行监控。
★数据管理
数据管理主要针对保存在InfoSteganos设备上的数据进行管理，包括数据压缩和数据漂白前后比对功能。
★多用户与权限管理
通过用户、角色、菜单权限、数据权限等机制实现完整的访问控制。系统默认通过角色对用户的权限进行控制，缺省角色包括了系统管理员、数据管理员、操作员、开发者等。
技术特点★支持异构数据平台
当生产系统与测试系统数据库为异构数据库时，可快速实现数据移植。
★提供深度数据压缩功能
保证数据正常访问的同时，提供深度压缩算法有效扩展数据存储能力。
★支持分布式扩展
通过多设备集群实现分布式扩展，合理应对海量数据。
★支持高效隐私数据发现
支持数据自动扫描并快速发现用户数据库中的隐私数据。
★提供多种隐私数据模型与算法
内置多种国内通用的隐私数据模型的漂白规则与算法，有效降低实施成本。
★支持高速数据装载
采用专用数据库批量写入技术，大幅提升数据转载效率。
★界面友好，简单易用
采用Web方式的操作平台，为用户提供简洁、有序、美观的界面，功能丰富且操作简单。★整机交付，开箱即用
InfoSteganos的功能组件均在整合完成后出厂交付，实现开箱即用。
1 行业大数据 电力行业应用特点：基于GIS 组件与动态组件的实时数据监控展示，基于静态组件的多样化报表分析展示。 用电量预测：基于海量历史电量数据，规划区域面积、历史人口、历史国民经济数据、三产比例等变化情况，对区域用电量进行预测，作为进一步规划设计依据。 空间负荷预测：基于全网中各小区的占地面积、用地类型、容积率，行业的建筑面积负荷密度、占地面积负荷密度，小区目标年占地面积、小区目标年建筑面积，总负荷值、行业负荷值等数值，对远景年负荷进行预测。 多指标关联分析：从多个外部系统（如GIS ，PMS ，OMS 等）抓取所需数据的时间一致性切片，进行综合分析利用，从而支持规划设计。 金融相关行业应用特点：基于矢量图组件与动态组件的实时资金交易数据监控展示，基于静态组件的多样化报表分析展示。 资金实时流向分析：重点地区资金流向、重点行业资金流向、频繁且相近额度资金流向、季节资金流向、节假日资金流向、偶尔大额资金流向。 数据辅助征信风控：通过连接大数据(包括P2P 平台、小额信贷机构、征信机构、银行、第三支付、互联网大数据等)、连接不同的应用场景，挖掘和探索虚拟经济形态下的网络和商务平台数据，提供去中心化分布式查询，打破行业内信息各自孤立而形成信息漏洞的现状，高效控制风险。 业务拓展：客户挖掘、精准投放、二次开发、战略指导、全民分析等多种智能分析模型，为管理层的管理决策提供了最直接的数据依据，同时绚丽易读的可视化展现带来了清晰直观的产品体验， 让管理层不再拍脑袋发愁。 电子政务应用特点：基于GIS 组件的基础数据关联展示，基于静态组件的多样化报表分析展示。 整合分析发现群众真实需求，并强化数据预测应用功能，助推政府采取更加人性化、便民化，更有 WYDC Viewer 产品白皮书 四方伟业大数据分析Data Discovery 系列产品 WYDC Viewer 是Data Discovery 系列产品中的数据可视化分析展示平台，本白皮书介绍了大数据平台的基础架构，对 WYDC Viewer 的功能及要求做了简要介绍。 成都四方伟业软件股份有限公司
数据中心基础设施智能运维白皮书 1 当前大部分数据中心的运维安全依赖于富有经 验、训练有素的运维团队，部分成熟的数据中心 已经开发出完善的运维流程和培训体系，并用以 减小偶发事件及人员变动对运维安全的冲击，少 数先进的数据中心已经在寻求通过数字化、智能 化手段来保障数据中心运维安全的可持续性。本 白皮书划分了从传统运维到智能化运维的5个阶 段，以及每个阶段的典型特征，一 方面，数据中 心的管理人员可以根据这些信息明确当前所处的阶段，以及演进和优化的目标。另一方面，对于处在传统运维阶段的团队，本白皮书介绍了数据中心基础设施可用性管理全景及对应的数字化，智能化措施，利用这些信息，运维团队能更好地规范运维管理，制定智能化运维升级的计划，并能指导运维团队从传统运维向智能运维转型，在智能化运维工具的帮助下，实现运维更高效、更 安全并可持续的业务目标。 简介
数据中心基础设施智能运维白皮书 2 图1展示的是运维从传统运维到智能运维的阶段演进，横 坐标是智能化进展，纵坐标指的是运维流程的完备和复杂 度，在传统运维阶段，智能化手段不多，运维安全主要依 靠运维团队的经验和技能，管理的可持续性则依赖流程制 度，和不断完善培训体系，随着流程制度的不断完善，运 维效率会有所降低，但随着运维团队对流程制度熟练应用 后，效率会有所恢复，在传统运维阶段，存在几个潜在的 误区：1、对运维团队或者个人的过度依赖，往往导致熟练 流程建设及经验积累；2、对流程的僵化使用，最终会导致 运维团队对流程失去耐性，而导致实际运维操作完全偏离 流程本身，因为运维团队需要讲流程跟实际情况结合，在 不影响流程节点结果输出的情况下匹配实际情况，做到这 一点需要运维团队具备丰富的运维经验；3、一些经验丰富、 流程制度成熟的运维团队往往会陷入过于自满的误区，错 误排斥任何智能手段，拒绝对运维效率改善的建议，固执 的认为效率提升必然影响到运维安全。 智能运维阶段，会通过数字化、智能化手段不断的固化和 简化流程，“云化”运维专家，自动化手段取代人力等， 大幅提升运维效率，运维安全不受影响甚至更安全，智能 运维不仅能解决当前数据中心运维人力短缺的困境，还能 通过对流程、经验和技能的不断固化、优化来彻底摆脱数 据中心运维对人和团队的依赖。 数据中心智能运维演进 图1
社会医疗保险数据中心管理平台 技术白皮书 创智和宇
目录 1简介 (4) 1.1应用背景 (4) 1.2范围 (4) 1.3参考资料 (4) 2系统概述 (5) 2.1医疗保险数据中心管理平台概述 (5) 2.2总体结构图 (5) 2.2.1医疗保险数据中心管理平台的的总体结构 (6) 2.2.2医疗保险数据中心管理平台的逻辑结构 (6) 2.2.3医疗保险数据中心管理平台的的网络拓扑结构 (7) 2.3.1数据库内部组成 (7) 2.3.2生产库定义（地市级） (7) 2.3.3交换库定义（地市级） (7) 2.3.4决策分析库（地市级） (8) 2.3.5决策分析库（省级） (8) 2.4 医疗保险数据中心管理平台与其他系统关系 (8) 2.4.1与本公司开发的社保产品关系及实现接口 (8) 2.4.2与其它公司开发的社保产品关系及实现接口 (8) 2.4.3与全国联网软件关系 (9) 3业务逻辑的总体设计 (9) 3.1数据抽取建立交换数据库 (9) 3.2数据分析与决策 (9) 3.3数据交换服务 (10) 4系统采用的关键技术 (11) 4.1数据抽取 (11) 4.2增量更新 (11) 4.2.1增量更新实现步骤 (11) 4.2.3 历史数据变化情况记录 (12) 4.3数据展现 (12) 4.4数据传输 (12) 4.4.1数据传输涉及的三大元素及关系 (12) 4.4.2数据传输策略总体设计思路. (12) 4.4.3数据传输策略总体设计方案图 (12) 4.4.4数据传输策略实现概要. (14) 4.4.5打包数据的来源 (14) 4.4.6传输策略的维护 (14) 5系统开发平台和运行平台 (14) 5.1开发平台 (14) 5.2运行平台 (14) 6医疗保险数据中心管理平台功能介绍 (15) 6.1参保情况管理 (16)
一张图读懂工业大数据 1. 工业大数据 工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。 工业大数据的主要来源有三类： 第一类是生产经营相关业务数据。主要来自传统企业信息化范围，被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产，正在逐步扩大范围。 第二类是设备物联数据。主要指工业生产设备和目标产品在物联网运行模式下，实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据。此类数据是工业大数据新的、增长最快的来源。 第三类是外部数据。指与工业企业生产活动和产品相关的企业外部互联网来源数据。 2. 工业大数据的地位 2.1 在智能制造标准体系中的定位 工业大数据位于智能制造标准体系结构图的关键技术标准的左侧，属于智能制造标准体系五大关键技术之一。
2.2与大数据技术的关系 工业领域的数据累积到一定量级，超出了传统技术的处理能力，就需要借助大数据技术、方法来提升处理能力和效率，大数据技术为工业大数据提供了技术和管理的支撑。 首先，工业大数据可以借鉴大数据的分析流程及技术，实现工业数据采集、处理、存储、分析、可视化。其次，工业制造过程中需要高质量的工业大数据，可以借鉴大数据的治理机制对工业数据资产进行有效治理。 2.3与工业软件和工业云的关系 工业软件承载着工业大数据采集和处理的任务，是工业数据的重要产生来源，工业软件支撑实现工业大数据的系统集成和信息贯通。 工业大数据技术与工业软件结合，加强了工业软件分析与计算能力，提升场景可视化程度，实现对用户行为和市场需求的预测和判断。 工业大数据与工业云结合，可实现物理设备与虚拟网络融合的数据采集、传输、协同处理和应用集成，运用数据分析方法，结合领域知识，形成包括个性化推荐、设备健康管理、物品
××_软件项目概要设计说明书 版本： 编制： 审核： 批准： 日182017颁布日期：年4月□非受控受控状态：■受控 分发范围：项目组、财务部、质量管理部I 版软件项目概要设计说明书××_ 本：V0.1 修订记录 修订日版本修订描修订批准
版××_软件项目概要设计说明书本：V0.1 目录 1 引言.............................................................................................................................................................. . (1) 1.1 概述 (1) 1.2 目的 (1) 1.3 范围 (1) 1.4 缩略语 (1) 1.5 术语.................................................................................................................... 错误！未定义书签。 2 参考资料 (2) 3 交付需求列表 (2) 4 系统物理架构 (2) 4.1 系统运行的硬件环境 (2) 4.2 系统运行的软件环境 (3) 4.3 系统运行的网络环境 (3) 4.4 系统部署图 (3) 4.5 安装部署说明 (4) 5 系统逻辑架构 (5)
5.1 子系统 一 (5) 子模块一...................................................................................................................................... 51.1.1子模块二...................................................................................................................................... 51.1.2 5.2 子系统 二 (5) 6 实现视图 (5) 7 进程视图 (6) 8 数据库设计 (6) 9 设计约束 (6) 10 内部接口定义 (6) 11 外部接口 (6) 12 开发环境说明 (7) 13 技术难点 (7) 14 附录.............................................................................................................................................................. .. 8 14.1 模型文件 (8) 14.2 XXXX (8) III _××软件项目概要设计说明书版本：V0.1 ××_软件项目概要设计说明书 1引言 1.1概述 应包括：{ 项目的委托单位、开发单位和主管部门； a. 该软件系统与其他系统的关系。} b.
H3C大数据产品技术白皮书杭州华三通信技术有限公司 2020年4月
目录 1 H3C大数据产品介绍 (1) 1.1产品简介 (1) 1.2产品架构 (1) 1.2.1 数据处理 (2) 1.2.2 数据分层 (3) 1.3产品技术特点 (4) 先进的混合计算架构 (4) 高性价比的分布式集群 (4) 云化ETL (5) 数据分层和分级存储 (5) 数据分析挖掘 (6) 数据服务接口 (6)
可视化运维管理 (7) 1.4产品功能简介 (7) 管理平面功能： (12) 业务平面功能： (14) 2DataEngine HDP核心技术 (15) 3DataEngine MPP Cluster核心技术 (16) 3.1MPP + Shared Nothing架构 (16) 3.2核心组件 (16) 3.3高可用 (17) 3.4高性能扩展能力 (18) 3.5高性能数据加载 (18) 3.6OLAP函数 (19) 3.7行列混合存储 (19)
1H3C大数据产品介绍 1.1产品简介 H3C大数据平台采用开源社区Apache Hadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。 1.2产品架构 H3C大数据平台包含4个部分： 第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。 第二部分是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具 Kettle。
格力大数据项目工作说明书 北京西塔网络科技股份有限公司 二零一六年一月
1项目目标 (3) 2建设及服务内容 (4) 2.1需求调研及数据标准化 (4) 2.2大数据基础平台搭建 (4) 2.3数据采集 (4) 2.4分层存储设计 (5) 2.5数据加工处理 (5) 2.6数据分析挖掘 (5) 2.7内存数据库 (5) 2.8交互式探查分析 (6) 2.9数据可视化应用 (6) 2.10语音智能分析 (6) 2.11文本、视频、图片存储 (6) 2.12大数据平台运维监控 (6) 2.13大数据平台任务调度 (7) 2.14ETL过程可视化 (7) 2.15培训工作 (7) 3建设方案 (8) 4时间进度与里程碑 (8) 5费用支付 (9)
6需求变更过程 (9) 6.1变更依据 (9) 6.2变更请求处理流程 (9) 7双方责任 (10) 8项目组织架构 (12) 9假定条件 (12)
1项目目标 在珠海格力电器股份有限公司的范围内，分期实现格力工业大数据平台项目的 数据集成、连接、处理、分析、挖掘等相关功能。本期项目包括设计、搭建大数据 平台，接入商技一部、商技二部、计算机中心的销售订单等相关数据，实现设备故 障诊断、故障预测、产品统计、实时查询、营销支持、智能搜索等功能。 故障诊断的业务目标： 大数据平台处理、分析商用空调运行时采集回传的工况数据，及时、准确定位 运行故障并给出大致原因，为维护部门维修空调设备和系统提供信息支撑，降低故 障定位的时间、范围和工作量，缩短停机时长并提高客户满意度、忠诚度。 故障预测的业务目标： 大数据平台利用数据挖掘、机器学习技术，通过学习业已存在的设备故障数据、信息，尤其是发生故障的前兆数据，归纳故障发生的特点、规律知识，并利用流计 算相关技术及时发现潜在的故障及风险，及时预警，减少停机的次数及停机时长。 另外发现停机模式、规律可以进一步应用到产品设计、改进过程中。 产品统计的业务目标： 大数据平台利用集成的产品及销售数据进行统计分析，用于分析产品的销售情况，客户情况，销售规律、特点及变化趋势，用于指导产品的个性化设计及产品的 推广销售。 实时查询的业务目标： 大数据平台利用New SQL存储技术存放设备数据，提供特定编号设备、一段 时间内工况信息的实时查询功能，用于业务人员分析、判断特定设备在查询时间范 围内的工作状态，总结、发现业务规律。 营销支持的业务目标： 大数据平台利用集成的产品及销售数据进行分析，发现其中先后、重复购买及 交叉购买情况和规律，提醒、推荐客户购买特定的产品和服务，提高产品和服务的 销量。 智能搜索的业务目标：
烟机应用系统集成和主数据管理项目 工作说明书 Cordys China 二零零九年九月
目录 1项目目标2 2工作说明2 2.1软件及服务围2 2.1.1应用系统集成2 2.1.1.1ERP与其他系统集成2 2.1.2主数据管理3 2.1.3假设条件3 2.2时间进度4 2.3成果交付物与验收标准4 2.4里程碑5 2.5费用支付5 2.6需求变更过程5 2.6.1变更依据6 2.6.2外部变更请求处理流程7 2.6.3部变更请求处理流程7 2.7双方责任8 2.8项目组织架构9 2.9假定条件10
1项目目标 在烟草机械有限责任公司的围，分期实现应用系统集成和主数据管理相关功能，本期项目主要包括ERP与其他系统间的应用系统集成，以及NC系统、ERP、PDM、CRM、EAM、MES、HR与KBS等系统间的主数据管理业务需求。 2工作说明 以下所有容基于9月11日版本的需求文档。 2.1 软件及服务围 2.1.1应用系统集成 2.1.1.1ERP与其他系统集成
共4个应用集成接口。 2.1.2主数据管理 主文件基础数据清单 共31个源-目标接口。 2.1.3假设条件 1.需求与接口清晰，逐项提供接口说明文档并有必要的原厂商配合，一天可完 成4个应用集成接口的需求调研工作或4个1源-1目标的主数据需求调研工作 2.系统上线后试运行5天 3.对每个功能点源系统和目标系统均只有一表需要进行主数据管理 4.不需要前台维护界面，采用系统默认页面实现后台功能即可
2.2 时间进度 我们的服务预计将于2009年10月19日开始。 预计项目服务周期：3个月 项目经理 30 人天 外国专家 15人天 技术经理 92人天 软件工程师 198人天 QA工程师 22人天 培训 4天 2.3 成果交付物与验收标准 甲方：烟草机械有限责任公司 乙方：CORDYS()信息系统
鹏博士电信传媒集团股份有限公司 IT服务白皮书 二零一三年十一月
目录 第一章运维服务概述 (4) 1、 (4) 2、 (4) 3、 (4) 第二章监控巡检服务 (4) 1、实时监控 (4) 2、日常监控 (4) 第三章服务器运维管理服务 (4) 1、服务器健康检查 (4) 2、服务器日常维护 (5) 3、服务器配置管理 (6) 4、服务器性能管理 (7) 第四章网络运维管理服务 (8) 1、网络拓扑规划和优化 (8) 2、网络设备安装、配置、调试 (8) 3、网络设备“高可用”配置和维护 (8) 4、网络设备性能管理 (8) 第五章存储运维管理服务 (8)
1、存储设备安装、配置、调试 (8) 2、存储容量空间管理 (8) 3、存储性能管理 (8) 第六章数据库管理服务 (8) 1、数据库安装、配置、调试 (8) 2、数据库性能管理 (8) 3、数据库容量空间管理 (8) 4、数据库备份和恢复管理 (8) 第七章安全管理 (8) 1、服务器安全管理 (9) 2、网络安全管理 (9) 第八章管理制度、流程 (9) 1、服务支持 (9) 2、服务交付 (9) 第九章应急管理 (9) 1、应急预案开发和维护 (9) 2、应急演练 (9)
第一章运维服务概述 1、 2、 3、 第二章监控巡检服务 1、实时监控 2、日常监控 第三章服务器运维管理服务 1、服务器健康检查 为了提高系统的可用性，将故障排除在发生之前至关重要。健康检查服务是鹏博士提供的一项针对设备的非常有效的事故预防服务，是主动式服务的一种。通过健康巡检服务可以尽早发现系统的问题或潜在问题，保证系统的安全、稳定运行。 健康巡检将帮助客户从技术角度对正在运行的服务范围内系统的技术特征、故障隐患有一个全面的了解，以便根据业务发展需求和目前系统资源状况，制定合理、可行的系统扩容、改造、维护计划，提高系统运行的安全性。 服务内容如下： 根据客户需求制定健康检查计划、方案、流程；
主数据管理平台（MDM） 主数据管理平台（MDM） 摘自雷博士《信息化与信息管理实践之道》第三篇 为了保障企业主数据标准、编码维护流程能够被落实，并确保企业范围内主数据的一致性，促进主数据共享，必须建立企业集中统一的主数据编码管理平台（MDM）。 8.5.1 主数据管理的目标 ● 建立集中统一的企业主数据编码规范和管理维护流程，实现主数据编码整个生命 周期的全过程管理； ● 建立支撑主数据编码规范和管理维护流程的主数据编码管理平台，集中统一管理 主数据编码数据库； ● 为企业和各级单位提供集成、全面、准确和及时的主数据服务和信息化基础工作 的支持。 8.5.2 主数据平台完成的具体任务 1、建立主数据编码平台 以企业信息化建设需求和业务协作对主数据编码的需求为起点，建设一个对整个企业主数据进行全生命周期管理的平台，通过平台实现对主数据编码规则及管理流程的支撑，实现企业主数据编码的标准化。 2、建立不同主题的主数据编码数据库 以组织机构、人力资源以及企业生产经营产品为不同的主题，来开展建立主题编码数据库，保证涉及的主数据编码及相应的应用范围内系统对主数据编码的需求。 3、通过平台实现主数据编码的管理 主数据平台提供丰富的功能实现对主数据编码进行统一管理和维护，提供灵活的定制功能实现对主数据编码规则及管理流程的支持。 4、实现主数据平台与企业BI、ERP应用的数据集成 主数据平台提供丰富的数据集成接口，实现与BI、应用系统的数据集成，为各信息系统提供高质量的主数据服务。 因此，主数据管理实质是，适时地将正确的信息以正确的视图提供给正确的对象。这才是主数据管理（MDM）的目标。主数据管理描述了一组规程、技术和解决方案，这些规程、技术和解决方案用于为所有利益相关方（如用户、应用程序、数据仓库、流程以及贸易伙伴）创建并维护业务数据的一致性、完整性、相关性和精确性。 主数据管理的关键就是“管理”。主数据管理不会创建新的数据或新的数据纵向结构。相反，它提供了一种方法，使企业能够有效地管理存储在分布系统中的数据。主数据管理使
计算平台 概要设计说明书 作者：日期：2013-01-28批准：日期： 审核：日期： （版权所有，翻版必究）
文件修改记录
目录 1.引言 ........................................................................................... 1.1编写目的................................................. 1.2术语与缩略词............................................. 1.3对象及范围............................................... 1.4参考资料................................................. 2.系统总体设计 ............................................................................. 2.1需求规定................................................. 2.1.1数据导入............................................ 2.1.2数据运算............................................ 2.1.3运算结果导出........................................ 2.1.4系统监控............................................ 2.1.5调度功能............................................ 2.1.6自动化安装部署与维护................................ 2.2运行环境................................................. 2.3基本设计思路和处理流程................................... 2.4系统结构................................................. 2.4.1大数据运算系统架构图................................ 2.4.2hadoop体系各组件之间关系图......................... 2.4.3计算平台系统功能图.................................. 2.4.4系统功能图逻辑说明.................................. 2.4.5计算平台业务流程图..................................
数据资产管理技术白皮书
前言 党的十九大报告提出要“推动互联网、大数据、人工智能和实体 经济深度融合”，进一步突出了大数据作为国家基础性战略性资源的 重要地位，掌握丰富的高价值数据资源日益成为抢占未来发展主动权 的前提和保障。 数据是资产的概念已经成为行业共识。然而现实中，对数据资产的管理和应用往往还处于摸索阶段，数据资产管理面临诸多挑战。首先， 大部分企业和政府部门的数据基础还很薄弱，存在数据标准混乱、数据质 量层次不齐、各条块之间数据孤岛化严重等现象，阻碍了数据的共享应用。其次，受限于数据规模和数据源种类的丰富程度，多数企业的数据 应用刚刚起步，主要集中在精准营销，舆情感知和风险控制等有限场景，应用深度不够，应用空间亟待开拓。再次，由于数据的价值很难评估， 企业难以对数据的成本以及其对业务的贡献进行评估，从而难以像运营 有形资产一样管理数据资产。 国际上，1990 年以来，以国际数据管理协会（DAMA，Data Management Association International）、能力成熟度模型集成（CMMI，Capability Maturity Model Integration）为代表的组织机构长期从事数 据管理的研究，形成了一定的理论成果。在这些理论的指导下，我国金融、电信、能源、互联网等信息化较为先进的行业，已经积累了丰富的 数据资产管理经验。这些经验的总结对于补充完善数据管理理论体系、 推进数据资产管理在各个行业的普及和发展有着重要意义。 为了促进数据资产管理的研究，我们组织编写了《数据资产管理
实践白皮书》。本白皮书分为四大部分：第一部分介绍了数据资产管理 的概述及变革中的数据资产管理呈现出来的特征趋势；第二部分从实践 角度出发阐述了数据资产管理的主要内容；第三部分重点介绍了数据资 产管理的实施步骤、实践模式、技术工具和成功要素；最后结合实践经验，介绍了电信、金融、政务、医疗和工业等相关领域的数据资产管理 案例。本白皮书在《数据资产管理实践白皮书3.0》的基础上，以全面 盘点数据资产、不断提升数据质量、实现数据互联互通、提高数据获取效率、保障数据安全合规、数据价值持续释放等角度，通过权威数据和典型事件，生动剖析了数据资产管理的重点内容和目标。在原有管理职能的 介绍下，尝试说明数据资产化管理的关键活动步骤，并在实施步骤方面，增加了各实施阶段的具体输出物，并增加了“数据价值管理工具”和“数 据服务管理工具”，更好的指导企业搭建数据资产管理平台，开展数据 资产管理相关工作。 本白皮书可以为政府和企业开展数据资产管理工作提供参考，也 可以作为相关产品和服务提供商的参考依据。由于时间仓促，水平所 限，我们的工作还有很多不足。下一步，我们还将广泛采纳各方面意见 建议，进一步深化相关研究，持续完善白皮书内容，在已有版本的基础上，适时修订发布新版。我们诚邀各界专家学者参与我们的研究工作， 积极献言献策，共同完善国内数据资产管理理论和方法论体系，为促 进大数据与实体经济深度融合做出积极贡献。
数据管控产品规格说明书
第一章引言 1.1编写目的 本文档作为数据管控产品体系(元数据和数据质量管理)的产品方案说明书，介绍元数据和数据质量的解决方案。 1.2项目背景 经过多年建设，企业一般已经初步建成了各类管理信息系统，虽然在运用和分析数据支持经营决策方面已初见成效，但是对比战略发展要求和国内外最佳实践经验，还是存在数据管控水平不高，以及配套体系建设相对滞后的问题。为解决这些问题，企业会做种种努力，但由于未采用系统性的管控治理，数据问题并未能从根本上解决，阻碍了企业管理精细化的进程。 参考国内外同业先进理念、做法，一般会从数据标准、数据质量、数据模型、数据分布、数据安全、数据生命周期管理等6个方面，采用全面规划、分步实施的策略，分阶段有序推进数据管控项目建设，包括构建统一的数据管控制度体系、优化数据管控流程、实施有针对性的数据管控配套系统建设，实现对数据资产的全面管理和深度利用，进而提升数据资产管理水平和信息服务水平，形成差异化的竞争优势和核心竞争力。 第二章方案概述 2.1方案目标 本方案主要完成以下工作： ①完成元数据管理系统和数据质量评估管理系统的引进、集成部署和客户化定制； ②完成风险相关数据标准在元数据管理系统的落地； ③完成风险相关数据质量的评估及数据质量评估分析模型的开发。 ④完成其他业务需求中明确的试点系统的数据标准发布和质量评估落地工作。
2.2项目范围 2.2.1实施内容 1)元数据管理系统和数据质量评估管理系统相关基础性工作 根据业务需求，结合企业现有系统的情况，制定具体项目实施方案，确保能完成相关咨询成果在系统内的部署和设置。完成系统接口设计、系统架构设计和形成实施所需的需求规格化文档等工作。完成产品的集成安装和初步调试工作。若提供的软硬件配置建议书不能完全满足企业软硬件选型需要的，需要协助事先完成必要的产品测试工作，确定最终的系统软硬件配置清单。 2)元数据管理系统和数据质量评估管理系统的客制化开发实施 根据企业的业务需求，对产品或应用进行客制化实施。根据对业务、技术元数据进行抽取和加载，在系统中建立元数据之间的映射关系。根据评分模型对评分卡进行客制化开发，并能将评分结果数据在第三方报表平台上展现。本阶段需要完成系统的概要设计、详细设计；完成数据接口设计和数据ETL工作；完成产品的配置，应用和报表的客制化开发等。产品客户化过程中，出现在场人员无法解决的技术或产品问题时，投标人应及时组织国内国外资源，快速解决问题，不能因此对项目进度造成影响。 3)元数据管理系统和数据质量评估管理系统的测试 完成元数据管理系统和数据质量评估管理系统的各类测试工作，包括：单元测试、集成测试、压力测试和协助用户测试，测试工作需要符合企业测试规范要求。单元测试和集成测试的主要工作是：制定测试策略和计划、准备测试案例和数据、执行各类测试案例(含功能测试、接口测试、报表测试、系统管理和非功能性需求测试等)、分析测试结果、针对测试问题进行回归测试。压力测试的主要工作是：制定测试策略和计划、准备测试案例和数据、执行性能测试案例、分析测试结果、针对测试问题进行回归测试，完成系统调优工作。用户测试的主要内容是：做好测试数据准备工作，并协助完成测试。 4)元数据管理系统和数据质量评估管理系统的上线和试运行 完成元数据管理系统和数据质量评估管理系统的上线和试运行工作。元数据管理系统和数据质量评估管理系统上线的相关事宜，主要包括：确定系统软硬件、完成系统整体部署(含集成部署)、调试和调优、完成系统的初始化工作。完成符合企业规范的上线和移交文档。编写用户操作手册、业务手册、系统操作手册等。元数据管理系统和数据质量评估管理系统试运行相关工作，主要包括：试运行实施规划、试运行过程中的问题整理和处理、试运行结果分析等。维护系统、明确系统应急处理机制并演练等。
大数据可视化实时交互系统白皮书
目录 第1章产品定位分析 (1) 1.1产品定位 (1) 1.2应用场景 (1) 1.2.1城市管理RAYCITY (1) 1.2.2交通RAYT (2) 1.2.3医疗RAYH (3) 1.2.4警务RAYS (3) 1.3产品目标客户 (4) 1.3.1政务部门 (4) 1.3.2公共安全部门 (4) 1.3.3旅游规划部门 (5) 1.3.4其他客户 (5) 第2章产品简介及优势 (5) 2.1软件产品系统简介 (5) 2.1.1系统概述 (5) 2.1.2系统组成 (6) 2.1.3系统对比 (7) 2.1.4内容开发分项 (7) 2.2主要硬件设备简介 (9) 2.2.1［R-BOX］介绍 (9) 2.2.2［R-BOX］规格 (10) 2.2.3设备组成 (11) 2.2.4现场安装需求 (11) 2.3产品优势 (12) 2.3.1专业大数据交互可视系统 (12) 2.3.2极其便捷的操作 (13) 2.3.3震撼绚丽的高清图像 (13) 2.3.4超大系统容量 (14) 2.3.5高安全可靠性 (14) 2.3.6优异的兼容扩展能力 (14) 2.3.7灵活的部署方式 (14) 2.4方案设计规范 (14) 2.4.1设计依据 (14) 2.4.2设计原则 (15) 第3章产品报价及接入方式 (16) 3.1产品刊例价 (16) 3.2接入注意事项及常见问题 (16) 第4章成功案例 (18)
重庆：城市服务可视化解决方案 (18) 成都：政务云数据可视化解决方案 (19) 深圳：城市综合数据可视化解决方案 (20) 世界互联网大会：大数据可视化 (20) 智能建筑：物联应用解决方案 (21)
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发
展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
数据资产管理白皮书
前言 党的十九大报告提出要“推动互联网、大数据、人工智能和实体 经济深度融合”，进一步突出了大数据作为国家基础性战略性资源的 重要地位，掌握丰富的高价值数据资源日益成为抢占未来发展主动权 的前提和保障。 数据是资产的概念已经成为行业共识。然而现实中，对数据资产的管理和应用往往还处于摸索阶段，数据资产管理面临诸多挑战。首先， 大部分企业和政府部门的数据基础还很薄弱，存在数据标准混乱、数据质 量层次不齐、各条块之间数据孤岛化严重等现象，阻碍了数据的共享应用。其次，受限于数据规模和数据源种类的丰富程度，多数企业的数据 应用刚刚起步，主要集中在精准营销，舆情感知和风险控制等有限场景，应用深度不够，应用空间亟待开拓。再次，由于数据的价值很难评估， 企业难以对数据的成本以及其对业务的贡献进行评估，从而难以像运营 有形资产一样管理数据资产。 国际上，1990 年以来，以国际数据管理协会（DAMA，Data Management Association International）、能力成熟度模型集成（CMMI，Capability Maturity Model Integration）为代表的组织机构长期从事数 据管理的研究，形成了一定的理论成果。在这些理论的指导下，我国金融、电信、能源、互联网等信息化较为先进的行业，已经积累了丰富的 数据资产管理经验。这些经验的总结对于补充完善数据管理理论体系、 推进数据资产管理在各个行业的普及和发展有着重要意义。 为了促进数据资产管理的研究，我们组织编写了《数据资产管理
实践白皮书》。本白皮书分为四大部分：第一部分介绍了数据资产管理 的概述及变革中的数据资产管理呈现出来的特征趋势；第二部分从实践 角度出发阐述了数据资产管理的主要内容；第三部分重点介绍了数据资 产管理的实施步骤、实践模式、技术工具和成功要素；最后结合实践经验，介绍了电信、金融、政务、医疗和工业等相关领域的数据资产管理 案例。本白皮书在《数据资产管理实践白皮书3.0》的基础上，以全面 盘点数据资产、不断提升数据质量、实现数据互联互通、提高数据获取效率、保障数据安全合规、数据价值持续释放等角度，通过权威数据和典型事件，生动剖析了数据资产管理的重点内容和目标。在原有管理职能的 介绍下，尝试说明数据资产化管理的关键活动步骤，并在实施步骤方面，增加了各实施阶段的具体输出物，并增加了“数据价值管理工具”和“数 据服务管理工具”，更好的指导企业搭建数据资产管理平台，开展数据 资产管理相关工作。 本白皮书可以为政府和企业开展数据资产管理工作提供参考，也 可以作为相关产品和服务提供商的参考依据。由于时间仓促，水平所限，我们的工作还有很多不足。下一步，我们还将广泛采纳各方面意见建议，进一步深化相关研究，持续完善白皮书内容，在已有版本的基础上，适 时修订发布新版。我们诚邀各界专家学者参与我们的研究工作，积极献 言献策，共同完善国内数据资产管理理论和方法论体系，为促进大数据 与实体经济深度融合做出积极贡献。
H3C大数据产品技术白皮书 杭州华三通信技术有限公司 2020年7月
目录 1 H3C大数据产品介绍................................................................... 错误!未定义书签。 产品简介........................................................................ 错误!未定义书签。 产品架构........................................................................ 错误!未定义书签。 数据处理 ............................................................................ 错误!未定义书签。 数据分层 ............................................................................ 错误!未定义书签。 产品技术特点............................................................... 错误!未定义书签。 先进的混合计算架构........................................................ 错误!未定义书签。 高性价比的分布式集群................................................... 错误!未定义书签。 云化ETL ................................................................................ 错误!未定义书签。 数据分层和分级存储........................................................ 错误!未定义书签。 数据分析挖掘...................................................................... 错误!未定义书签。 数据服务接口...................................................................... 错误!未定义书签。 可视化运维管理................................................................. 错误!未定义书签。 产品功能简介............................................................... 错误!未定义书签。 管理平面功能：................................................................. 错误!未定义书签。 业务平面功能：................................................................. 错误!未定义书签。 2 DataEngine HDP核心技术......................................................... 错误!未定义书签。 3 DataEngine MPP Cluster核心技术 ......................................... 错误!未定义书签。 MPP + Shared Nothing架构 .................................. 错误!未定义书签。 核心组件........................................................................ 错误!未定义书签。 高可用............................................................................. 错误!未定义书签。 高性能扩展能力 .......................................................... 错误!未定义书签。 高性能数据加载 .......................................................... 错误!未定义书签。 OLAP函数..................................................................... 错误!未定义书签。 行列混合存储............................................................... 错误!未定义书签。