集团大数据平台系统配置方案
1.1硬件系统配置建议
1.1.1基础Hadoop平台集群配置规划
根据此次大数据平台的建设要求，大数据平台需要满足全量3PB数据的存储要求，根据数据的特点，大概30%为结构化数据，70%为非结构化数据，并以此进行估算。其中：1）结构化数据的数据量为：
3PB*30%=0.9PB=922TB（结构化数据全部进入数据仓库）
对于结构化数据存储容量要求为：
922TB*(3+1+0.5)/3*1.3=1798TB
注：对结构化数据，采用3倍副本冗余存储，1倍中间结果余留，0.5倍索引存储空间，3倍数据压缩，0.3倍空间余留。
2）非结构化数据的数据量为：
3PB*70%=2.1PB=2151TB
对于非结构化数据存储要求为：
2151TB*3=6453TB
非结构化数据采用3倍副本冗余存储。
3）全量数据存储容量要求为：
1798TB（结构化数据）+6453TB（非结构化数据）=8251TB
DataNode单节点存储容量推荐配置为：4TB*12=48TB
基础Hadoop平台DataNode节点数为：8251TB/48TB=172节点
因此，DataNode服务器推荐配置为：
表10-1 推荐配置
服务器推荐配置及说明
节点数量172个节点
CPU 两路8核处理器E5-2650 v3或以上
内存128GB ECCDDR4
硬盘2个600G的SAS硬盘，15000RPM，RAID1，作为系统盘
12个4TB的SATA硬盘，7200RPM，不做RAID1
网络双电口万兆（10Gbps）以太网卡另外：对于此次搭建的大规模Hadoop集群，需要单独规划Zookeeper 9个节点，NameNode 2个节点，Resource Manager 2个节点，HMaster 5个节点，总共9+2+2+5=18个节点
综上所述，基础Hadoop平台节点规模如下：
表10-2 节点规模
角色节点数量
（X86服务器
数量）
功能简述
DataNode 172 存储/计算节点NameNode 2 管理节点
Zookeeper 9 Hadoop分布式系统中的高
可靠的协调系统
Resource Manager 2 负责集群中所有资源的统一
管理和分配
HMaster 5 为Region Server分配
region负责Region Server
的负载均衡
总共190
针对NameNode，Zookeeper，Resource Manager，HMaster等角色的功能和性能要求，服务器建议采用如下配置：
表10-3 推荐配置
服务器推荐配置及说明
节点数量18个节点
CPU 两路8核处理器E5-2650v3或以上
硬盘2个300G的SAS硬盘，15000RPM，RAID1，作为系统盘
10个300GB的SAS硬盘，15000RPM，不做RAID1
网络双电口万兆（10Gbps）以太网卡
1.1.2数据仓库集群配置规划
根据此次大数据平台的建设要求，大数据平台需要满足全量3PB数据的存储要求，根据数据的特点，大概30%为结构化数据，70%为非结构化数据，并以此进行估算。
其中：结构化数据922TB*(3+1+0.5)/3*1.3=1798TB （结构化数据全部进入数据仓库）
DataNode单节点存储容量推荐配置为：2TB*12=24TB
基础Hadoop平台DataNode节点数为：1798TB/24TB=75节点
因此，DataNode服务器推荐配置为：
表10-4 推荐配置
服务器推荐配置及说明
节点数量75个节点
CPU 两路8核处理器E5-2650V3或以上
硬盘2个600G的SAS硬盘，15000RPM，RAID1，作为系统盘
12个2TB的SATA硬盘，7200RPM，不做RAID1
网络双电口万兆（10Gbps）以太网卡
固态硬盘（可选）800GB或 1.2TBPCIeSSD（例如Intel P3600Series PCI-e SSD）
另外：对于此次搭建的大规模Hadoop集群，需要单独规划Zookeeper7个节点，NameNode2个节点，Resource Manager2个节点，HMaster5个节点，总共7+2+2+5=16个节点
综上所述，基础Hadoop平台节点规模如下：
表10-5 节点规模
角色节点数量
（X86服务器
数量）
功能简述
DataNode 75 存储/计算节点NameNode 2 管理节点
Zookeeper 7 Hadoop分布式系统中的高
可靠的协调系统Resource 2 负责集群中所有资源的统一
Manager 管理和分配
HMaster 5 为Region Server分配
region负责Region Server
的负载均衡
总共91
针对NameNode，Zookeeper，Resource Manager，HMaster等角色的功能和性能要求，服务器建议采用如下配置：
表10-6 推荐配置
服务器推荐配置及说明
节点数量16个节点
CPU 两路8核处理器E5-2650v3或以上
内存256GBECCDDR4
硬盘2个300G的SAS硬盘，15000RPM，RAID1，作为系统盘
10个300GB的SAS硬盘，15000RPM，不做RAID1
网络双电口万兆（10Gbps）以太网卡1.1.3集群规模综述
表10-7 集群规模
集群名称集群用途集群规模
基础Hadoop集群进行全量数据存储，进行
数据清洗、转换工作。
190台
数据仓库集群存储结构化数据，并提供
高复杂度、高负载的计算、
分析任务，提供数据仓库、
数据集市等功能
91台
总共281台
1.1.4开发集群配置建议
表10-8 开发集群配置
服务器推荐配置及说明
CPU两路8核处理器2*E5-2650v3或以上
内存128GB ECCDDR3
硬盘10个2TB的SATA硬盘，7200RPM，不使
用RAID；
2个300G的SAS硬盘，15000RPM，RAID1，
作为系统盘
网络双电口千兆（1Gbps）以太网卡
固态硬盘（可选）800GB或1.2TB PCIe SSD（例如Intel P3600 Series PCI-eSSD）
1.1.5测试集群配置建议
表10-9 测试集群配置
服务器推荐配置及说明
CPU两路8核处理器2*E5-2650v3或以上
内存128GB ECCDDR3
硬盘10个2TB的SATA硬盘，7200RPM，不使
用RAID；
2个300G的SAS硬盘，15000RPM，RAID1，
作为系统盘
网络双电口万兆（10Gbps）以太网卡
固态硬盘（可选）800GB或 1.2TBPCIeSSD（例如IntelP3600SeriesPCI-eSSD）
1.2软件配置建议
表10-10 软件配置
服务器推荐配置及说明
操作系统LINUX（红旗）操作系统
大数据基础平台软件星环TDH产品，281节点
自有数据挖掘分析工具星环Discover（含并行化R算法库）
商用数据挖掘分析工具推荐SAS/SPSS等（建议甲方单独采购）
数据整合平台软件Trinity（ETL、元数据管理、数据整
合）
自有可视化BI工具iRecharts、Cognos（利旧）
商用可视化BI工具QlikView/Tableau（建议甲方单独采购）
自有互联网数据采集软
件
iRIS
自有大数据语义分析软
件
iNLP
商用大数据语义分析软件推荐SAS Text Miner等（建议甲方单独采购）
工作流引擎开源免费：Activiti
规则引擎开源免费：Drools
表10-11 TDH软件配置
集团大数据平台软件配置建议
软件组件名称软件功能说明备注
Transwarp Inceptor 星环分布式内存计算引擎，完整支持SQL99，SQL’2003，全面兼容OraclePL/SQL以及DB2存储
过程。
Transwarp Hyperbase 星环分布式NoSQL数据库，支持海量数据高并发数据写入与查询，提供多种索引功能、提供图计算、分布式事务等功能支持。
Transwarp Dissover 星环分布式分析挖掘引擎，提供6000多种数据挖掘、统计分析、机器学习算法。
Transwarp Stream 星环实时流数据处理引擎，支持对高吞吐量的实时数据进行快速的计算。
Transwarp Hadoop 星环分布式存储系统，提供高吞吐量的数据写入，提供稳定、高效的数据存储与计算功能。
Transwarp Manager 星环Transwarp Data Hub平台图形化的管理工具。
1.3软硬件配置总表
表10-12 软硬件配置总表
软件部分推荐配置及说明数量操作系统LINUX（红旗）操作系统（建281
议甲方单独采购）
大数据基础平台软
件
星环TDH产品，281节点281
自有数据挖掘分析工具星环Discover（含并行化R算
法库）
281
商用数据挖掘分析工具推荐SAS/SPSS等（建议甲方
单独采购）
1
数据整合平台软件Trinity（ETL、元数据管理、数
据整合）
1
自有可视化BI工具iRecharts、Cognos（利旧） 1 商用可视化BI工具QlikView/Tableau（建议甲方
单独采购）
1
自有互联网数据采
集软件
iRIS 1
自有大数据语义分
析软件
iNLP 1
商用大数据语义分析软件推荐SAS Text Miner等（建
议甲方单独采购）
1
工作流引擎开源免费：Activiti 1 规则引擎开源免费：Drools 1 硬件部分推荐配置及说明数量PC服务器两路8核CPU190
2*E5-2650v3；
内存分别为128GB
（DataNode）、256GB
（NameNode等）
ECCDDR3；
硬盘10个4TB的SATA硬盘，
7200RPM，2个300G的SAS
硬盘，15000RPM；
双电口千兆（1Gbps）以太网
卡
91 PC服务器两路8核CPU
2*E5-2650v3；
内存分别为128GB
（DataNode）、256GB
（NameNode等）
ECCDDR3；
硬盘10个2TB的SATA硬盘，
7200RPM，2个300G的SAS
硬盘，15000RPM；
双电口千兆（1Gbps）以太网
卡
固态硬盘800GB或1.2TB
PCIe SSD
1.4网络拓扑
图10-1 网络拓扑图
建议配置12个一级TOR万兆交换机（48端口），3个二级TOR万兆交换机（48端口）。任意两台服务器之间的带宽为2Gbps。
规划24个机柜，每个机柜部署12个2U服务器，每台服务器以双网口链路聚合上联集群交换机，后续随着集群规模的扩展可增设核心数据层交换机，向下负责汇聚多个集群节点。
大数据平台建设方案 （项目需求与技术方案） 一、项目背景 “十三五”期间,随着我国现代信息技术得蓬勃发展, 信息化建设模式发生根本性转变, 一场以云计算、大数据、物联网、移动应用等技术为核心得“新I T”浪潮风起云涌，信息化应用进入一个“新常态”。*** （某政府部门）为积极应对“互联网+”与大数据时代得机遇与挑战, 适应全省经济社会发展与改革要求, 大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处 理、监测管理、预测预警、应急指挥、可视化平台于一体得大数据平台, 以信息化提升数据化管理与服务能力, 及时准确掌握社会经济发展情况, 做到“用数据说话、用数据管理、用数据决策、用数据创新” , 牢牢把握社会经济发展主动权与话语权。 二、建设目标 大数据平台就是顺应目前信息化技术水平发展、服务政府职能改革得架构平台。它得主要目标就是强化经济运行监测分析，实现企业信用社会化监督, 建立规范化共建共享投资项目管理体系，推进政务数据共享与业务协同，为决策提供及时、准确、可靠得信息依据, 提高政务工作得前瞻性与针对性, 加大宏观调控力度, 促进经济持续健康发展
1、制定统一信息资源管理规范,拓宽数据获取渠道, 整合业务信息系统数据、企业单位数据与互联网抓取数据, 构建汇聚式一体化数据库，为平台打下坚实稳固得数据基础。 2、梳理各相关系统数据资源得关联性，编制数据资源目录, 建立信息资源交换管理标准体系, 在业务可行性得基础上, 实现数据信息共享,推进信息公开,建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点, 以大数据应用为核心, 坚持“统筹规划、分步实施, 整合资源、协同共享, 突出重点、注重实效, 深化应用、创新驱动”得原则,全面提升信息化建设水平, 促进全省经济持续健康发展。
大数据平台项目建设方案(本文为word格式，下载后可编辑使用)
一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构
建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。
1运营商大数据的价值与挑战 当前社会是一个信息大爆炸的社会，而运营商就是一个 典型的例子，用户每日的通信行为、用户基础资料、消费习 惯、上网行为等等都产生海量的数据。这些数据所承载的信 息蕴藏着不可估算的价值，数据已成为新时代最关键的生产 要素，而运营商的数据是一个巨型的金矿，等待着人类的不 断开采。 然而在国内，运营商大数据对外运营仍处于初期阶段， 没有成熟的业务模式和成功案例，当前还有不少问题需要解 决，这里只选两个较为关键的问题来分析。第一个问题是业务模式，即运营商应该选择何种业务模式；第二个问题是信 息安全，即如何解决客户的信息安全问题。2运营商大数据的业务模式研究大数据业务模式非常多，包括：咨询服务、运营分析、媒体广告、开发平台、精准营销等等。但从运营商角度出发，结合实际推广难度、用户接受度以及信息安全进行综合考虑，我们建议从“群体性数据服务”入手，优先开展以下业务。2.1提供用户基础特征分析服务面向咨询公司：针对城市规划、商业运营等大型咨询项目，基于多种维度准确描述区域内的人群分布特点及位置变化规律，辅助提升咨询项目数据质量。咨询公司针对政府行业分析的数据需求如图1。运营商提供的数据包括：人口属性数据：用户的基本属性信息，如性别、年龄、职业、消费能力等；人口分布数据：基于移动用户的位置信息、判断用户位置分布情况；人口流动数据：根据通信基站变化情况，获取人口流动数据。图1咨询公司针对政府行业分析的数据需求 2.2提供市场行业数据分析服务 面向行业分析机构：提供实时提供准确的业务数据支 撑，提升机构分析报告的实时性；提升数据获取效率，大大降低传统的数据调研成本。 运营商提供的数据包括： 终端类型情况：用户使用手机品牌、型号、价位、版本等 信息； 网购消费情况：用户所在的区域、网购的频率、购物的金额等信息； 上网行为分析：用户习惯购物的网址、时间段、喜欢的品 牌和款式等信息； 娱乐消费情况：用户喜欢的娱乐活动、场所、频率、额度等数据。 2.3提供用户行为习惯分析服务 面向商业或地产：基于用户的手机位置及基础属性，为商圈提供准确的客源分布分析、客流趋势分析、客流轨迹、竞 品分析、会员分析等数据。 运营商大数据对外运营的研究 邱俊东姚泽楠 （中国移动通信集团广东有限公司汕头分公司，广东汕头515000） [摘要]大数据是当前社会非常热门的话题，其价值已经被各行各业普遍接受。大数据时代已经到来，电信运营商也迎来了大数据时代的重大机遇。本文从运营商的角度综合分析大数据的价值与存在的挑战，结合市场与行业的需求，对大数据业务模式进行研究，提出以“群体类数据服务”为切入点的四种对外运营的业务模式，同时针对大数据的信息安全问题提出若干建设性意见。 [关键词]大数据；运营商大数据；对外运营；业务模式 中图分类号：F626文献标识码：A 文章编号：1008-6609(2015)07-0054- 02 ——————————————作者简介：邱俊东，男，广东潮州人，工学学士，助理工程师，研究方向：IT 系统架构，大数据应用。2015年第7期 学术探讨网络与通信 - - 54
集团大数据平台整体方案业务需求分析 1.1总体需求 大数据平台应支持集团总部、省和地市三级使用方式。使用单位还包括下属单位和控股公司等。大数据平台要求使用Hadoop系统应实现主流数据仓库的功能，同时支持与现有系统Oracle数据库及Teradata数据仓库的无缝连接。 大数据平台需支持多应用管理，即支持对应用的服务级别管理（SLA）。能够实现应用的访问资源控制，支持资源隔离。同时支持多租户功能，例如多租户管理、租户的操作员管理、租户的分等分级分组管理、租户的度量管理、租户的角色管理、租户应用授权、租户数据隔离、租户的资源隔离等功能。 大数据平台应具有统一运维监控方面，可以图形化的实现安全管理、用户管理、监控运维、服务调度、应用部署、资源管理、作业编排、服务接口等。 大数据平台应同时支持作业调度管理，即实现统一的作业调度与编排管理功能，支持使用工作流的可视化的方式对工作任务进行统一编排和调度。同时支持作业的资源管理、流程管理、任务管理、数据管理、应用管理、租户管理、多
ETL 调度任务的部署和并行处理等功能。 集团大数据平台的建设内容包含： Str/UnStr Cloud TOS （SLA ）SOA R 、SQL Parser TDH Hadoop JDBC 、ODBC Map Reduce 、Spark 基础 平台架构计算 逻辑平台UI 主数据交互（ERP MDM ）营销数据（ACRM 交互）综分平台融合 六大重点应用 量收业务分析（逻辑）迁移 量收接口迁移（对外接口） 四大核心功能量收数据迁移外围数 据量收（存量）业务 系统总部、省、地三级 多终端应用 图3-1大数据平台建设内容 重点建设内容包括： 1) 基础平台建设 2) 量收迁移 3) 六大重点应用 4) 与CRM 、综分、MDM 等系统的融合 5) 基于大数据平台的数据应用。 1.2 数据管理 集团大数据平台的数据管理，包含数据采集、数据交换、数据存储与管理（包含结构化数据管理、半/非结构化数据管理、数据存储等）、数据清洗加工、数据计算和查询等方面
大数据平台建设方案 项目需求与技术方案） 、项目背景 十三五”期间，随着我国现代信息技术的蓬勃发展，信息 化建设模式发生根本性转变，一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT ”浪潮风起云涌，信息化应用进入一个“新常态”。*** （某政府部门）为积极应对“互联网+” 和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源，打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况，做到 “用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济持续健康发展。 1、制定统一信息资源管理规范，拓宽数据获取渠道，整合 业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性，编制数据资源目录， 建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、
预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、注重实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济持续健康发展。 1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成大数据平台的整体架构建设，后期分步完成业务系统的整合及相互间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理，建立经济发展与改革信息标准资源库和数据规范，逐步消灭“信息孤岛”，加快推进数据资源整合，建设共享共用的大数据中心，实现业务协同。 3 、突出重点、注重实效。以用户为中心，以需求为导向， 以服务为目的，突岀重点，注重实效，加强平台可用性和易用性。 4、深化应用、创新驱动。深入了解用户需求，密切跟踪信息技术发展趋势，不断深化应用、拓展新技术在应用中的广度和深度，促进跨界融合，丰富管理和服务手段。 四、建设方案 为了保证项目的顺利进行和建设目标的可行性，我们采取如下几种建设方案。 1、数据采集方案。 我们统一信息资源标准规范，建立多维度数据库，拓宽 数据来源，通过不同的方式汇聚数据，增强分析力度，提高 监测预警的准确性和时效性。 1、预留接口，支持其它系统各种数据的上传导入处理。 将现存有关经济运行业务系统中的历史数据和时效数据，过上传数据文件至服务器、分析提取有效数据导入服务器数
大数据平台建设方案 (项目需求与技术方案) 一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展,信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌,信息化应用进入一个“新常态”。***（某政府部门)为积极应对“互联网＋”和大数据时代的机遇和挑战,适应全省经济社会发展与改革要求，大数据平台应运而生。 大数据平台整合省社会经济发展资源,打造集数据采集、数据处理、监测管理、预测预警、应急指挥、可视化平台于一体的大数据平台,以信息化提升数据化管理与服务能力，及时准确掌握社会经济发展情况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展主动权和话语权。 二、建设目标 大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的主要目标是强化经济运行监测分析，实现企业信用社会化监督,建立规范化共建共享投资项目管理体系，推进政务数据共享和业务协同,为决策提供及时、准确、可靠的信息依据,提高政务工作的前瞻性和针对性,加大宏观调控力度,促进经济持续健康发展。 1、制定统一信息资源管理规范,拓宽数据获取渠道，整合业务信
息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库,为平台打下坚实稳固的数据基础。 2、梳理各相关系统数据资源的关联性,编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推进信息公开，建立跨部门跨领域经济形势分析制度。 3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。 三、建设原则 大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”的原则,全面提升信息化建设水平,促进全省经济持续健康发展。
企业级大数据平台架构 电信行业大数据应用案例分享 互联网+行业大数据应用案例分享 第一套题 1、哪个选项不属于大数据4V特点？（B ） A、Volume B、Valid C、Variety D、Value 2、大数据的特点不包含（ B ） A、数据体量大 B、价值密度高 C、处理速度快 D、数据不统一 3、业界对大数据典型特征定义，一下哪像描述正确 ABC 4、Hadoop包括（ABC） A、Hadoop Distrbuted Filesystem（HDFS） B、HadoopMapReduce C、Hbase D、HadoopStreaming 5、有关HDFS文件系统说法正确的是以下那些？（AD） A、HDFS本身是个高可用系统架构 B、HDFS采取的是多NameNode、DataNode架构 C、HDFS数据副本的数量越大越好 D、HDFS NameNode分主备，主备不同时对外服务 6、关于大数据的理念的描述，以下哪些不正确（BD） A、相关性比因果更重要 B、要效率也要绝对精准 C、大数据的核心价值是预测 D、遵从隐私和法律并非大数据的风险 7、HDFS文件系统适用于以下哪些场景（AC） A、将单文件分割成很多小块存储 B、存储大量小文件 C、流式数据读取 D、实时数据读取 8、对海量大数据管理可能面临的难题包括（ABCD） A、如何实现快速查找，提升检索效率； B、如何保证数据真实性，防止数据诈骗； C、如何实现PB级不同类型数据的存储； D、如何降低数据产生数量，节约存储资源。 9、大数据应用大大方便教育资源的管理，彻底改变教育模式，特别是在科研领域，面向数据密集型科研发现，将成为继三大范式之后的第四范式，此处提到的科学发展领域的三大范式是指（ABC） A、理论 B、推演 C、模拟 D、计算
兖矿集团大数据平台建设 完成单位：兖矿集团有限公司 兖州煤业股份有限公司 兖矿集团信息化中心 西安兖矿科技研发设计有限公司 一、项目承担单位基本情况 兖矿集团是以煤炭、煤化工、电解铝及机电成套装备制造、金融投资等为主业的省属国有企业。兖州矿区开发建设始于1966年，1976年7月成立兖州矿务局，1996年3月整体改制为国有独资公司，1999年5月成立兖矿集团。 二、大数据平台建设背景 近年来，兖矿集团作为传统能源企业必须对企业管理方式、运营方式、发展方式、业务流程进行颠覆性创新。企业的战略转型，信息化是重要支撑，加强企业管控必须有可靠的内、外部数据支持，因此在集团层面进行数据整合、统一数据标准成为迫切的需求。 三、大数据平台建设基本情况 (一)项目建设思路及目标 兖矿集团大数据平台建设，以兖矿集团改建国有投资公司
战略发展规划为指导，首先对兖矿集团信息化进行高阶诊断及业务流程优化，针对集团公司在计划、财务、投资等业务管理领域的信息化建设现状进行诊断分析。 然后根据信息化建设高阶诊断结果,列出兖矿集团信息化建设与业务流程优化问题清单。依据问题清单对集团各业务部门流程进行优化，在此基础上，建设大数据软件平台，利用大数据技术对重点流程进行分析，为兖矿集团公司改革提供支持。 (二)项目建设主要内容 矿集团信息化经过多年的发展，各业务应用系统已经基本建设完成，具备了良好的数据基础。针对数据没有整合，业务流程没有优化这些需求，兖矿集团大数据平台的实施主要按照信息化高阶诊断与业务流程优化、大数据软件平台实施两大部分内容开展。 1、信息化高阶诊断与业务流程优化 通过信息化高阶诊断旨在发现现有信息化管控模式、业务能力是否能够支撑集团公司战略转型，存在哪些问题，并提出整改方案。 诊断过程主要按照现状调研、问题诊断、领先实践对比分析、提出改进方案、对改进方案进行优先级排序五个步骤进行。 现状调研以现场访谈与问卷调查为主，对18个集团总部部
大数据平台的软件有哪些？ 查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC 结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。Phoenix最值得关注的一些特性有：?嵌入式的JDBC驱动，实现了大部分的java.sql接口，包括元数据API?可以通过多部行键或是键/值单元对列进行建模?完善的查询支持，可以使用多个谓词以及优化的扫描键?DDL支持：通过CREATE TABLE、DROP TABLE及ALTER TABLE来添加/删除列?版本化的模式仓库：当写入数据时，快照查询会使用恰当的模式?DML支持：用于逐行插入的UPSERT V ALUES、用于相同或不同表之间大量数据传输的UPSERT ?SELECT、用于删除行的DELETE?通过客户端的批处理实现的有限的事务支持?单表——还没有连接，同时二级索引也在开发当中?紧跟ANSI SQL标准二、Stinger 简介：原叫Tez，下一代Hive,Hortonworks主导开发，运行在YARN上的DAG计算框架。某些测试下，Stinger能提升10倍左右的性能，同时会让Hive支持更多的SQL，其主要
优点包括：?让用户在Hadoop获得更多的查询匹配。其中包括类似OVER的字句分析功能，支持WHERE查询，让Hive 的样式系统更符合SQL模型。?优化了Hive请求执行计划，优化后请求时间减少90%。改动了Hive执行引擎，增加单Hive任务的被秒处理记录数。?在Hive社区中引入了新的列式文件格式（如ORC文件），提供一种更现代、高效和高性能的方式来储存Hive数据。?引入了新的运行时框架——Tez，旨在消除Hive的延时和吞吐量限制。Tez通过消除不必要的task、障碍同步和对HDFS的读写作业来优化Hive job。这将优化Hadoop内部的执行链，彻底加速Hive负载处理。三、Presto简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。该项目始于2012 年秋季开始开发，目前该项目已经在超过1000 名Facebook 雇员中使用，运行超过30000 个查询，每日数据在1PB 级别。Facebook 称Presto 的性能比诸如Hive 和Map*Reduce 要好上10 倍有多。Presto 当前支持ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。四、Shark简介：Shark即Hive on Spark，本质上是通过Hive的HQL解析，把HQL翻译成Spark上的RDD 操作，然后通过Hive的metadata获取数据库里的表信息，实际HDFS上的数据和文件，会由Shark获取并放到Spark
集团企业大数据云平台建设方案
目录 第1章方案总述 (1) 1.1项目背景 (1) 1.2项目目标 (2) 1.3项目建设原则 (2) 第2章系统建设规划 (4) 2.1项目建设目标的理解 (4) 2.1.1 项目建设范围 (4) 2.1.1.1 业务范围 (4) 2.1.1.2 组织范围 (4) 2.1.1.3 数据范围 (4) 2.1.2 项目建设内容 (4) 2.1.2.1 基础数据平台 (5) 2.1.2.2 集团级指标体系 (6) 2.1.2.3 统一报表平台 (6) 2.2集团（企业）数据平台的建设目标 (7) 2.2.1 集团（企业）数据平台一期建设目标 (7) 2.2.2 集团（企业）数据平台二期建设目标 (7) 第3章整体设计方案 (8) 3.1系统设计方法论 (8) 3.1.1 方法论 (8) 3.1.2 设计原则 (10) 3.1.2.1 标准规范 (11) 3.1.2.2 开放性 (12) 3.1.2.3 可扩展性 (12) 3.1.2.4 高性能 (13)
3.1.2.5 可管理性 (14) 3.1.2.6 高可用性 (15) 3.1.2.7 安全性 (16) 3.1.2.8 可重用性 (17) 3.2数据平台技术体系 (18) 3.2.1 数据平台逻辑架构 (18) 3.2.1.1 数据集成区 (18) 3.2.1.2 集团分析型数据区 (19) 3.2.1.3 管理平台区 (19) 3.2.1.4 统一报表展现平台 (20) 3.2.1.5 ETL设计关键技术点说明 (20) 3.2.1.5.1.1 ETL处理策略 (20) 3.2.1.5.1.2 ETL处理流程 (21) 3.2.1.5.2 质量检核 (21) 3.2.1.5.2.1 ETL处理原则 (21) 3.2.1.5.2.2 ETL处理方法 (21) 3.2.2 数据采集设计 (21) 3.2.2.1 T+1数据采集 (22) 3.2.2.2 数据补录 (23) 3.2.2.2.1 检核规则管理 (24) 3.2.2.2.2 录入任务管理 (24) 3.2.2.2.3 数据录入 (26) 3.2.2.2.4 查询操作 (27) 3.2.2.2.5 录入任务审批 (28) 3.3数据平台数据体系 (28) 3.3.1 数据架构设计 (28) 3.3.1.1 源系统数据落地区 (29) 3.3.1.2 缓冲数据层(ODM) (30)
智慧城市运行大数据平台项目概述 1.1项目名称 项目名称：西安市城市运行大数据平台。 1.2项目建设单位及负责人、项目责任人 项目建设单位：西安城市一卡通有限责任公司 负责人：马敏 项目责任人：陈凌霞 1.3可研报告编制单位 可研报告编制单位：陕西省信息化工程研究院 1.4可研报告编写依据 （1）《关于加强信息资源开发利用工作的若干意见》（中办发〔2004〕34号）； （2）《国家信息化领导小组关于推进国家电子政务网络建设的意见》（中办发〔2006〕18号）； （3）《关于<印发国家电子政务总体框架>的通知》（国信〔2006〕2号）； （5）《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》；
（8）《关于信息安全等级保护工作的实施意见》（公通字〔2004〕66号文）； （9）《GBT17859计算机信息系统安全等级保护标准》； （10）《信息系统安全等级保护实施指南（征求意见稿）》。 （11）《陕西省工业和信息化厅专题会议纪要》（第7次，2012年7月24日）； （12）《陕西省工业和信息化厅关于成立西咸大数据处理与服务产业园区筹建工作组的通知》（陕工信发〔2012〕339号） （13）《促进大数据发展行动纲要》（国发〔2015〕50号）（14）《关于促进云计算创新发展培育信息产业新业态的意见》（国发〔2015〕5号） （15）《陕西大数据产业发展战略》 （16）《沣西新城大数据处理与服务产业园发展规划》 （17）《大数据与云计算产业发展五年行动计划》 （18）《大数据与云计算产业示范工程实施方案》 1.5项目建设目标、规模、内容、建设期 1.5.1建设目标 依托西安城投集团及下辖一卡通、燃气、供水等18个企业的信息化建设成果，先期以西安城市一卡通为基础面向集团18个子公司的现有各类业务系统数据进行整合归集，
三大电信运营商大数据平台发展分析 9月29日消息，如今我们处在一个无处不数据的时代，坐拥大数据这座富矿，国内无论是互联网企业还是运营商都在紧锣密鼓的建设大数据平台，企图将这座宝矿开发成为熠熠生辉的“钻石”。 目前，国内三大运营商迎接大数据时代的步伐和规划各自不同，中国电信的大数据平台已经扩展到31个省，基础平台建设基本完成；中国联通虽然起步晚一些，但是其大数据产品体系已经发展成为六大产品种类；相对于中国电信和中国联通的成熟，中国移动的数据中心资源略显不足，但是需求量不断递增，也在不断努力布局中。 中国电信：大数据平台扩展到31个省基础平台建设基本完成 中国电信所有的大数据都是在云平台和云设施之上搭建的，如今其大数据平台建设从原来的5个省现在扩展到31个省，数据的种类从开始的几类主要的数据扩展到十几类，实效性是原来一周到现在小时的延时。 中国电信云计算分公司大数据事业部首席数据分析师张宇中表示：“中国电信的大数据平台跟其它合作伙伴的模式不一样，中国电信主要是做节约化运营，将数据的汇聚、接入、存储、加工、输出整合在一起，这样前端的响应可以快速的传递到客户中去，并且可以持续的循环。同时，中国电信的平台开发还做了具体功能区分。” 目前中国电信已经完成了大数据基础平台的建设，正在继续完善行业的应用。依托云网融合，中国电信的大数据开放平台一直拥有强大的资源，中国电信有八大资源基地，还有内蒙和贵州两大数据中心，并且很多区域下沉的边界。 2015年11月28日，中国电信正式发布“天翼大数据”品牌，并推出精准
营销、风险防控、区域洞察、咨询报告四类数据型产品和大数据云平台型产品，重点服务于旅游、金融、广告、政府、交通等行业。这是中国电信运营商第一个大数据业务品牌。 据了解，中国电信推出的4+1产品模块，拥有15个子项。其中有面向个人拥护推出的风控的和精准营销产品；还有一部分是输出具体数据，形成相关报告；此外，中国电信还开发了PAAS的平台对价值链的某一方面具有专业特色的公司能够利用大数据平台做它所擅长的事情。可以说，中国电信通过多种手段为产业链打造了一个比较安全可靠的大数据平台。 此外，中国电信还和其它100家企业共同发起成立BDU中国企业大数据联盟，期望能够与产业链共同推进大数据生态的建设。 中国联通：大数据产品体系发展为六大类 中国联通从2013年开始发展大数据业务，如今其大数据产品体系已经发展成为六大产品种类。 据了解，这六大产品种类分别是：一征信产品，例如大数据最大的应用是在金融行业，金融行业需求电信运营商所拥有的大量用户的真实性数据；二沃指数，分析包括市场洞察和行业指数两个方面，行业指数涉及到金融、交通、旅游、APP，以及各类的各个垂直行业分析的指数；三精准营销产品，中国联通有很多用户资源和渠道，在保护用户隐私的前提下，可以做到针对不同的场景和不同的用户，进行内部和外部的精准营销；四用户标签；五能力开放平台；六智慧足迹。 特别需要指出的是去年底中国联通在第二届世界互联网大会上，首次发布了“沃指数”大数据产品体系。该产品体系以中国联通4亿用户数据为基础，具备海量、实时的数据处理能力，通过与政府、行业权威机构的数据进行整合、提炼、分析和挖掘，具有真实、全量、安全、实时、公正的特点。 据介绍，“沃指数”涵盖了3000余个用户标签，能够轻松识别3.8亿条URL、6万个互联网产品、约3000个手机品牌、8.2万个终端型号，据此可助力政府在城市规划、公共服务、交通出行、旅游监控、抢险救灾等方面提供决策依据；帮助企业在商业选址、广告投放、信用控制、产品设计等方面提供分析报告及经营决策指导；为公众提供交通出行、旅游选择、消费指南等生活服务。 目前中国联通对移动网和固网用户的数据采集、数据存储、分析和挖掘，形
大数据平台建设项目建议书
目录 第一章、项目背景..................... 错误!未定义书签。第二章、项目思路..................... 错误!未定义书签。第三章、建设内容与方案............... 错误!未定义书签。第四章、时间进度..................... 错误!未定义书签。第五章、项目预算..................... 错误!未定义书签。第六章、企业效益及社会效益........... 错误!未定义书签。第七章、结论......................... 错误!未定义书签。
第一章、项目背景 企业对信息化工作历来较为重视，也是省内较早开始实施信息化的大型企业。目前已经建成财务系统、生产调度系统、农务系统、供应链系统等:调度系统，2015年公司共投资了175万元，按集团分步建设、逐步投入的规划，完成了系统基本硬件与亚控平台软件的结合，构建了一个以明阳糖厂生产调度指挥中心为核心，生产信息能够上至集团，下至车间的生产调度网络系统。 农务系统，2005年开始实施，经过多次升级，现涵盖了计划、报蔗、派车、质检、过磅、结算、短信管理、移动应用等一系列模块，覆盖公司4家直属糖厂和大桥制糖公司，实现了农务统一的信息化管理。 供应链系统，利用用友NC供应链系统，以公司存货管理为核心的采、供、销、存供应链管理平台，实现物资、仓储、供应、销售、物流一体化业务协同处理平台，建立了公司对各直属厂工作的监督平台，总部可以实时对下属各公司的工作进行监督，实时对各公司的具体业务执行情况进行查看，及时的对下属公司进行指导和监督。 尽管在两化融合及企业信息化方面已取得了相当的成效，但在实际应用过程中仍然存在一些较为显著的问题。 （一）总部与下属糖厂未实现完全的集约管理 a)企业在原先六家糖厂的基础上，又收购了三博公司五家糖厂。三博五厂 由上海迁回南宁，在宜州设立管理下属五厂的二级管理总部。 b)从系统部署上分析，企业总部与原先六厂为一套架构，而三博总部与下 属五厂为一套架构，各自独立，暂未整合为一体。 c)为了保证各糖厂生产的稳定，企业总部与下属六厂之间仅在NC供应链、 OA、财务、人力等系统方面实现了集约管理，农务管理系统、生产调度 系统以及化验系统均由各厂自建，因此出现各厂建设系统的厂家不同， 使用的系统版本不同等现象。三博总部与下属五厂的关系亦如此。（二）总部及各厂之间的数据共享有限 a)由于大多数生产相关的系统均为各厂自建，因此不管是企业总部，或者
电信运营商大数据业务运营流程深度剖析 【摘要】为了对电信运营商大数据业务运营流程进行剖析，首先针对运营商在对外开展大数据业务的过程中所面临的管理困境进行了总结和分析，并从数据资产管理流程及大数据端到端业务流程两方面提出相应的改进建议，以期为电信运营商大数据业务整体推进提供有益的参考。 【关键词】大数据业务数据资产管理流程端到端业务流程 1 引言 2015年，在“互联网+”战略及创新氛围的带动下，三大运营商均已完成大?稻萦τ贸【按幽诓坑τ米?向外部变现的破局。2016年以后，运营商的大数据业务正逐渐走向规模化和商业化。在大数据业务的规模化商业化运营过程中，运营商面临怎样的挑战，又该如何应对，成为值得探讨的问题。 本文将针对运营商的大数据业务运营全流程，从数据资产管理和大数据端到端业务流程两条管理制度流程，详细剖析运营商开展大数据业务所面临的困难，并针对这些困难提供出优化提升的管理建议，以期为后续大数据业务运营管理提供参考。 2 大数据业务管理现状及相关理论介绍
2.1 大数据业务管理现状 运营商在开展大数据业务过程中通常会涉及两条流程支线：数据资产管理流程和大数据端到端业务管理流程。 如图1所示，在大数据端到端业务管理流程方面，大部分运营商已形成了前端部门收集汇总大数据需求，后端部门与外部支撑厂商进行大数据应用功能的具体开发实现的端到端业务管理流程。 如图2所示，在数据资产管理流程方面，大部分运营商仍延续传统的采集存储规则，并未形成针对大数据应用的系统性的数据资产管理流程及制度。完整的数据资产管理是包括针对数据的计划、规范定义、采集存储、提取使用、盘点维护、数据清除环节在内的全生命周期管理，而目前大部分运营商的数据管理仅包含采集存储、提取使用、数据清除环节，且现存管理制度不适应大数据业务特征，制度有效性受限。 2.2 BPMMM和数据质量管理评估维度 （1）业务流程管理成熟度模型 业务流程管理成熟度模型（BPMMM，Business Process Management Maturity Model）是用来评价并提高企业业务流程管理水平的模型，包括外部结构和内部结构。如图3所示，BPMMM的外部结构划分为初始级、可复用级、已定义级、可管理级和优化级五个层级。
企业大数据案例分析
目录 1中国联通大数据平台 (4) 1.1项目概述 (4) 1.2项目实施情况 (5) 1.3项目成果 (10) 1.4项目意义 (11) 2恒丰银行大数据平台 (12) 2.1项目概述 (12) 2.2项目实施情况 (15) 2.3项目成果 (21) 2.4项目意义 (21) 3华通CDN运营商海量日志采集分析系统 (24) 3.1项目概述 (24) 3.2项目实施情况 (24) 3.3项目成果 (28) 3.4项目意义 (28) 4案例总结 (30)
1中国联通大数据平台 联通XX公司公司按照工信部的的要求（见《工业和信息化部、国务院国有资产监督管理委员会关于开展基础电信企业网络与信息安全责任考核有关工作的指导意见》和《工业和信息化部办公厅关于印发<2013年省级基础电信企业网络与信息安全工作考核要点与评分标准>的通知》），于2013年启动IDC/ISP日志留存系统的建设，其中XX 公司侧的集中留存系统软件由联通研究院负责开发。为了满足海量数据条件下的处理效率的要求，XX公司侧集中留存系统软件除研究院自主开发外，基于Hadoop的数据存储部分计划进行外包，通过软件技术服务，来进行系统优化和维护支撑。 1.1项目概述 目前，联通XX公司公司全国IDC出口的访问日志预计两个月产生的数据量约20 PB至30PB，每秒写入大概6千万至7千万条数据，在如此巨大的数据量下，原有Ter adata和Oracle已经不能满足快速读写的性能要求了。同时为了实现快速检索以及分析处理的性能要求，需要引入分布式大数据平台，利用分布式文件存储系统，提高数据的存储入库能力，利用Hadoop/HBase架构克服磁盘I/O瓶颈导致的数据读写延迟；基于联通IDC出口流量详单数据进行快速存储和检索以及分析处理，同样要求数据处理平台具备快速读写的高性能。 中国联通公司全国IDC日至留存项目对分布式集群的要求非常高： (1)日志数据量非常大，存储的总日志数据量将达到20PB-30PB。 (2)要求集群的数据吞吐量非常高，每秒的日志写入量将达到6千万至七千万条，
集团大数据平台整体方案项目概述 1.1建设背景 1.1.1集团已有基础 经过十几年的信息化建设，集团已经积累了覆盖邮务、速递物流、金融三大板块的海量生产和经营数据，这些数据分布在集团各类应用系统和数据库中，支撑着集团业务的发展。 集团初步搭建了由名址系统、量收系统、速递平台系统、数据分析平台组成的初步的数据仓库，为数据分析挖掘工作打下了一定的技术基础。 组建了专业的组织架构促进企业数据管理与应用的规范化与制度化。 集团已成立数据中心，集团数据中心和各省的数据分析团队已经进行了多个专题的数据分析与成果应用的尝试。 1.1.2痛点及需提升的能力 集团拥有丰富的客户资源，海量的数据积累。在大数据时代，要充分挖掘数据价值，跟上时代的步伐。 板块间数据存在壁垒，共享不足，无法实现集团企业数
据的充分有效利用。 数据存在冗余、分散、安全性差、一致性差等问题，应建立有效的数据管控体系，打破信息孤岛、实现企业信息数据共享、提升数据价值。 非/半结构化数据利用不足，需利用大数据技术加强应用。 1.1.3大数据趋势 随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。掌握大数据资产，进行智能化决策，已成为企业胜出的关键。 越来越多的企业开始重视大数据战略布局，重新定义自己的核心竞争力，从数据中揭示规律，了解过去、知悉现在、洞察未来，数据驱动企业运行与决策的科学性，构建智慧企业，打造核心竞争力。 数据的爆炸式增长以及价值的扩大化，将对企业未来的发展产生深远的影响，数据将成为企业的核心资产。如何应对大数据，挖掘大数据的价值，让大数据为企业的发展保驾护航，将是未来信息技术发展道路上关注的重点。
1 数据资源管理平台设计 1.1 需求分析 1.1.1 数据需求 1.1.1.1 数据分析 XX省水资源管理系统业务涉及的信息资源包括信息采集和信息共享。信息采集按获取方式应分为仪器自动在线监测和非在线监测两种采集畴。以共享方式获取的其他信息获取(包括水文、水资源保护部门负责采集的实时水雨情、水质监测数据)，属于信息共享畴。 信息采集传输应充分利用现代化科技成果，通过对信息采集和传输基础设施设备的改造和建设，配置适合当地水资源特性的仪器设备。信息采集传输的设备选型与配置应充分考虑当地的水文、气候特征、供电条件和环境安全等因素。 （1）在线监测信息对象 在线监测信息对象包括：水源地、取用水、行政边界河流控制断面、地下水超采区以及水功能区水量水质信息。监测规模、监测手段和监测代价的衡量要应充分考虑当地的经济发展水平、经济承受能力、设站技术可行性和运行维护便捷性。 水源地监测：包括地表水水源地(水库、江河、湖泊等水体)和地下水水源地。应按照先列入水利部公布的全国重要饮用水水源地名录的水源地、大中型水库水源地，后其它饮用水水源地的顺序安排布设。
取用水监测：包括重点取水口水量水质监测。按照先取水环节后排水环节、先集中用水户后分散用水户顺序安排；取水量级考虑先重点用水户后一般用水户、同等取水量级先第二、三产业用水户后第一产业用水户顺序安排；同时兼顾设站条件通盘考虑。 水资源管理单元出入断面监测：包括省际、地市际以及县际边界河流控制断面。按照先地市际边界河流控制断面监测后县际边界河流控制断面的监测，水资源管理单元逐级细化、控制能力逐步加强的思路顺序建设。 水功能区监测：按照《XX省水功能区规划》的部署，按照先保护、保留、缓冲、饮用水源等重要水功能区水质监测、后其余水功能区水质监测、入河排污口监测的原则布设。 地下水超采区监测：包括地下水水位、水质监测。按照先禁采区限采区、后地下水集中开采区、先平原区后山丘区的顺序安排布设。 水生态监测：重点区域和水域水生态监测。按照先水利部水生态系统保护与修复试点后其它区域的顺序安排布设。 社会用水户、水源地、水资源管理单元出入断面、水功能区、地下水水量水质监测点的布设应在充分利用既有水文观测站网络的基础上统筹规划，有些观测面监测可通过上下游监测点观测数据插方式满足，有些可通过既有测站增加观测项的方式满足。 （2）新设监测点的工作方式 新设水量监测点选用应答／自报兼容的工作方式。按照“无人
运营商“大数据”需求分析 当前电信运营商，尤其是移动通信信息服务领域中数据的爆炸性增长为大数据技术的应用提供了丰富的数据原料。运营商已深刻认识到大数据的重要性，均在数据仓库建设方面投入了大量资源，在企业内部已经利用大数据实现消费行为记录管理。大数据分析也已经成为运营商提升核心竞争力，创新业务模式的有力手段。 运营商数据一般可分为三大类。第一类是业务数据，如用户姓名、出生日期、所用终端信息、通信行为习惯等等；第二类数据是企业内部的经营管理活动产生的；第三类是网络日志，这是所有数据里占比最大的一块。 一、运营商大数据分析应用领域。运营商对数据分析的应用主要涵盖企业管理和产品服务、客户调查、网络优化等。 1、改善用户体验。通过对大数据资产的有效利用，电信运营商能够更好的了解客户，提供客户满意的服务和产品，提高客户忠诚度，降低流失率。研究并应用大数据关键技术对各领域持续生成的服务数据、用户数据和网络数据进行分析挖掘，并将产生的结果和知识应用于服务和支撑系统中，对服务的运行数据进行缜密的评估和诊断，并实现对用户的行为数据进行深入的分析和挖掘。 2、支撑企业决策。通过大数据可视化，实时真实准确展现企业发展现状，支撑企业的战略决策和管理。在经营分析系统中，深度挖掘融合市场、集团、客户、客服、网络、财务数据，为业务和决策部门提供较完备的用户数据分析，使公司决策由“经验型”转为“分
析型”，实现了精细化运营。公司发展战略部需要依靠数据来分析了解市场情况，比如地方出现突发事件后客流量减少从话务量可以看出，通过用户的漫游话单可以看到马航失联事件对当地旅游业的影响等等。 3、创新商业模式。大数据应用为电信运营商开创了新的盈利模式。例如：产业链的合作模式、数据的开放运营等等。随着大数据技术这种全新的方法和工具在移动通信信息服务领域的深入应用，必将创造出革命性的新生产力，促进移动通信信息服务产业进入新一轮爆发性增长。例如：精准营销，促进增值业务发展，根据用户对互联网内容的偏好进行交叉销售。 4、渠道管理。数据分析也可以帮助运营商做好对渠道商的管控。比如，目前中国移动在国内大概有100万个社会渠道，根据现有政策，如果渠道商发展了新客户，中国移动会对其发放酬金。但有些渠道商会通过作假来套取酬金。但这些欺诈行为是可以通过数据分析鉴别出来的，比如说如果新客户的很多行为是高度一致的，基本可以判定这些属于假用户。 二、具体应用举例。比较成熟的应用包括：流量经营分析系统、手机阅读BI（商业智能）系统、无线音乐BI系统、垃圾短信骚扰电话分析系统、位置精准营销系统等。 以手机阅读BI系统为例：通过大数据BI平台产品，实现智能推荐、精准营销、用户分析、产品分析、门户分析、智能报表、合作伙伴管理、数据开放等大数据应用。通过打造生产型BI应用，每天为