大数据即席查询秒级响应方案

华为HCIA-大数据认证练试题与答案1.下列选项中无法通过大数据技术实现的是?(A)[单选题]A.商业模式发现B.信用评估C.商品推荐D.运营分析2.FusionInsight Manager 的主要功能有以下哪些?(BCD)[多选题]A.数据集成B.系统管理C.安全管理D.服务治理3.假设每个用户最低资源保障设置为yarn,scheduler,capacity,root, QueueA.minimum-user-limit-percent=24。

则以下说法错误的是?(D)[单选题]A.第 3 个用户提交任务时,每个用户最多获得 33.33%的资源B.第 2 个用户提交任务时,每个用户最多获得 50%的资源C.第 4 个用户提交任务时,每个用户最多获得 25%的资源D.第 5 个用户提交任务时,每个用户最多获得 20%的资源4.华为大数据解决方案中平台架构包括以下哪些组成部分?(ABD)[多选题]A. Hadoop层B. FusioInght ManagerC. GaussDB 200D. DataFram5.Spark 自带的资源管理框架是?(A)[单选题]A.Standal oneB.MesosC.YARND.Docker6.关于 RDD,下列说法错误的是?(B)[单选题]A.RDD 具有血统机制(Lineage)B.RDD 默认存储在磁盘C.RDD 是一个只读的,可分区的分布式数据集D.RDD 是 Spark 对基础数据的抽象7.关于 Spark SQL&Hive 区别与联系,下列说法正确的是?(BCD)[多选题]A.Spark SQL 依赖 Hive 的元数据B.Spark SQL 的执行引擎为 Spark core,Hive 默认执行引擎为 MapReduceC.Spark SQL 不可以使用 Hive 的自定义函数D.Spark SQL 兼容绝大部分 Hive 的语法和函数8.在FusionInsight 集群中,Spark 主要与以下哪些组件进行交互?(ABCD)[多选题]A.HDFSB.YARNC.HiveD.ZooKeeper9.关于 Hive 在 FusionInsight HD 中的架构描述错误的是?(A)[单选题]A.只要有一个 HiveServer 不可用,整个 Hive 集群便不可用B.MotaStore 用于提供元数据服务,依赖于 DBServiceC.在同一时间点,HiveServer 只要一个处于Active 状态,另一个则处于Standby 状态D.HiveServer 负责接收客户端请求.解析.执行 HQL 命令并返回查询结果10.通常情况下,Hive 以文本文件存储的表会以回车作为其行分隔符,在华为FusionInsight Hive 中,可以指定表数据的输入和输出格式处理。

企业数据中心系统平台技术方案建议书第1章总体建设方案1.1总体建设思路图、数据中心构建思路图按照对数据中心的理解，完整的数据中心应该具备IT基础设施（主机、存储、网络）、企业级ETL平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台。

1.2功能框架图、功能框架系统功能框架分为企业级ETL平台、存储与计算中心、服务层、应用层、统一门户、统一平台管控。

企业级ETL平台：负责企业数据中心数据采集、加工、汇总、分发的过程，完成企业级数据标准化、集中化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：非实时数据处理和实时数据处理，提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。

存储与计算中心：建立统一的数据中心数据模型，以及统一的数据存储与计算，具体提供关系数据库、分布式非关系数据库、分布式文件、分布式计算，实现统一的数据存储与计算。

数据共享服务：通过数据服务标准化开放访问，帮助企业IT建设中，应用和数据分离，引入更多的应用开发商，促进应用的百花齐放和应用的专业性；基于标准化接口，实现对标签、客户视图、指标等数据查询API封装，实现与周边系统实时互动，体现数据价值，减少数据冗余，保证数据安全，保证数据的一致性。

应用层：应用层的应用使用服务层提供的各种数据服务。

本期应用层包括：经分应用、流量运营、ESOP应用、VGOP应用、指标库、流量运营战略地图、掌上分析、自助业务分析、区域洞察、渠道运营、自助分析、客户标签库、实时营销、LTE互联网管控策略。

统一门户：提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、应用访问数据信息等功能，同时提供数据中心被应用访问的频次，被应用访问的数据范围，提供数据资产的评估，为应用上下线和数据开放提供依据。

统一平台管控：面向开发人员、运维人员实现数据、应用、资源的统一管控，包括：数据资产管控、开发管理、监控管理、调度管理、系统管理、安全管理。

⼤数据开发实战：SparkStreaming流计算开发 1、背景介绍 Storm以及离线数据平台的MapReduce和Hive构成了Hadoop⽣态对实时和离线数据处理的⼀套完整处理解决⽅案。

除了此套解决⽅案之外，还有⼀种⾮常流⾏的⽽且完整的离线和 实时数据处理⽅案。

这种⽅案就是Spark。

Spark本质上是对Hadoop特别是MapReduce的补充、优化和完善，尤其是数据处理速度、易⽤性、迭代计算和复杂数据分析等⽅⾯。

Spark Streaming 作为Spark整体解决⽅案中实时数据处理部分，本质上仍然是基于Spark的弹性分布式数据集（Resilient Distributed Datasets ：RDD）概念。

Spark Streaming将源头 数据划分为很⼩的批，并以类似于离线批的⽅式来处理这部分微批数据。

相对于Storm这种原⽣的实时处理框架，Spark Streaming基于微批的的⽅案带来了吞吐量的提升，但是也导致了数据处理延迟的增加---基于Spark Streaming实时数据处理⽅案的数据 延迟通常在秒级甚⾄分钟级。

2、Spark⽣态和核⼼概念 2.1、Spark概览 Spark诞⽣于美国伯克利⼤学的AMPLab,它最初属于伯克利⼤学的研究性项⽬，与2010年正式开源，于2013年成为Apache基⾦项⽬，冰⾬2014年成为Apache基⾦的顶级项⽬。

Spark⽤了不到5年的时间就成了Apache的顶级项⽬，⽬前已被国内外的众多互联⽹公司使⽤，包括Amazon、EBay、淘宝、腾讯等。

Spark的流⾏和它解决了Hadoop的很多不⾜密不可分。

传统Hadoop基于MapReduce的⽅案适⽤于⼤多数的离线批处理场景，但是对于实时查询、迭代计算等场景⾮常不适合，这是有其内在局限决定的。

1、MapReduce只提供Map和Reduce两个操作，抽象程度低，但是复杂的计算通常需要很多操作，⽽且操作之间有复杂的依赖关系。

IBM Cognos 升级版8.4新增功能优势说明1Cognos优势1.1功能级优势1.1.1强大的报表制作、部署和自动发布和报表管理功能利用Cognos报表的Web发布管理服务器，灵活的部署能力和负载均衡，发布成百上千份的报表。

用户能够非常方便的制作报表，自动在Web 上发布报表。

企业内部和外部的所有类型用户无需经过培训都可以通过Web访问、察看、打印报表。

由于Cognos自身具有强大的报表制作功能，所以Cognos 能满足上千用户在各自的桌面或远程访问所需的各种报表需求，特别是对复杂格式不均衡表头报表的支持（俗称“中国特色报表”），使得Cognos在国内的报表应用中更是遥遥领先竞争对手。

Cognos所有的报表制作都是免开发免编程的，用户仅需通过鼠标操作即可制作任意复杂格式的报表，这种易用性较之竞争对手的编码式报表制作要领先一个时代。

1.1.2有效的分析方法：“分析－然后－查询”（Analyze－Then－Query）Cognos Analyze – Then – Query 的数据访问方式使用户能够以所想的方法去探察业务数据——先分析汇总信息，然后再查看隐藏的细节。

通过Powerplay Enterprise Server与ReportNet产品的完美结合，Cognos为OLAP数据和关系型数据库中的细节数据之间搭建了通畅的桥梁，用户仅需一次鼠标点击，便可由宏观视图钻取到微观细节。

1.1.3对多种数据源的支持和数据整合能力Cognos产品能够连接多种关系型数据源和文本型数据源，能将DB2、Informix、SQL Server、Oracle、Microsoft SQL Server、Teradata等多种关系型数据库中的数据抽取并融合在一起，形成完整的企业级数据视图。

1.2性能级优势1.2.1Olap server 的优势和快速的数据访问分析能力Cognos 具有强大的专业化的OLAP 数据引擎（OLAP 服务器），它能产生多维数据分析的立方体（Cubes）。

数据仓库建设方案（范文大全）第一篇：数据仓库建设方案1.数据仓库概述经过多年IT的建设，信息对于XXX的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。

如何管理和利用好XXX内部纷繁的数据也越来越成为信息管理的一项重要工作。

在过去相当一段时间内，XXX业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。

这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。

由于数据从属于应用，缺乏XXX全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。

存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。

因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。

数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。

最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。

数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。

同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。

Page 2 of 7 2.全域数据库总体架构展示层应用层多维分析门户统一授权服务手机平板电脑单点登录PC即席查询报表统计统计分析预测分析分析型管理流程整合数据整合空间数据其他应用基础服务层应用服务器服务总线工作流引擎消息中间件OLAP引擎数据挖掘引擎事件驱动规则引擎协同工作主数据管理引擎大数据分析引擎知识内容管理引擎空间地理数据引擎数据存储区OSD数据仓库数据集市特征库模型库预测数据地理数据MDMHUB共享数据库大数据流媒体数据信息治理、元数据管理IT安全运维管理IT 综合监控交换服务体系数据联邦数据复制数据清洗数据转换大数据流消息队列流程服务信息服务交互服务消息服务数据层（ISB）应用层关系型数据源非关系型数据源传感器/监控数据源核心业务边防一体化其他XMLExcelWeb服务消息队列文本数据摄像头虚拟传感器智能传感器基础设施层（网络、存储、硬件、系统软件）全域数据库总体架构全域数据库总体的层次，最下面是基础架构层，主要包括支撑这一架构运行的主机系统、存储备份系统、网络系统等内容。

第1章数据仓库建设1.1数据仓库总体架构专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。

针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。

根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下：数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容：数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume及传统的ETL采集工具。

数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。

数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。

数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。

1.2数据采集专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。

外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。

1.2.1外部数据汇集专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。

根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。

本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。

智能交通大数据综合服务平台1. 概述随着经济发展、城市化进程的加快以及城市规模不断扩大，机动车拥有量及道路交通流急剧增加，城市紧缺的土地资源和高密度的土地利用模式，使得交通供给与交通需求之间的矛盾日益突出，交通拥堵、停车困难、环境恶化等交通问题不断加剧，影响了城市的可持续发展及人民生活水平的提高，阻碍了经济的发展。

大城市也面临同样的问题，近年来机动车保有量持续快速增长，高峰交通拥堵日益加剧，交通发展面临严峻形势和新的挑战。

很多城市在市区主要范围内实施“错峰限行”等交通管理措施。

采取调控交通需求削减交通需求总量其原因之一是城市道路已经难以通过基础设施规划建设来改善交通。

另一方面,如何利用智能交通系统(ITS)来缓解交通、提升交通效率也是可以着力的一个方向。

目前各交通管理部门建立了功能相对完善的交通指挥控制中心，包括交通信号控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统等，初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交通诱导等基础功能。

ITS的各种信息采集技术（如微波采集技术、视频采集技术、环形线圈感应式采集技术等）被广泛地运用于交通数据采集，公安交管部门不仅具备了交通基础信息，还拥有了各类动态数据，如车辆实时营运信息、道路交通状况等，采集的数据类型包括属性数据、空间数据、影像数据等。

对交通三要素（人流、车辆、道路）连续不断采集的多源交通数据流产生了巨量的交通数据，具有典型的“3V”特性：大容量、多样性、高速度，也具有价值、复杂性的特点，属于名符其实的交通“大数据”。

仅以国内某城市内道路卡口数据为例，每天达到约15GB的数据量，要实现对城市道路交通的整体运营水平和人们出行规律的深度挖掘，就要以日、月甚至年为时间粒度对大数据进行计算和分析。

数据是智能交通的核心，数据为王的大数据时代已经到来[。

如何高效地从海量数据中分析、挖掘所需的信息和规律，结合已有经验和数学模型等生成更高层次的决策支持信息，获得各类分析、评价数据，为交通诱导、交通控制、交通需求管理、紧急事件管理等提供决策支持，为交通管理者、运营者和个体出行者提供交通信息，成为当务之急。