下载文档原格式
大数据HCIA试题及参考答案1、以下关于Zookeeper的Leader节点在收到数据变更请求后的读写流程说法正确的是？A、仅写入内存B、同时写入磁盘和内存C、先写磁盘再写内存D、先写内存再写磁盘答案：C2、在FusionInsight产品中，关于KafkaTopic，以下描述不正确的有？A、每个Topic只能被分成一个partition（区）B、Topic的partition数量可以在创建时配置C、每个Partition的存储层面对应一个log文件，log文件中记录了所有的信息数据D、每条发布到Kafka的消息都有一个类别，这个类别被称为Topic，也可以理解为一个存储消息的队列答案：A3、HBase的物理存储单元是什么?A、RegionB、ColumnFamilyC、ColumnD、ROW答案：B4、以下哪些选项属于Hive的数据存储模型？A、以上全都正确B、表C、桶D、数据库E、分区答案：A5、Zookeeper的scheme认证方式不包含以下哪项？（）A、digestB、authC、saslD、world答案：C6、Hive中的这条命令“ALTERTABLEemployee1ADDcolumns(column1string);”是什么含义？A、删除表B、增加列C、创建表D、修改文件格式答案：B7、FusionInsightHD的HBase中的一张表包含以下几个Region[10，20），[20，30），[30，+∞]，分别编号为①，②，③，那么，11，20，222分别属于哪个Region?A、①①③B、①②③C、①②②D、①①②答案：C8、FusionInsightHD的HBase中保存一张用户信息表meg_table，Rowkey为用户id，其中一列为用户昵称，现在按先后顺序往这列写入三个KeyValue:001:Li，001:Mary，001:LiLy，请问scan'meg_table'，{VERSIONS=>2}会返回哪几条数据?A、001:LiB、001:LilyC、001:Li，001:Mary，001:LiLyD、001:Mary，001:LiLy答案：D9、Flink中的（）接口用于流数据处理，（）接口用于批处理？A、DataStreamAPI，DataSetAPIB、DatabatchAPI，DataStreamAPIC、StreamAPI，BatchAPID、BatchAPI，StreamAPI答案：A10、关于RDD，下列说法错误的是？A、RDD具有血统机制（Lineage）B、RDD默认存储在磁盘C、RDD是一个只读的，可分区的分布式数据集D、RDD是Spark对基础数据的抽象答案：B11、加载数据到Hive表，哪种方式不正确?A、直接将本地路径的文件load到Hive表中B、将HDFS上的文件load到Hive表中C、Hive支持insertinto单条记录的方法，所以可以直接在命令行插入单条记录D、将其他表的结果集insertinto到Hive表答案：C12、在fusionlnsight产品中，关于kafka的topic.以下描述不正确的是？A、topic的partition数量可以创建时配置B、每个topic只能被分成一个partition区C、每条发布到kafka的消息都有一个类别，这个类别被称为topi也可以理解为一个存储消息的队列D、每个partition在存储层面对应一个log文件，log文件中记录了所有的消息数据答案：B13、FusionInsightHD产品中，关于Kafka组件部署说法不正确的是?A、Kafka强依赖于ZooKeeper，安装Kafka必须安装ZooKeeperB、Kafka部署的实例个数不得小于2C、Kafka的服务端可以产生消息D、Consumer作为Kafka的客户端角色专门进行消息的消费答案：C14、KafkaClusterMirroring工具可以实现以下哪项功能？A、Kafka跨集群数据同步方式B、Kafka单集群内数据备份C、Kafka单集群内数据恢复D、以上全不正确答案：A15、FusionlnsightHD中，如果需要查看当前登录HBase的用户和权限组，可以在HBaseshell中执行什么命令？A、use_permissionB、whoamiC、whoD、get_user答案：B16、以下关于KafkaPartition偏移量的描述不正确的是？A、唯一标记一条消息B、消费者通过offset、partition、topic跟踪记录C、每条消息在文件中的位置称为offset偏移量D、offset是一个String型字符串答案：D17、Spark自带的资源管理框架是?A、YARNB、MesosC、StandaloneD、Docker答案：C18、下列关于SparkStreaming和Streaming比较说法不正确的是？A、SparkStreaming是一个微批处理框架，事件需要积累到一定量时才进行处理B、Streaming的执行逻辑是即时启动，运行完后再回收C、SparkStreaming的吞吐量大约是Streaming的2-5倍D、SparkStreaming事件处理时延比Streaming更高答案：B19、某银行规划的FusionlnsightHD集群有90个节点，如果控制节点规划了3个，那集群中数据节点推荐规划（）个。
HCNACloud 云计算题库一、单项选择题（红色字为正确答案）1.主机存储虚拟化层+文件系统方式，需要在主机侧挂载存储设备后，对挂载的 LUN 创建文件系统。
（√ ）2.FusionCompute 同一台主机上，智能网卡和普通网卡不能混合使用。
（√ ）3.在华为 FusionSphere 解决方案中，如果想要虚拟机在主机宕机后自动进行 HA，切换到另外的主机，下面哪个条件不是必须的？A.主机属于同一个集群B.主机所属的集群开启 HAC.主机连接相同的共享数据存储D.主机上需要 HA 的虚拟机均使用同一网段 IP4.可以采用多种方式安装 FusionManager，当 FusionManager 部署在 VMware 虚拟化环境时，需要采用哪种方式安装？A.ISO 镜像B.模板文件C.PXE 自动安装D.ISO 镜像和模板文件都可以5.FusionAccess 中一次任务即对系统的一次操作，所有的任务被 FusionAccess 任务中心记录管理，支持任务的定时操作管理。
（√ ）6.FusionManager 对服务器配置监控后，可以对硬件执行某些维护操作。
如下哪个动作不能通过 FusionManager 对硬件执行？A.上下电B.安全重启C.安全下电D.PXE 加载7.FusionAccess 终端用户在 Web Interface 页面看到的虚拟桌面列表，事实上是存储在哪个部件里的？A.WIB.HDCC.ADD.Database8.在安装 FusionCompute 的过程中需要设置主机管理网口 IP 地址和 VRM 管理 IP 地址，下面对这两者的描述正确的是？A.使用主机管理网口 IP 进行多个站点级联B.使用 VRM 管理 IP 地址向集群添加多个主机C.使用 VRM 管理 IP 地址访问 FusionCompute 的 Web Portal 页面D.主机管理网口 IP 地址就是 VRM 管理 IP 地址解析：一个 VRM 管理范围就是一个站点的管理范围，多个 VRM 可以级联，提供统一的Portal 管理多个站点资源。
IT智能运维解决方案部-培训反馈测试-第三周您的姓名： [填空题] *_________________________________华为Fusioninsight大数据产品1. 数据管理范式的下一步创新方向是：（） [单选题] *A. Data Lakehouse(正确答案)B. Data LakeC. Data WarehouseD. Data Stream2. 在实时数据流处理中，华为优先推荐哪种流计算引擎（） [单选题] *A. Flink(正确答案)B. Spark StreamingC. StormD. Heron3. FusionInsight实时检索引擎包括：（） *A. Hbase(正确答案)B. ElasticSearch(正确答案)C. KafkaD. Redis4. 大数据不仅限于Hadoop，是多种主流数据处理技术的合集，成为开放技术的实施标准。
（） [单选题] *A.正确(正确答案)B.不正确5. 华为认为，面向未来()是下一步创新方向，技术创新持续涌现。
（） [单选题] *A.数据仓库B.数据湖C.湖仓一体(正确答案)6. 下列哪一个选项是深度学习主流框架？（） [单选题] *A.HadoopB.HiveC.SparkD.Tensorflow(正确答案)E.Flink7. FusionInsight具备四大能力是(),助力客户解决企业大数据平台建设的关键问题（） *A.一站式平台(正确答案)B.永远在线(可靠性99.999%)(正确答案)C.易用低成本(正确答案)D.可持续演进(正确答案)E.标准化产品，开箱即用华为智慧城市IOC&大数据解决方案8. 华为新型智慧城市建设思路是：1+1+N，其中1+1是指什么？（） [单选题] *A. 一个数字平台+一个城市IOC(正确答案)B. 一个目标+一套平台C. 一个标准+一种方法D. 一个指挥+一笔资金9. 华为认为新型智慧城市建设应包括几个”一”工程？（） [单选题] *A. 6(正确答案)B. 5C. 4D. 310. IOC技术架构的技术基础是什么？（） [单选题] *A. 大数据平台(正确答案)B. PaaSC. SaaSD. IaaS11. 无处不在的IOC：从“看”到”用”，智享实现三屏联动的“驾驶舱”。
FusionInsightHD技术白皮书华为FusionInsight HD 技术白皮书目录1 简介 (1)1.1 FusionInsight概述 (1)1.2 FusionInsight HD组件介绍 (2)2 重点组件介绍 (4)2.1 集群管理Manager (4)2.2 分布式文件系统HDFS (6)2.3 统一资源管理和调度框架YARN (7)2.3.1 Yarn (7)2.3.2 Superior Scheduler (7)2.4 分布式批处理引擎MapReduce (12)2.5 分布式数据库HBase (13)2.6 数据仓库组件Hive (13)2.7 分布式内存计算引擎Spark (14)2.7.1 Spark (14)2.7.2 CarbonData (15)2.8 交互式SQL引擎Elk (16)2.9 全文检索组件Solr (19)2.10 全文检索组件Elasticsearch (21)2.11 批量数据集成Loader (22)2.12 实时数据采集Flume (25)2.13 流式事件处理（Storm） (26)2.13.1 Storm (26)2.13.2 StreamCQL (27)2.14 流处理引擎Flink (28)2.15 分布式高速缓存Redis (30)2.16 分布式消息队列Kafka (30)2.17 作业编排与调度Oozie (31)2.18 数据继承入口Hue (33)2.19 多租户 (34)2.20 安全增强 (36)2.21 可靠性增强 (37)2.22 滚动重启、滚动升级与滚动补丁 (39)1 简介1.1 FusionInsight概述FusionInsight是华为企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对巨量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。
FusionInsight解决方案由产品：FusionInsight HD、FusionInsight LibrA、FusionInsightAthena和操作运维系统FusionInsight Manager，数据使能服务：数据集成开发工具、实时决策平台，及私有云服务：HDS大数据服务、ADS数据库服务、RDS数据库服务构成。
FusionInsight⼤数据平台部署指南FusionInsight⼤数据平台部署指南⽬录1前⾔ (3)2设备采购 (3)3安装部署模式 (3)4其余注意事项 (8)5附件 (9)1 前⾔本指南的⽬的在于指导地区部、供应商、HALP购买设备，以及配置服务器，存储等硬件设备，⽹络连接与物理设备连接。
注：FusionInsight HD系统⽀持通⽤的X86服务器（不限于服务器），可根据⾃⾝需求灵活选择。
2 设备采购3 安装部署模式3.1 使⽤虚拟化虚拟机安装部署FusionInsightFusionInsight⼤数据分析平台⽀持使⽤虚拟机的形式部署FusionInsight节点，从⽽充分利⽤物理硬件的计算、存储、⽹络资源。
如果当前环境为实验⽤途推荐使⽤虚拟化的⽅式安装与部署FusionInsight 节点。
以下配置为使⽤虚拟化平台最⼩规模部署FuisonInsight全组件（管理节点、控制节点和数据节点合并部署），虚拟机具体硬件与操作系统需求如下：3.1.1 虚拟机硬件与操作系统需求：其他硬件：3.1.2 每虚拟机操作系统分区需求：3.1.3 虚拟机端⼝组配置与互联交换机配置：3.1.4 虚拟化平台逻辑拓扑结构3.2 使⽤物理主机平台安装部署FusionInsight为了保证FusionInsight⼤数据分析平台运⾏的效率与性能，可以使⽤物理主机的形式安装、部署Huawei FusionInsight⼤数据分析平台。
以下下配置为使⽤物理主机形式最⼩规模部署FuisonInsight节点（管理节点、控制节点和数据节点合并部署），物理主机具体硬件与操作系统如下：3.2.1 服务器硬件与操作系统需求其他硬件：3.2.2 服务器操作系统分区需求3.2.3 服务器物理组⽹与交换机需求3.2.4 物理组⽹逻辑拓扑4 其余注意事项实验教材建议由讲师讲解后，学⽣单独完成，如果需要故障排除，讲师可以参与。
另外实验时，为避免残余配置对实验的影响，要求学⽣在实验完成后，关闭设备之前清空设备保存的配置信息；同时，实验开始时，确认设备从空配置启动，否则执⾏配置清空，并重启设备。
2013年7月21日星期日华为大数据解决方案介绍FusionInsight Hadoop大数据定义和发展历史 1 大数据在其他行业的应用2 FusionInsight Hadoop 企业版介绍4 FusionInsight Hadoop 成功实践5大数据在运营商的应用与挑战3业界大数据定义大数据（英语：Big data[1][2]），或称巨量资料、海量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
网络上每一笔搜索，网站上每一笔交易，敲打键盘，点击鼠标的每一个输入都是数据，整理起来分析排行，它的功能可不仅仅止于事后被动了解市场，搜集起来的资料还可以被规画，引导开发更大的消费力量。
Data-intensive computing：Data-intensive computing is a class of parallel computing applications which use a data parallel approach to processing large volumes of data typically terabytes or petabytes in size and typically referred to as Big Data. Computing applications which devote most of their execution time to computational requirements are deemed compute-intensive and typically require small volumes of data, whereas computing applications which require large volumes of data and devote most of their processing time to I/O and manipulation of data are deemed data-intensive.大数据发展历史2003Greenplum 2005Aster Data Vertica ParAccel 2006Hadoop 创始 人根据谷歌论 文创建原型 2008Hadoop 在 Yahoo 实验室完成孵化2010、2011华为在SmartCare 解决方案中集成Hadoop 、流处理、MPP DB 并在2012年推出大数据解决方案平台产品家族FusionInsight IBM 推出大数据系列产品InfoSphere BigInsights, StreamsEMC 收购Greenplum ，与MapR 合作，推出Greenplum HDHP 收购Vertica技术趋势：封闭平台日渐路窄，开放创新势不可挡传统大数据平台公司被迫开源，大公司加入Apache Hadoop 开源生态系统开源生态系统继续保持活力，相关创新日趋加速2010Q2发布InfoSphere BigInsights2011Q4放弃自研平台，发布HDInsight 2011Q2，发布Greenplum HD2011Q2,LexisNexis RiskSolutions‘ High Performance Computing Cluster will be offered as open source code pitting it against Hadoop. 但是为时已晚，HPCC 将被迫局限在较小的市场。
FusionInsight大数据平台部署指南目录1前言 (3)2设备采购 (3)3安装部署模式 (3)4其余注意事项 (8)5附件 (9)1 前言本指南的目的在于指导地区部、供应商、HALP购买设备，以及配置服务器，存储等硬件设备，网络连接与物理设备连接。
注：FusionInsight HD系统支持通用的X86服务器（不限于服务器），可根据自身需求灵活选择。
2 设备采购3 安装部署模式3.1 使用虚拟化虚拟机安装部署FusionInsightFusionInsight大数据分析平台支持使用虚拟机的形式部署FusionInsight节点，从而充分利用物理硬件的计算、存储、网络资源。
如果当前环境为实验用途推荐使用虚拟化的方式安装与部署FusionInsight 节点。
以下配置为使用虚拟化平台最小规模部署FuisonInsight全组件（管理节点、控制节点和数据节点合并部署），虚拟机具体硬件与操作系统需求如下：3.1.1 虚拟机硬件与操作系统需求：其他硬件：3.1.2 每虚拟机操作系统分区需求：3.1.3 虚拟机端口组配置与互联交换机配置：3.1.4 虚拟化平台逻辑拓扑结构3.2 使用物理主机平台安装部署FusionInsight为了保证FusionInsight大数据分析平台运行的效率与性能，可以使用物理主机的形式安装、部署Huawei FusionInsight大数据分析平台。
以下下配置为使用物理主机形式最小规模部署FuisonInsight节点（管理节点、控制节点和数据节点合并部署），物理主机具体硬件与操作系统如下：3.2.1 服务器硬件与操作系统需求其他硬件：3.2.2 服务器操作系统分区需求3.2.3 服务器物理组网与交换机需求3.2.4 物理组网逻辑拓扑4 其余注意事项实验教材建议由讲师讲解后，学生单独完成，如果需要故障排除，讲师可以参与。
另外实验时，为避免残余配置对实验的影响，要求学生在实验完成后，关闭设备之前清空设备保存的配置信息；同时，实验开始时，确认设备从空配置启动，否则执行配置清空，并重启设备。
●大数据的本质：就是物理世界在数字世界的映像，比如：每年节假日的人流迁移方向，都会在数字世界中记录。
●现实世界的现象，也可以通过大数据分析发现其背后的逻辑关系。
比如：当暴雨来临时，可以看到海鸟低飞。
通过分析发现，海鸟低飞是由于很多鱼儿浮游到海水表面，海鸟可以方便的捕食；为什么鱼儿要游到海面呢？原来是暴雨来临时，水里气压增大，鱼儿浮游到海面可以更方便的呼吸。
这些，都可以通过大数据分析得出表象背后的联系。
1●维基百科：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
●IDC：一般会涉及2种以上数据形式，数据量100T以上，且是高速、实时数据流；或者从小数据开始，但数据每年增长60%。
●数据量过于庞大；大数据多样化格式；大数据价值密度低；存储和处理成本高。
●现有的技术模型已经很难满足大数据处理和分析的要求，作为数据的处理流程环节，计算/存储/网络/数据库等都会成为新的瓶颈。
需要新技术来匹配。
●华为FusionInsight是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力，可解决各大企业的以下需求。
FusionInsight的Hadoop层提供大数据处理环境，基于社区开源软件增强，按照场景选择业界最佳实践。
●FusionInsight的DataFarm层提供支撑端到端数据洞察，构建数据到信息到知识到智慧的数据供应链，其中包括相对独立的数据集成服务Porter，数据挖掘服务Miner和数据服务框架Farmer。
●FusionInsight Manager是一个分布式系统管理框架，管理员可以从单一接入点操控分布式集群，包括系统管理（OM/NTP/灾备）、数据安全管理和数据治理。
●FusionInsight Stream：提供实时流处理平台。
●FusionInsight Farmer：提供数据服务框架，大数据实时应用使能器，支撑企业快速开发基于大数据平台的应用。
让数据慧说话，让企业更智能华为FusionInsight大数据解决方案概述华为FusionInsight大数据解决方案，快速集成结构化、半结构化和非结构化等多种数据，支持离线分析、实时流处理、实时检索、交互查询等各种数据处理能力，针对政府、金融、运营商、公共安全等数据密集型行业的客户需求，打造了敏捷、智慧、融合的大数据解决方案，让客户可以更快、更准、更稳的从各类繁杂无序的海量数据中发现价值，助力政府高效治理和企业卓越经营。
FusionInsight大数据平台包括HD数据底座、数据使能工具(DLF、RTD)与数据服务HDS。
2017年10月，IDC发布的《IDC MarketScape：中国大数据管理平台厂商评估，2017》报告中，华为FusionInsight 大数据平台位居领导者象限第一。
2017~2019年华为FusionInsight大数据连续3年入围Gartner Magic Quadrant for Data Management Solutions for Analytics，中国区厂商排名第一。
政务互联网+政务服务：一号一窗一网，数据多跑路，群众少跑腿，流程审批效率提升50%以上；个人或者企业办事只跑1次，提高效率和民生满意度。
城市IOC：城市运行实况直播，城市服务可视化；有效地利用数据，提升政府决策能力。
智慧海关：基于实时大数据技术，结合物流、税收、检疫风险规则、参数、模型；构建实时风控平台，缩短通关时间，提升关税征收准确性，提升查验率和查获率。
金融智慧营销：提升客户洞察能力，提高获客、挽客率和客户满意度；优化营销资源配置，提升人均销售业绩和效益。
智慧风控：信用卡全流程数据化运营，提升实时风控、实时征信、精准获客、分期预测、催收风控能力。
公共安全警务大数据：融合不同警种和各级单位数据，由“事后打”向“事前防”转变，汗水警务 向 智慧警务演进，实现协同研判和作战，提升办案效率。
视频大数据：应用和算法平台解耦；支持千亿级多维数据秒级检索，提升案件研判效率。
MRSIoTDB时序数据库的总体架构设计与实现【摘要】 MRS IoTDB是华为FusionInsight MRS大数据套件最新推出的时序数据库产品，其领先的设计理念在时序数据库领域展现出越来越强大的竞争力，得到了越来越多的用户认可。
为了大家更好地了解MRS IoTDB，本文将会系统地为大家介绍MRS IoTDB的来龙去脉和功能特性，重点为大家介绍MRS IoTDB时序数据库的整体架构设计与实现。
MRS IoTDB时序数据库的总体架构设计与实现MRS IoTDB是华为FusionInsight MRS大数据套件最新推出的时序数据库产品，其领先的设计理念在时序数据库领域展现出越来越强大的竞争力，得到了越来越多的用户认可。
为了大家更好地了解MRS IoTDB，本文将会系统地为大家介绍MRS IoTDB的来龙去脉和功能特性，重点为大家介绍MRS IoTDB时序数据库的整体架构设计与实现。
1.什么是时序数据库时序数据库是时间序列数据库的简称，指的是专门对带时间标签（按照时间的顺序变化，即时间序列化）的数据进行存储、查询、分析等处理操作的专用数据库系统。
通俗来说，时序数据库就是专门用来记录例如物联网设备的温度、湿度、速度、压力、电压、电流以及证券买入卖出价等随着时间演进不断变化的各类数值（测点、事件）的数据库。
当前，随着大数据技术发展和应用的不断深入，以物联网IoT(Internet Of Things)、金融分析为代表的两类数据，表现出随着时间的演进连续不断地产生大量传感器数值或事件数据。
时间序列数据(time series data)就是以数据(事件)发生的时刻（时间戳）为时间轴形成的连续不断的数值序列。
例如某物联网设备不同时刻的的温度数据构成一个时间序列数无论是机器产生的传感器数据，还是人类活动产生的社会事件数据，都有一些共同的特征：（1）采集频率高：每秒采集几十次、上百次、十万次乃至百万次；（2）采集精度高：最少支持毫秒级采集，有些需要支持微秒级和纳秒级采集；（3）采集跨度大：7*24小时持续不断地连续采集几年、乃至数十年数据；（4）存储周期长：需要支持时序数据的持久存储，甚至对有些数据需要进行长达上百年的永久存储（例如地震数据）；（5）查询窗口长：需要支持从毫秒、秒、分钟、小时到日、月、年等不同粒度的时间窗口查询；也需要支持万、十万、百万、千万等不同粒度的数量窗口查询；（6）数据清洗难：时间序列数据存在乱序、缺失、异常等复杂情况，需要专用算法进行高效实时处理；（7）实时要求高：无论是传感器数据还是事件数据，都需要毫秒级、秒级的实时处理能力，以确保实时响应和应急处理能力；（8）算法专业强：时间序列数据在地震、金融、电力、交通等不同领域，都有很多垂直领域的专业时序分析需求，需要利用时序趋势预测、相似子序列分析、周期性预测、时间移动平均、指数平滑、时间自回归分析以及基于LSTM的时序神经网络等算法进行专业分析。
