华为FusionInsight大数据平台技术FAQ

华为FusionInsight HD 技术白皮书目录1 简介 (1)1.1 FusionInsight概述 (1)1.2 FusionInsight HD组件介绍 (2)2 重点组件介绍 (4)2.1 集群管理Manager (4)2.2 分布式文件系统HDFS (6)2.3 统一资源管理和调度框架YARN (7)2.3.1 Yarn (7)2.3.2 Superior Scheduler (7)2.4 分布式批处理引擎MapReduce (12)2.5 分布式数据库HBase (13)2.6 数据仓库组件Hive (13)2.7 分布式内存计算引擎Spark (14)2.7.1 Spark (14)2.7.2 CarbonData (15)2.8 交互式SQL引擎Elk (16)2.9 全文检索组件Solr (19)2.10 全文检索组件Elasticsearch (21)2.11 批量数据集成Loader (22)2.12 实时数据采集Flume (25)2.13 流式事件处理（Storm） (26)2.13.1 Storm (26)2.13.2 StreamCQL (27)2.14 流处理引擎Flink (28)2.15 分布式高速缓存Redis (30)2.16 分布式消息队列Kafka (30)2.17 作业编排与调度Oozie (31)2.18 数据继承入口Hue (33)2.19 多租户 (34)2.20 安全增强 (36)2.21 可靠性增强 (37)2.22 滚动重启、滚动升级与滚动补丁 (39)1 简介1.1 FusionInsight概述FusionInsight是华为企业级大数据存储、查询、分析的统一平台，能够帮助企业快速构建海量数据信息处理系统，通过对巨量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。

FusionInsight解决方案由产品：FusionInsight HD、FusionInsight LibrA、FusionInsightAthena和操作运维系统FusionInsight Manager，数据使能服务：数据集成开发工具、实时决策平台，及私有云服务：HDS大数据服务、ADS数据库服务、RDS数据库服务构成。

大数据华为认证考试(习题卷3)第1部分：单项选择题，共51题，每题只有一个正确答案,多选或少选均不得分。

1.[单选题]ElasticSearch 存放所有关键词的地方是()A)字典B)关键词C)词典D)索引答案:C解析:2.[单选题]DWS DN的高可用架构是：（ ）。

A)主备从架构B)一主多备架构C)两者兼有D)其他答案:A解析:3.[单选题]关于Hive与传统数据仓库的对比，下列描述错误的是:（ ）。

A)Hive元数据存储独立于数据存储之外，从而解耦合元数据和数据，灵活性高，二传统数据仓库数据应用单一，灵活性低B)Hive基于HDFS存储，理论上存储可以无限扩容，而传统数据仓库存储量有上限C)由于Hive的数据存储在HDFS上，所以可以保证数据的高容错，高可靠D)由于Hive基于大数据平台，所以查询效率比传统数据仓库快答案:D解析:4.[单选题]以下哪种机制使 Flink 能够实现窗口中无序数据的有序处理?（）A)检查点B)窗口C)事件时间D)有状态处理答案:C解析:5.[单选题]下面（ ）不是属性选择度量。

A)ID3 使用的信息增益B)C4.5 使用的增益率C)CART 使用的基尼指数D)NNM 使用的梯度下降答案:D解析:C)HDFSD)DB答案:C解析:7.[单选题]关于FusionInsight HD Streaming的Supervisor描述正确的是:（ ）。

A)Supervisor负责资源的分配和任务的调度B)Supervisor负责接受Nimbus分配的任务，启动停止属于自己管理的Worker进程C)Supervisor是运行具体处理逻辑的进程D)Supervisor是在Topology中接收数据然后执行处理的组件答案:B解析:8.[单选题]在有N个节点FusionInsight HD集群中部署HBase时、推荐部署（ ）个H Master进程，（ ）个Region Server进程。

大数据HCIA试题及参考答案1、以下关于Zookeeper的Leader节点在收到数据变更请求后的读写流程说法正确的是？A、仅写入内存B、同时写入磁盘和内存C、先写磁盘再写内存D、先写内存再写磁盘答案：C2、在FusionInsight产品中，关于KafkaTopic，以下描述不正确的有？A、每个Topic只能被分成一个partition（区）B、Topic的partition数量可以在创建时配置C、每个Partition的存储层面对应一个log文件，log文件中记录了所有的信息数据D、每条发布到Kafka的消息都有一个类别，这个类别被称为Topic，也可以理解为一个存储消息的队列答案：A3、HBase的物理存储单元是什么?A、RegionB、ColumnFamilyC、ColumnD、ROW答案：B4、以下哪些选项属于Hive的数据存储模型？A、以上全都正确B、表C、桶D、数据库E、分区答案：A5、Zookeeper的scheme认证方式不包含以下哪项？（）A、digestB、authC、saslD、world答案：C6、Hive中的这条命令“ALTERTABLEemployee1ADDcolumns(column1string);”是什么含义？A、删除表B、增加列C、创建表D、修改文件格式答案：B7、FusionInsightHD的HBase中的一张表包含以下几个Region[10，20），[20，30），[30，+∞]，分别编号为①，②，③，那么，11，20，222分别属于哪个Region?A、①①③B、①②③C、①②②D、①①②答案：C8、FusionInsightHD的HBase中保存一张用户信息表meg_table，Rowkey为用户id，其中一列为用户昵称，现在按先后顺序往这列写入三个KeyValue:001:Li，001:Mary，001:LiLy，请问scan'meg_table'，{VERSIONS=>2}会返回哪几条数据?A、001:LiB、001:LilyC、001:Li，001:Mary，001:LiLyD、001:Mary，001:LiLy答案：D9、Flink中的（）接口用于流数据处理，（）接口用于批处理？A、DataStreamAPI，DataSetAPIB、DatabatchAPI，DataStreamAPIC、StreamAPI，BatchAPID、BatchAPI，StreamAPI答案：A10、关于RDD，下列说法错误的是？A、RDD具有血统机制（Lineage）B、RDD默认存储在磁盘C、RDD是一个只读的，可分区的分布式数据集D、RDD是Spark对基础数据的抽象答案：B11、加载数据到Hive表，哪种方式不正确?A、直接将本地路径的文件load到Hive表中B、将HDFS上的文件load到Hive表中C、Hive支持insertinto单条记录的方法，所以可以直接在命令行插入单条记录D、将其他表的结果集insertinto到Hive表答案：C12、在fusionlnsight产品中，关于kafka的topic.以下描述不正确的是？A、topic的partition数量可以创建时配置B、每个topic只能被分成一个partition区C、每条发布到kafka的消息都有一个类别，这个类别被称为topi也可以理解为一个存储消息的队列D、每个partition在存储层面对应一个log文件，log文件中记录了所有的消息数据答案：B13、FusionInsightHD产品中，关于Kafka组件部署说法不正确的是?A、Kafka强依赖于ZooKeeper，安装Kafka必须安装ZooKeeperB、Kafka部署的实例个数不得小于2C、Kafka的服务端可以产生消息D、Consumer作为Kafka的客户端角色专门进行消息的消费答案：C14、KafkaClusterMirroring工具可以实现以下哪项功能？A、Kafka跨集群数据同步方式B、Kafka单集群内数据备份C、Kafka单集群内数据恢复D、以上全不正确答案：A15、FusionlnsightHD中，如果需要查看当前登录HBase的用户和权限组，可以在HBaseshell中执行什么命令？A、use_permissionB、whoamiC、whoD、get_user答案：B16、以下关于KafkaPartition偏移量的描述不正确的是？A、唯一标记一条消息B、消费者通过offset、partition、topic跟踪记录C、每条消息在文件中的位置称为offset偏移量D、offset是一个String型字符串答案：D17、Spark自带的资源管理框架是?A、YARNB、MesosC、StandaloneD、Docker答案：C18、下列关于SparkStreaming和Streaming比较说法不正确的是？A、SparkStreaming是一个微批处理框架，事件需要积累到一定量时才进行处理B、Streaming的执行逻辑是即时启动，运行完后再回收C、SparkStreaming的吞吐量大约是Streaming的2-5倍D、SparkStreaming事件处理时延比Streaming更高答案：B19、某银行规划的FusionlnsightHD集群有90个节点，如果控制节点规划了3个，那集群中数据节点推荐规划（）个。

IT智能运维解决方案部-培训反馈测试-第三周您的姓名： [填空题] *_________________________________华为Fusioninsight大数据产品1. 数据管理范式的下一步创新方向是：（） [单选题] *A. Data Lakehouse(正确答案)B. Data LakeC. Data WarehouseD. Data Stream2. 在实时数据流处理中，华为优先推荐哪种流计算引擎（） [单选题] *A. Flink(正确答案)B. Spark StreamingC. StormD. Heron3. FusionInsight实时检索引擎包括：（） *A. Hbase(正确答案)B. ElasticSearch(正确答案)C. KafkaD. Redis4. 大数据不仅限于Hadoop，是多种主流数据处理技术的合集，成为开放技术的实施标准。

（） [单选题] *A.正确(正确答案)B.不正确5. 华为认为，面向未来()是下一步创新方向，技术创新持续涌现。

（） [单选题] *A.数据仓库B.数据湖C.湖仓一体(正确答案)6. 下列哪一个选项是深度学习主流框架？（） [单选题] *A.HadoopB.HiveC.SparkD.Tensorflow(正确答案)E.Flink7. FusionInsight具备四大能力是(),助力客户解决企业大数据平台建设的关键问题（） *A.一站式平台(正确答案)B.永远在线(可靠性99.999%)(正确答案)C.易用低成本(正确答案)D.可持续演进(正确答案)E.标准化产品，开箱即用华为智慧城市IOC&大数据解决方案8. 华为新型智慧城市建设思路是：1+1+N，其中1+1是指什么？（） [单选题] *A. 一个数字平台+一个城市IOC(正确答案)B. 一个目标+一套平台C. 一个标准+一种方法D. 一个指挥+一笔资金9. 华为认为新型智慧城市建设应包括几个”一”工程？（） [单选题] *A. 6(正确答案)B. 5C. 4D. 310. IOC技术架构的技术基础是什么？（） [单选题] *A. 大数据平台(正确答案)B. PaaSC. SaaSD. IaaS11. 无处不在的IOC：从“看”到”用”，智享实现三屏联动的“驾驶舱”。

华为认证ICT工程师HCIA考试(试卷编号111)1.[单选题]当使用Tensor Flow2.o的ker as接口搭建神经网络时， 需要进行网络的编译工作，需要用到以下哪种方法?A)compileB)writeC)joinD)fit答案:A解析:2.[单选题]安装FusionInsight HD的Streaming组件 Nimbus角色要求安装几个节点?A)4B)3C)2D)1答案:C解析:3.[单选题]以下关于 OVS（Open vSwitch）的搭述，错误的是哪一项?（）A)运行在虚拟化的服务器上,相比传统交换机具有更高的转发性能B)具备传统交换机实现的网络隔离和数据转发功能C)OVS 是一个支移层数据传发的高质量虚拟交换机D)运行在虚拟化的服务器上，并提供远程管理答案:A解析:4.[单选题]() 设备可以为视频会议系统提供统一地址本服务。

A)SCB)MCUC)EUAD)终端答案:C解析:5.[单选题]OSPFv3使用哪个区域号标识骨干区域？A)0B)3C)1解析:6.[单选题]如下图所示网络，SWA的MAC地址表如下，交换机始终学习不到HOSTA的MAC地址，不可能是以下哪种原因？class="fr-fic fr-dib cursor-hover"A)HOST A没有发送任何数据帧B)交换机的G0/0/1端口被设置为ACCESS模式C)交换机的G0/0/1端口关闭了MAC地址学习功能D)关闭HOST A所属LAN的MAC地址学习功能答案:B解析:7.[单选题]从源设备到目的设备之间有两台路由器RTA和RTB，使用Tracert命令来检测路径。

检测第一跳RTA时，源设备对目的设备的某个较大的端口送一个TTL为1的UDP报文，当该报文到达RTB时，TTL将变为0，于是RTA 对源设备回应一个ICMP （）消息。

A)Echo RequestB)Port UnreachableC)Time ExceededD)Echo Reply答案:C解析:A)隔离，虚拟机之间逻辑隔离,彼此不受影响B)软硬件紧耦合,虚拟化依赖于底层硬件,需要考虑兼容性问题C)封装,将虚拟机封装成文件的形式保存在物理设备上D)分区，虚拟化层为每一个虚拟机单独划分资源答案:B解析:9.[单选题]如图所示的网络，管理员希望所有主机每天在8：00-17：00不能访问Tnternet，则在G0/0/1的接口配置中Traffic-filter outbound 需要绑定哪个ACL规则？class="fr-fic fr-dib cursor-hover"A)time-range am9topm5 08:00 to 17:00 working-day #Acl number 2003Rule 5 deny time-range am9topm5 #B)time-range am9topm5 08:00 to 17:00 daily #Acl number 2002Rule 5 permit time-range am9topm5 #C)time-range am9topm5 08:00 to 17:00 daily #Acl number 2001Rule 5 deny time-range am9topm5 #D)time-range am9topm5 08:00 to 17:00 off-day #Acl number 2004Rule 5 permit time-range am9topm5 #答案:C解析:10.[单选题]以下哪项不属于华为桌面云系统的高危操作？A)启用虚拟机防火墙B)修改基础架构组件时间C)禁用虚拟机网卡D)修改基础架构虚拟机的IP答案:A解析:A)1B)6C)0D)89答案:D解析:12.[单选题]管理员用如下命令在路由器上配置了DHCP服务器：Ip poo1 poo11Netword 10.10.10.0 mask 255.255.255.0Gateway-List 10.10.10.1同时管理员希望给DHCP地址指定一个较短的租期，请问应该使用如下哪条命令？A)dhcp select relayB)Lease 24C)Lease 0D)Lease day 1答案:D解析:13.[单选题]云硬盘的存储容量单位是什么?A)PBB)KBC)GBD)TB答案:C解析:14.[单选题]eLTE-JoT通过()技术提高传输效率，提升系统容量?A)HARQ+ARQB)PSMC)小包快传D)调频技术答案:C解析:C跳频技术15.[单选题]FusionAccess链接克隆虚拟机发放失败，不可能是以下哪个原因？A)FusionCompute平台故障B)AD服务器异常C)FusionAccess并发用户数达到最大限制D)虚拟机模板被误删16.[单选题]IdeaHub Pro 65”触控屏最高分辨率为()。

FusionInsight⼤数据平台部署指南FusionInsight⼤数据平台部署指南⽬录1前⾔ (3)2设备采购 (3)3安装部署模式 (3)4其余注意事项 (8)5附件 (9)1 前⾔本指南的⽬的在于指导地区部、供应商、HALP购买设备，以及配置服务器，存储等硬件设备，⽹络连接与物理设备连接。

注：FusionInsight HD系统⽀持通⽤的X86服务器（不限于服务器），可根据⾃⾝需求灵活选择。

2 设备采购3 安装部署模式3.1 使⽤虚拟化虚拟机安装部署FusionInsightFusionInsight⼤数据分析平台⽀持使⽤虚拟机的形式部署FusionInsight节点，从⽽充分利⽤物理硬件的计算、存储、⽹络资源。

如果当前环境为实验⽤途推荐使⽤虚拟化的⽅式安装与部署FusionInsight 节点。

以下配置为使⽤虚拟化平台最⼩规模部署FuisonInsight全组件（管理节点、控制节点和数据节点合并部署），虚拟机具体硬件与操作系统需求如下：3.1.1 虚拟机硬件与操作系统需求：其他硬件：3.1.2 每虚拟机操作系统分区需求：3.1.3 虚拟机端⼝组配置与互联交换机配置：3.1.4 虚拟化平台逻辑拓扑结构3.2 使⽤物理主机平台安装部署FusionInsight为了保证FusionInsight⼤数据分析平台运⾏的效率与性能，可以使⽤物理主机的形式安装、部署Huawei FusionInsight⼤数据分析平台。

以下下配置为使⽤物理主机形式最⼩规模部署FuisonInsight节点（管理节点、控制节点和数据节点合并部署），物理主机具体硬件与操作系统如下：3.2.1 服务器硬件与操作系统需求其他硬件：3.2.2 服务器操作系统分区需求3.2.3 服务器物理组⽹与交换机需求3.2.4 物理组⽹逻辑拓扑4 其余注意事项实验教材建议由讲师讲解后，学⽣单独完成，如果需要故障排除，讲师可以参与。

另外实验时，为避免残余配置对实验的影响，要求学⽣在实验完成后，关闭设备之前清空设备保存的配置信息；同时，实验开始时，确认设备从空配置启动，否则执⾏配置清空，并重启设备。

FusionInsight大数据平台实验手册前言概述本文档主要描述eLab网站功能与前台界面操作，用于指导实验参与者进行远程虚拟化实验预定与操作。

读者对象本文档主要适用于以下人员：●FusionInsight大数据学员●FusionInsight大数据讲师第2页, 共122页目录前言 (2)一、安装FusionInsight实验 (7)1.1 安装准备 (7)1.1.1 准备硬件 (7)1.1.2 准备操作系统 (8)1.1.3 准备工具和软件 (14)1.1.4 准备数据 (15)1.1.5 物理组网拓扑 (18)1.2 安装过程 (18)1.2.1 检验软件包 (18)1.2.2 生成配置文件 (21)1.2.3 配置并检查安装环境 (37)1.2.4 安装双机Manager (43)1.2.5 安装集群 (46)二、日常维护实验 (53)2.1集群、服务、实例实验 (53)第3页, 共122页2.1.1 添加服务 (53)2.1.2 启动、停止、重启及删除服务 (56)2.1.3 导出服务的配置数据 (57)2.1.4 导入服务的配置数据 (58)2.1.5 配置服务参数 (59)2.1.6 添加角色实例 (61)2.1.7 启动、停止、重启及删除角色实例 (63)2.1.8 导出角色实例的配置数据 (64)2.1.9 导入角色实例的配置数据 (65)2.1.10导出集群的配置数据 (66)2.1.11 导入导出集群安装模板 (67)2.2 OMS备份恢复实验 (68)2.2.1 备份Manager数据 (68)2.2.2 恢复Manager数据 (72)2.3集群健康检查 (81)2.3.1 执行健康检查 (81)2.3.2 查看并导出检查报告 (84)2.3.3 配置健康检查报告保存数 (86)第4页, 共122页2.3.4 管理健康检查报告 (87)三、业务操作实验 (89)3.1 创建用户实验 (89)3.1.1 流程概述 (89)3.1.2 创建角色 (90)3.1.3 创建用户组 (95)3.1.4 创建用户 (96)3.2安装Client (98)3.2.1 安装客户端 (99)3.2.2 使用客户端 (103)3.2.3 切换多实例的客户端 (104)3.3 HDFS实验 (105)3.3.1 创建HDFS角色 (105)3.3.2 使用HDFS客户端实验 (107)3.4 HBase实验 (109)3.4.1 创建HBase角色 (109)3.4.2使用HBase客户端 (112)3.4.3 HBase 创建/更改/删除/启动/禁用表 (113)第5页, 共122页3.5 Extract Transform Load实验 (115)3.5.1从HDFS导入数据到HBase (115)3.5.2从HBase导出数据到HDFS (119)第6页, 共122页一、安装FusionInsight实验(本实验预估时间2.5小时)1.1 安装准备1.1.1 准备硬件FusionInsight HD系统支持通用的X86服务器（不限于服务器），可根据自身需求灵活选择。

华为认证ICT工程师HCIA考试(试卷编号2191)1.[单选题]公司的业务高峰期主要集中在下午2点到5点之间，其他时间的主机CPU和内存资源利用率只有不到20%，工程师A想通过设置Fusion Compute DPM规则在无人为干预的情况下，提升其他时间段的资源利用率，节约机房用电，同时在业务高峰期，又不对业务造成影响，以下关于DPM规则最合适的是哪一项（）A)将资源调度设置为“手动”，迁移阀值设置为“保守”B)将资源调度设置为“自动”，迁移阀值设置为“激进”C)将资源调度设置为“自动”，迁移阀值设置为“保守”D)将资源调度设置为"手动”，迁移阀值设置为“激进”答案:C解析:2.[单选题]OSPF协议使用哪种报文请求本地缺少的LSA？A)LSUB)LSACKC)HELLOD)LSR答案:D解析:3.[单选题]以下关于 VLAN 技术正确的是哪些项？（）A)同一台设备上不能配置不同的 VLANB)VLAN 链路分为 access 链路和 trunk 链路两种C)VLAN 报文的 VID 可以标识帧所属 VLAND)VLAN 只能隔离冲突域答案:C解析:4.[单选题]级联会议中，下级会场广播至上级会场的媒体流向是()。

A)被广播会场-上级MCU-上级会场B)被广播会场-上级MCU-下级MCU-上级会场C)被广播会场-下级MCU-上级MCU-上级会场D)被广播会场-下级MCU-上级会场答案:C解析:5.[单选题]关于华为鲲鹏迁移工具分析报告提供的依赖库 so 文件的操作建议,以下哪项是不正确的?C)如果依赖库 so 文件已经过鲲鹏平台验证,但无二进制安装包,则需要用户下载依赖库源码,然后上传至目标服务器进行编译安装D)如果依赖库 S0 文件已经过鲲鹏平台验证,且已有二进制安装包,则用户可以直按将工具提供的开源版本依赖库安装包下载到本地,然后上传至目标服务器进行安装使用答案:A解析:6.[单选题]以下哪个类型的云硬盘的最大吞吐量可以达到350MB/s?A)节通IOB)抛七IOC)高IOD)走超高IO答案:D解析:7.[单选题]对于采用GPU硬件虚拟化技术的桌面虚拟机，一个vGPU最多可以绑定给几个桌面虚拟机使用?A)1个B)无数个C)32个D)3个答案:A解析:8.[单选题]如图所示，两台私网主机之间希望通过GRE隧道进行通信，当GRE隧道建立之后，网络管理员需要在RTA 上配置一条静态路由，将主机A访问主机B的流量引入到隧道中，则下面关于静态路由配道能满足需求的是(）。

•云计算与大数据概述•华为云计算核心技术解析•华为大数据处理平台介绍•华为云计算在各行各业应用案例分享目录•华为大数据解决方案展示与探讨•培训总结与展望未来发展趋势云计算定义及发展历程云计算定义发展历程大数据概念及价值挖掘大数据概念价值挖掘大数据领域华为在大数据领域提供从数据采集、存储、处理到分析的全流程解决方案，以及大数据平台和工具，帮助企业实现数据价值挖掘。

云计算领域华为在云计算领域提供全栈式解决方案，包括基础设施、平台服务和应用服务三个层面，涵盖了计算、存储、网络、安全等方面。

生态合作华为积极与合作伙伴和开发者合作，共同构建云计算和大数据生态，推动产业的发展和创新。

华为在云计算大数据领域布局KVM（Kernel-based Virtual M…基于Linux内核的虚拟化技术，通过直接调用硬件资源实现高性能的虚拟化。

虚拟机管理包括虚拟机的创建、启动、停止、迁移等操作，以及虚拟机资源的动态调整。

虚拟计算资源管理实现CPU、内存等计算资源的虚拟化，提供弹性可扩展的计算能力。

分布式存储技术存储资源管理数据保护技术030201SDN（Software-Defined Netwo…通过软件定义网络的方式，实现网络资源的灵活调度和管理。

网络功能虚拟化将网络功能以软件的形式运行在通用硬件上，降低网络建设和运营成本。

虚拟网络技术包括虚拟交换机、虚拟路由器等技术，构建高效、安全的虚拟网络环境。

容器技术与微服务架构Docker容器技术01Kubernetes容器编排技术02微服务架构03分布式存储分布式计算实时数据处理数据挖掘与机器学习FusionInsight平台架构及功能特性数据采集、存储与处理流程支持多种数据源接入，包括关系型数据库、NoSQL数据库、文件系统等。

采用分布式文件系统存储数据，支持数据备份和恢复。

提供数据清洗、转换、聚合等处理功能，支持SQL查询和编程接口。

支持多种数据输出格式，包括CSV、JSON、Parquet等。

2013年7月21日星期日华为大数据解决方案介绍FusionInsight Hadoop大数据定义和发展历史 1 大数据在其他行业的应用2 FusionInsight Hadoop 企业版介绍4 FusionInsight Hadoop 成功实践5大数据在运营商的应用与挑战3业界大数据定义大数据（英语：Big data[1][2]），或称巨量资料、海量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

网络上每一笔搜索，网站上每一笔交易，敲打键盘，点击鼠标的每一个输入都是数据，整理起来分析排行，它的功能可不仅仅止于事后被动了解市场，搜集起来的资料还可以被规画，引导开发更大的消费力量。

Data-intensive computing：Data-intensive computing is a class of parallel computing applications which use a data parallel approach to processing large volumes of data typically terabytes or petabytes in size and typically referred to as Big Data. Computing applications which devote most of their execution time to computational requirements are deemed compute-intensive and typically require small volumes of data, whereas computing applications which require large volumes of data and devote most of their processing time to I/O and manipulation of data are deemed data-intensive.大数据发展历史2003Greenplum 2005Aster Data Vertica ParAccel 2006Hadoop 创始 人根据谷歌论 文创建原型 2008Hadoop 在 Yahoo 实验室完成孵化2010、2011华为在SmartCare 解决方案中集成Hadoop 、流处理、MPP DB 并在2012年推出大数据解决方案平台产品家族FusionInsight IBM 推出大数据系列产品InfoSphere BigInsights, StreamsEMC 收购Greenplum ，与MapR 合作，推出Greenplum HDHP 收购Vertica技术趋势：封闭平台日渐路窄，开放创新势不可挡传统大数据平台公司被迫开源，大公司加入Apache Hadoop 开源生态系统开源生态系统继续保持活力，相关创新日趋加速2010Q2发布InfoSphere BigInsights2011Q4放弃自研平台，发布HDInsight 2011Q2，发布Greenplum HD2011Q2,LexisNexis RiskSolutions‘ High Performance Computing Cluster will be offered as open source code pitting it against Hadoop. 但是为时已晚，HPCC 将被迫局限在较小的市场。

FusionInsight大数据平台部署指南目录1前言 (3)2设备采购 (3)3安装部署模式 (3)4其余注意事项 (8)5附件 (9)1 前言本指南的目的在于指导地区部、供应商、HALP购买设备，以及配置服务器，存储等硬件设备，网络连接与物理设备连接。

注：FusionInsight HD系统支持通用的X86服务器（不限于服务器），可根据自身需求灵活选择。

2 设备采购3 安装部署模式3.1 使用虚拟化虚拟机安装部署FusionInsightFusionInsight大数据分析平台支持使用虚拟机的形式部署FusionInsight节点，从而充分利用物理硬件的计算、存储、网络资源。

如果当前环境为实验用途推荐使用虚拟化的方式安装与部署FusionInsight 节点。

以下配置为使用虚拟化平台最小规模部署FuisonInsight全组件（管理节点、控制节点和数据节点合并部署），虚拟机具体硬件与操作系统需求如下：3.1.1 虚拟机硬件与操作系统需求：其他硬件：3.1.2 每虚拟机操作系统分区需求：3.1.3 虚拟机端口组配置与互联交换机配置：3.1.4 虚拟化平台逻辑拓扑结构3.2 使用物理主机平台安装部署FusionInsight为了保证FusionInsight大数据分析平台运行的效率与性能，可以使用物理主机的形式安装、部署Huawei FusionInsight大数据分析平台。

以下下配置为使用物理主机形式最小规模部署FuisonInsight节点（管理节点、控制节点和数据节点合并部署），物理主机具体硬件与操作系统如下：3.2.1 服务器硬件与操作系统需求其他硬件：3.2.2 服务器操作系统分区需求3.2.3 服务器物理组网与交换机需求3.2.4 物理组网逻辑拓扑4 其余注意事项实验教材建议由讲师讲解后，学生单独完成，如果需要故障排除，讲师可以参与。

另外实验时，为避免残余配置对实验的影响，要求学生在实验完成后，关闭设备之前清空设备保存的配置信息；同时，实验开始时，确认设备从空配置启动，否则执行配置清空，并重启设备。

●大数据的本质：就是物理世界在数字世界的映像，比如：每年节假日的人流迁移方向，都会在数字世界中记录。

●现实世界的现象，也可以通过大数据分析发现其背后的逻辑关系。

比如：当暴雨来临时，可以看到海鸟低飞。

通过分析发现，海鸟低飞是由于很多鱼儿浮游到海水表面，海鸟可以方便的捕食；为什么鱼儿要游到海面呢？原来是暴雨来临时，水里气压增大，鱼儿浮游到海面可以更方便的呼吸。

这些，都可以通过大数据分析得出表象背后的联系。

1●维基百科：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。

●IDC：一般会涉及2种以上数据形式，数据量100T以上，且是高速、实时数据流；或者从小数据开始，但数据每年增长60%。

●数据量过于庞大；大数据多样化格式；大数据价值密度低；存储和处理成本高。

●现有的技术模型已经很难满足大数据处理和分析的要求，作为数据的处理流程环节，计算/存储/网络/数据库等都会成为新的瓶颈。

需要新技术来匹配。

●华为FusionInsight是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力，可解决各大企业的以下需求。

FusionInsight的Hadoop层提供大数据处理环境，基于社区开源软件增强，按照场景选择业界最佳实践。

●FusionInsight的DataFarm层提供支撑端到端数据洞察，构建数据到信息到知识到智慧的数据供应链，其中包括相对独立的数据集成服务Porter，数据挖掘服务Miner和数据服务框架Farmer。

●FusionInsight Manager是一个分布式系统管理框架，管理员可以从单一接入点操控分布式集群，包括系统管理（OM/NTP/灾备）、数据安全管理和数据治理。

●FusionInsight Stream：提供实时流处理平台。

●FusionInsight Farmer：提供数据服务框架，大数据实时应用使能器，支撑企业快速开发基于大数据平台的应用。

让数据慧说话，让企业更智能华为FusionInsight大数据解决方案概述华为FusionInsight大数据解决方案，快速集成结构化、半结构化和非结构化等多种数据，支持离线分析、实时流处理、实时检索、交互查询等各种数据处理能力，针对政府、金融、运营商、公共安全等数据密集型行业的客户需求，打造了敏捷、智慧、融合的大数据解决方案，让客户可以更快、更准、更稳的从各类繁杂无序的海量数据中发现价值，助力政府高效治理和企业卓越经营。

FusionInsight大数据平台包括HD数据底座、数据使能工具(DLF、RTD)与数据服务HDS。

2017年10月，IDC发布的《IDC MarketScape：中国大数据管理平台厂商评估，2017》报告中，华为FusionInsight 大数据平台位居领导者象限第一。

2017~2019年华为FusionInsight大数据连续3年入围Gartner Magic Quadrant for Data Management Solutions for Analytics，中国区厂商排名第一。

政务互联网+政务服务：一号一窗一网，数据多跑路，群众少跑腿，流程审批效率提升50%以上；个人或者企业办事只跑1次，提高效率和民生满意度。

城市IOC：城市运行实况直播，城市服务可视化；有效地利用数据，提升政府决策能力。

智慧海关：基于实时大数据技术，结合物流、税收、检疫风险规则、参数、模型；构建实时风控平台，缩短通关时间，提升关税征收准确性，提升查验率和查获率。

金融智慧营销：提升客户洞察能力，提高获客、挽客率和客户满意度；优化营销资源配置，提升人均销售业绩和效益。

智慧风控：信用卡全流程数据化运营，提升实时风控、实时征信、精准获客、分期预测、催收风控能力。

公共安全警务大数据：融合不同警种和各级单位数据，由“事后打”向“事前防”转变，汗水警务 向 智慧警务演进，实现协同研判和作战，提升办案效率。

视频大数据：应用和算法平台解耦；支持千亿级多维数据秒级检索，提升案件研判效率。