通过自定义fact增强MCollective推送更新元数据的灵活性

大数据华为认证考试(习题卷3)第1部分：单项选择题，共51题，每题只有一个正确答案,多选或少选均不得分。

1.[单选题]ElasticSearch 存放所有关键词的地方是()A)字典B)关键词C)词典D)索引答案:C解析:2.[单选题]DWS DN的高可用架构是：（ ）。

A)主备从架构B)一主多备架构C)两者兼有D)其他答案:A解析:3.[单选题]关于Hive与传统数据仓库的对比，下列描述错误的是:（ ）。

A)Hive元数据存储独立于数据存储之外，从而解耦合元数据和数据，灵活性高，二传统数据仓库数据应用单一，灵活性低B)Hive基于HDFS存储，理论上存储可以无限扩容，而传统数据仓库存储量有上限C)由于Hive的数据存储在HDFS上，所以可以保证数据的高容错，高可靠D)由于Hive基于大数据平台，所以查询效率比传统数据仓库快答案:D解析:4.[单选题]以下哪种机制使 Flink 能够实现窗口中无序数据的有序处理?（）A)检查点B)窗口C)事件时间D)有状态处理答案:C解析:5.[单选题]下面（ ）不是属性选择度量。

A)ID3 使用的信息增益B)C4.5 使用的增益率C)CART 使用的基尼指数D)NNM 使用的梯度下降答案:D解析:C)HDFSD)DB答案:C解析:7.[单选题]关于FusionInsight HD Streaming的Supervisor描述正确的是:（ ）。

A)Supervisor负责资源的分配和任务的调度B)Supervisor负责接受Nimbus分配的任务，启动停止属于自己管理的Worker进程C)Supervisor是运行具体处理逻辑的进程D)Supervisor是在Topology中接收数据然后执行处理的组件答案:B解析:8.[单选题]在有N个节点FusionInsight HD集群中部署HBase时、推荐部署（ ）个H Master进程，（ ）个Region Server进程。

ict大数据试题库（含答案）1、您可以将全部或部分云服务器的详情信息导出至本地，文件格式为()A、.docxB、.xlsC、.docD、.xlsx答案：B2、在Linux日志安全设置中，用户操作日志不包括以下哪项()。

A、账号创建B、登录是否成功C、口令修改D、权限修改答案：B3、以下不属于马尔可夫随机场模型与条件随机场模型的差别的是(____)。

A、马尔可夫随机场处理条件概率，条件随机场处理联合概率B、马尔可夫随机场处理联合概率，条件随机场处理条件概率C、马尔可夫随机场是生成式模型，条件随机场是判别式模型D、马尔可夫随机场与条件随机场都是无向图模型答案：A4、云计算通过共享()的方法将巨大的系统池连接在一起。

A、软件B、CPUC、基础资源D、处理能力答案：C5、在云计算平台中，()软件即服务。

A、QaaSB、SaaSDC、PaaSCD、IaaSB答案：B6、关于数据服务中，app说法正确的是:（）。

A、一个APP只能申请一个API的权限B、一个用户只能创建一个APPC、一个用户可以创建多个APP，一个 APP可以申请多个API的权限D、一个API只能被一个APP使用答案：C7、数据库实例状态为“规格变更中”，表示实例正在()。

A、正在修改数据库实例的数据库端口B、数据库实例的磁盘空间扩容中C、数据库代理的CPU和内存规格变更中D、数据库实例的CPU和内存规格变更中答案：D8、()用户可以对对配额管理下资源池配置选择。

A、VDC审批员B、VDC只读管理员C、VDC业务员D、VDC管理员答案：D9、云硬盘扩容时，下列哪项是不正确的()？A、在线扩容磁盘时，磁盘所挂载的实例状态必须为“运行中”或者“关机”B、配置了容灾服务CSHA/CSDR/VHA的磁盘不支持扩容C、磁盘所在后端存储类型为异构存储时，支持在线扩容D、磁盘状态为“预留”或“维护”时不支持扩容答案：C10、DAYU批量数据迁移（Cloud Data Migration）提供（）数据源之间批量数据迁移服务，帮助您实现数据自由流动。

1+x初级云计算考试模拟题（附答案）一、单选题（共60题，每题1分，共60分）1、下列选项中哪个不是软件需求规格目标?A、便于软件维护B、控制系统的实施过程C、便于用户.分析员和软件设计人员进行理解及交流D、作为软件测试和验收以及维护的依据正确答案：A2、SQL线程通过读取______文件中的日志,并解析成具体操作,来实现主从的操作一致,最终达到数据一致。

A、i/o logB、binlogC、relay logD、sql log正确答案：C3、下面关于ADocker Image说法错误的是?A、镜像是一个只读模板B、由Dockerfile文本描述镜像的内容C、镜像定义类似面向用户的类D、构建一个镜像实际就是安装.配置和运行的过程正确答案：C4、Amazon SWF中的SWF代表什么?A、简单的工作流程B、简单的工作流程形成C、简单的Web表单D、简单的工作自动化正确答案：A5、下面哪个说法是正确的。

A、重新开发一个新系统通常要比再工程的成本要低B、只有质量差的软件产品才需要维护C、软件的不断修改将导致系统结构的恶化D、软件的维护成本通常比开发成本低正确答案：C6、以下Cinder命令可以查询云硬盘列表的是?A、cinder volume listB、cinder volume showC、cinder showD、cinder list正确答案：D7、Docker制作镜像的时候,通常使用以下哪种方式来构建A、DockerfileB、Docker composeC、Docker SwarmD、Docker Machine正确答案：A8、读写分离中以下哪个是从库负责的功能?A、查B、增C、删D、改正确答案：A9、下面哪个用户用于存放用户密码信息?A、/varB、/etcC、/devD、/boot正确答案：B10、您可以向一个帐户添加多少个S3存储桶?A、100B、默认为100,但是可以通过联系AWS来增加。

存储HCIP试题与参考答案一、单选题（共38题，每题1分，共38分）1.同事为客户定制双活容灾方案，客户已经有套第三方存储系统，计划新购置一套OceanStor5300V3，把这两套设备分别放置到两个数据中心实施双活容灾，该方案：A、可行，存储设备满自足双活容灾方案要求。

B、不可行，双活容灾方案需要至少两套OceanStorV3存储。

C、不可行，双活容灾方案只支持华为存储，不支持第三方存储。

正确答案：B2.某客户初始备份容量为1T，平均每天数据增量10G，备份策略是每周做一次全备，周二到周日每天一次差异增备，全备和增备数据的保存周期均为4周，在不考虑重删，冗余比，复制等的情况下所需的后端容量应该不少于哪个值？A、4940GB.B、4280GB.C、5940GB.D、5280GB.正确答案：C3.华为分布式存情块服务的压缩功能，哪个选项描述是正确的A、压缩引擎采用三种不同压缩算法组合运行B、在同一个存储池只能选择一个压缩算法C、存储池压缩算法的修改会影响已经压缩的数据D、同一个存储池可以选择多种压缩算法，提高压缩速度和比例正确答案：D4.关于源端重删，以下描述不正确的是哪一项？A、当数据从源端传输到目标端的过程中，在源端先对被传输的数据块进行哈希比对并去重。

B、占用源端资源进行去重处理。

C、只需要将新数据块的数据传输到目标端，无需传输老数据块相关的信息D、相比目标端重删可节约传输带宽。

正确答案：C5.华为UltaPath提供多种负载均衡算法，会根据每个io请求的块大小计算出总体负载数据量，然后进行负载均和的算法是以下哪种算法？A、least-blockB、round-robinC、least-into正确答案：A6.下面哪项属于oceanstor18000存储系列产品RAID2.0+技术支持的自动负载均衡技术？A、smartmotionB、smarttierC、smartqosD、smartpartition正确答案：A7.华为本地高可用方案中，如果采用HyperMirror特性，那么还必须使用哪种特性才能对异构存储整列创建镜像。

HCIA1、下列选项中无法通过大数据技术实现的是。

( ) [单选题] ——[单选题]A 商业模式发现B 信用评估C 商品推荐D 运营分析正确答案：A2、假设每个用户最低资颜保设置为yarn, scheduler，capacity, root，QueueA minimun-user-limit-percent=24则以下说法错误的是? ( ) [单选题]——[单选题]A 第3个用户提交任务时，每个用户最多获得33、B 第2个用户提交任务时，每个用户最多获得50%的资源C 第4个用户提交任务时，每个用户最多获得25%的资源D 第5个用户提交任务时，每个用户最多获得20%的资源正确答案：D3、Spark 自带的资源管理框架是? ( ) [单选题]——[单选题]A StandalB MesosC YARND Docker正确答案：B4、关于RDD, 下列说法错误的是? ( ) [单选题]——[单选题]A RDD具有血统机制(Lineage)B RDD默认存储在磁盘C RDD是一个只读的，可分区的分布式数据集D RDD是Spark对基础数据的抽象正确答案：B5、关于Hive在FusionInsight HD 中的架构描述错误的是? ( )[单选题]——[单选题]A 只要有一个HiveServer不可用，整个HiveB MotaStore用于提供元数据服务，依赖于DBServiceC 在同一时间点，HiveServer只要一个处于Active状态，另一个则处于StandbyD HiveServer负责接收客户端请求，解析执行HQL命令并返回查询结果正确答案：A6、通常情况下，Hire以文本文件存储的表会以回车作为其行分隔符，在华为FusionInsightHive中，可以指定表数据的输入和输出格式处理。

( ) [单选题]——[单选题]A TRUEB FALSE正确答案：A7、Topology在任务完成后会自动结来运行。

存储HCIP习题库及参考答案一、单选题（共40题，每题1分，共40分）1、对源 lun 做了一次快照后，在同一位置进行修改后，修改后的数据会写在哪个位置？A、独享映射表B、快照卷C、原卷D、cow 卷正确答案：C2、下列哪个接口模块是 SX6018 上用于升级防火墙软件以及其他高级调试的:A、I2C 接口B、管理网口C、USB 接口D、CONSOLE 口正确答案：A3、关于存储层数据复制容灾技术，以下哪种说法是正确的?A、减少对服务器性能的影响：兼容性要求比较高，选择面小。

B、技术成熟，选择面大，连接距离限制小，稳定性高。

C、投入较少，兼容性好。

影响服务器性能。

D、服务器上安装专用的数据复制软件。

正确答案：B4、NAS 系统专注对于以下哪种类型的数据进行存储和管理?A、小块消息B、连续数据块C、大块数据D、文件数据正确答案：D5、帐户是使用对象存储服务（兼容 Amazon S3 接口）的凭证，其管理功能不包括：A、证书管理B、跨域访问策略管理C、签约业务管理D、帐户基本管理正确答案：B6、先把数据块存储在缓存中，等系统空闲时再进行去重处理。

优点是不影响数据传输性能，缺点是需要额外的存储空间“。

以上描述的是哪种重删技术，A、全局重删B、并行重删C、源端重删D、目标端重删正确答案：D7、HyperSnap 的共享映射表存放在哪个位置?A、COW DataB、Source LUNC、Cow MetaD、Snapshot LUN正确答案：C8、在存储规划设计流程中，以下哪一项不属于业务规划流程（）A、网络规划B、容量规划C、基础业务D、增值功能正确答案：C9、在 oceanstor v3 存储中，edevlun 哪个信息是有华为存储直接提供的存储空间A、external lunB、meta volumeC、taget lunD、data volume正确答案：B10、关于华为 Oceanstor 9000 系统的组网,以下哪个选项描述是正确的?A、前端业务网络的交换机可进行堆叠,后端存储网络交换机不推荐进行堆叠B、无论是前端业务网络、还是后端存储网络,都推荐使用两台交换机连接所有的节点,实现冗余C、仅需要将存储节点连接到管理网络,其他设备不需要连接到管理网络D、为满足管理需求,仅需要集群的前三个节点连接到管理网络正确答案：B11、下列关于 FusionStorago 管理网络描述错误的是:A、只部署 FusionStorage 文件或对象存储服务,集群中前 3~5 个节点作为管理节点,并为其分配 1 个管理网络 IP 地址,自动在这几个节点的NIC1 接口上浮动B、部署了 DSS/OMS /FSM 的节点,两个接口组成逻辑上的 bond 接口,为bond 接口分配 1 个管理网络 IP 地址。

存储HCIP复习题及答案一、单选题（共38题，每题1分，共38分）1.以下哪个协议不属于NAS协议A、CIFSB、NFSC、FTPD、FC正确答案：D2.华为18000v3系列产品引擎间的控制信息流和业务数据流通过以下哪个部件来传输的A、kvmB、pcie交换机C、svpD、10ge交换机正确答案：B3.在oceanstorv3存储中，NFS不支持如下哪一种验证方式？A、NISB、LADPC、本地认证D、AD域正确答案：D4.关于华为Oceanstor9000系统的组网,以下哪个选项描述是正确的?A、无论是前端业务网络、还是后端存储网络,都推荐使用两台交换机连接所有的节点,实现冗余B、仅需要将存储节点连接到管理网络,其他设备不需要连接到管理网络C、前端业务网络的交换机可进行堆叠,后端存储网络交换机不推荐进行堆叠D、为满足管理需求,仅需要集群的前三个节点连接到管理网络正确答案：A5.下面属于华为存储danger类型的高危命令的时哪个命令？A、rebootsystemB、importconfiguration_dataC、changalarmclearsequencelist=3424D、showalarm正确答案：A6.某客户单位购买了9台OceanStor9000存储节点,规划部署时要求任意三块硬盘一个存储节点故障,不影响数据的完整性,且整体存储空间利用率不低于80%,以下选项中元余配比合适的是:A、6+3B、6+3:1C、8+1D、16+3:1正确答案：D7.同事为客户定制华为双活容灾方案，客户已经有一套OceanStorS5500TV2和一套第三方存储系统，把这两套设备分别放置到两个数据中心实施双活容灾，该方案：A、不可行，主备容灾方案需要至少套OceanStorV3存储。

B、不可行，主备容灾方案需要至少套OceanStor5300V3及以上型号的存储系统才能实现。

C、可行，存储设备满足双活容灾方案要求。

Pentaho Data Integration 完全自学手册（孟菲斯著）文档目录文档目录 (2)更新记录 (17)第一章.KETTLE 基础介绍 (18)1.1.核心组件 (18)1.2.组成部分 (18)1.3.概念模型 (19)1.3.1.Transformation（转换） (19)1.3.2.Steps（步骤） (20)1.3.3.Hops（节点连接） (20)1.3.4.Jobs（工作） (20)1.3.5.Variable（变量） (21)1.3.5.1.设置环境变量 (21)1.3.5.2.设置变量 (21)1.4.查看版本 (22)1.5.选项设置 (23)第二章.KETTLE 环境搭建 (25)2.1.单机部署 (25)2.1.1.下载kettle (25)2.1.2.安装kettle (25)2.1.3.运行Spoon (25)2.2.集群部署 (26)1. Carte简介 (26)2. Carte部署配置 (26)2.1 启动方法 (26)2.2 启动配置 (26)2.3 Carte xml文件配置详解 (27)2.3.1 slaveserver节点 (28)2.3.2 masters节点 (28)2.3.3 report_to_masters节点 (28)2.3.4 max_log_lines节点 (28)2.3.5 max_log_timeout_minutes节点 (28)2.3.6 object_timeout_minutes节点 (29)2.3.7 (*) repository节点 (29)3. Carte集群 (29)3.1 普通集群 (30)3.2 动态集群 (30)2.3.运行方式 (30)2.3.1.转换执行器Pan (30)2.3.1.2.Pan 实例讲解：Windows (31)2.3.1.3.Pan 实例讲解：Linux (31)2.3.2.任务执行器Kitchen (32)2.3.2.1.Kitchen 参数介绍 (32)2.3.2.2.Kitchen 实例讲解：Windows (33)2.3.2.3.Kitchen 实例讲解：Linux (34)2.4.定时任务 (35)2.4.1.Windows (35)2.4.2.Linux (35)第三章.KETTLE 基本功能 (40)3.1.新建转换 (40)3.1.1.方法1 (40)3.1.2.方法2 (40)3.1.3.方法3 (41)3.1.4.主对象树 (41)3.1.5.核心对象 (42)3.1.6.新建数据库连接 (42)3.2.转换实例 (43)3.2.1.转换实例1 (43)3.2.2.转换实例2 (43)3.3.新建作业 (44)3.3.1.方法1 (44)3.3.2.方法2 (44)3.3.3.方法3 (45)3.3.4.主对象树 (45)3.3.5.核心对象 (46)3.4.作业实例 (46)3.4.1.作业实例1 (46)3.4.2.作业实例2 (46)第四章.KETTLE 设计环境 (46)4.1.T RANSFORMATION：转换步骤(24-228) (46)4.1.1.Input：输入(38) (46)4.1.1.1.Csv file input (46)4.1.1.1.1.功能描述 (47)4.1.1.1.2.操作步骤 (47)4.1.1.1.3.实例讲解 (48)4.1.1.2.DataGrid (48)4.1.1.3.De-serialize from file：文件反序列化 (48)4.1.1.4.ESRI Shapefile Reader (48)4.1.1.5.Email messages input (48)4.1.1.6.Fixed file input (48)4.1.1.7.GZIP CSV Input (48)4.1.1.9.Generate random credit card numbers (48)4.1.1.10.Generate random value (49)4.1.1.11.Get File Names (49)4.1.1.12.Get Files Rows Count (49)4.1.1.13.Get SubFolder names (49)4.1.1.14.Get System Info：获取系统信息 (49)4.1.1.14.1.功能描述 (50)4.1.1.14.2.操作步骤 (51)4.1.1.14.3.实例讲解 (52)4.1.1.15.Get data from XML (53)4.1.1.16.Get repository names (53)4.1.1.17.Get table names (53)4.1.1.18.Google Analytics (53)4.1.1.19.HL7 Input (53)4.1.1.20.JSON Input (53)4.1.1.21.LDAP Input (53)4.1.1.22.LDIF Input (54)4.1.1.23.Load file content in memory (54)4.1.1.24.Microsoft Access input (54)4.1.1.25.Microsoft Excel Input (54)4.1.1.25.1.功能描述 (54)4.1.1.25.2.操作步骤 (54)4.1.1.25.2.1.指定文件名 (55)4.1.1.25.2.2.指定内容 (55)4.1.1.25.2.3.字段 (55)4.1.1.25.2.4.错误处理 (55)4.1.1.25.2.5.其他输出字段 (55)4.1.1.25.3.实例讲解 (55)4.1.1.26.Mondrian Input (55)4.1.1.27.OLAP Input (56)4.1.1.28.Property Input (56)4.1.1.29.RSS Input (56)4.1.1.30.S3 CSV Input (56)4.1.1.31.SAP Input (56)4.1.1.32.SAS Input (56)4.1.1.33.SalesForce Input (56)4.1.1.34.Table input：表输入 (56)4.1.1.34.1.功能描述 (56)4.1.1.34.2.操作步骤 (57)4.1.1.34.3.实例讲解 (58)4.1.1.35.Text file input：文本文件输入 (58)4.1.1.35.1.功能描述 (58)4.1.1.35.2.操作步骤 (58)4.1.1.35.2.2.从先前的步骤中接受文件名 (59)4.1.1.35.2.3.内容指定 (59)4.1.1.35.2.4.错误处理 (62)4.1.1.35.2.5.过滤 (63)4.1.1.35.2.6.字段 (64)4.1.1.35.2.7.其他输出字段 (65)4.1.1.35.3.格式化 (65)4.1.1.35.3.1.Number格式化 (65)4.1.1.35.3.2.Date格式化 (66)4.1.1.35.3.3.其它 (66)4.1.1.35.4.实例讲解 (67)4.1.1.36.XBase input：XBase输入 (67)4.1.1.36.1.功能描述 (67)4.1.1.37.XML Input Stream(StAX) (67)4.1.1.37.1.功能描述 (67)4.1.1.38.Yaml Input (69)4.1.2.Output：输出(22) (69)4.1.2.1.Automatic Documentation Output (69)4.1.2.2.Delete：删除 (69)4.1.2.2.1.功能描述 (69)4.1.2.2.2.操作步骤 (69)4.1.2.3.Insert / Update：插入/更新 (70)4.1.2.3.1.功能描述 (70)4.1.2.3.2.操作步骤 (71)4.1.2.4.JSON Output (72)4.1.2.5.LDAP Output (72)4.1.2.6.Mircosoft Access Output (72)4.1.2.7.Mircosoft Excel Output：Excel输出 (72)4.1.2.7.1.功能描述 (72)4.1.2.7.2.操作步骤 (72)4.1.2.8.Pentaho Reporting Output (75)4.1.2.9.Properties Output (75)4.1.2.10.RSS Output (75)4.1.2.11.S3 File Output (75)4.1.2.12.SQL File Output (75)4.1.2.13.Saleforce Delete (75)4.1.2.14.Saleforce Insert (75)4.1.2.15.Saleforce Update (75)4.1.2.16.Saleforce Upsert (75)4.1.2.17.Serialize to file (75)4.1.2.18.Synchronize after merge (76)4.1.2.19.Table output (76)4.1.2.19.1.功能描述 (76)4.1.2.20.Text file output：文本文件输出 (79)4.1.2.20.1.功能描述 (79)4.1.2.20.2.操作步骤 (80)4.1.2.21.Update：更新 (81)4.1.2.21.1.功能描述 (81)4.1.2.21.2.操作步骤 (82)4.1.2.22.XML Output (83)4.1.3.Transform：转换(26) (84)4.1.3.1.Add XML (84)4.1.3.2.Add a checksum (84)4.1.3.3.Add constants：增加常量 (84)4.1.3.3.1.功能描述 (84)4.1.3.3.2.操作步骤 (84)4.1.3.4.Add sequence (85)4.1.3.4.1.功能描述 (85)4.1.3.4.2.操作步骤 (85)4.1.3.5.Add value fields changing seqence (86)4.1.3.6.！Calculator：计算器 (86)4.1.3.6.1.功能描述 (87)4.1.3.6.2.操作步骤 (88)4.1.3.7.Closure Generator (89)4.1.3.8.Concat Fields (89)4.1.3.9.Get ID From slave server (89)4.1.3.10.Number range (89)4.1.3.11.Replace in string：字符串替换 (89)4.1.3.11.1.功能描述 (89)4.1.3.11.2.操作步骤 (89)4.1.3.12.！Row Normaliser：行转列 (90)4.1.3.12.1.功能描述 (90)4.1.3.12.2.操作步骤 (91)4.1.3.13.Row denormaliser：列转行 (92)4.1.3.13.1.功能描述 (92)4.1.3.13.2.操作步骤 (92)4.1.3.14.！Row flattener：行扁平化 (92)4.1.3.14.1.功能描述 (93)4.1.3.14.2.操作步骤 (93)4.1.3.15.！Select values：字段选择 (94)4.1.3.15.1.功能描述 (94)4.1.3.15.2.操作步骤 (95)4.1.3.16.Set field value (96)4.1.3.17.Set field value to a constant (96)4.1.3.18.Sort rows (96)4.1.3.18.1.功能描述 (96)4.1.3.19.Split Fields:拆分字段 (97)4.1.3.19.1.功能描述 (97)4.1.3.19.2.操作步骤 (97)4.1.3.20.Split Fields to rows (99)4.1.3.21.String operations (99)4.1.3.22.String cut：裁剪字符串 (99)4.1.3.22.1.功能描述 (99)4.1.3.22.2.操作步骤 (99)4.1.3.23.Unique rows：去除重复记录 (100)4.1.3.23.1.功能描述 (100)4.1.3.23.2.操作步骤 (100)4.1.3.25.！Value Mapper：值映射 (101)4.1.3.25.1.功能描述 (101)4.1.3.25.2.操作步骤 (101)4.1.3.26.XSL Transformation (103)4.1.4.Utility(15) (103)4.1.4.1.Change file encoding (103)4.1.4.2.Clone row (103)4.1.4.3.Delay row (103)4.1.4.4.Edit to xml (103)4.1.4.5.Execute a process (103)4.1.4.6.If field value is null (103)4.1.4.7.Mail (103)4.1.4.8.Metadata structure of stream (103)4.1.4.9.Null if：设置为空值 (103)4.1.4.9.1.功能描述 (103)4.1.4.10.Process files (104)4.1.4.11.Run SSH commands (104)4.1.4.12.Send message to Syslog (104)4.1.4.13.Table Compare (104)4.1.4.14.Write to log (104)4.1.4.15.Zip file (104)4.1.4.15.1.功能描述 (104)4.1.4.15.2.操作步骤 (104)4.1.5.Flow(16) (106)4.1.5.1.Abort：中止 (106)4.1.5.1.1.功能描述 (106)4.1.5.2.Annotate Stream (106)4.1.5.3.Append streams：追加流 (106)4.1.5.3.1.功能描述 (106)4.1.5.3.2.操作步骤 (106)4.1.5.4.Block this step unitil steps finish (107)4.1.5.5.Blocking Step：阻塞数据 (107)4.1.5.5.2.操作步骤 (107)4.1.5.6.Detect empty stream (108)4.1.5.7.Dummy (do nothing)：空操作（什么也不做） (108)4.1.5.7.1.功能描述 (108)4.1.5.8.ETL Metadata Injection (109)4.1.5.9.！Filter rows: 过滤记录（过滤行） (109)4.1.5.9.1.功能描述 (109)4.1.5.9.2.操作步骤 (109)4.1.5.10.Identify last row in a stream (110)4.1.5.11.Java fileter (111)4.1.5.12.Job Executor (111)4.1.5.13.Prioritize streams (111)4.1.5.14.Single Threader (111)4.1.5.15.Switch / Case (111)4.1.5.15.1.功能描述 (111)4.1.5.15.2.操作步骤 (111)4.1.5.16.Transformation Executor (113)4.1.6.Scripting(9) (113)4.1.6.1.！Execute SQL script：执行SQL脚本 (113)4.1.6.1.1.功能描述 (113)4.1.6.1.2.操作步骤 (114)4.1.6.1.3.实例讲解 (115)4.1.6.2.Execute row SQL script：执行SQL脚本（字段流替换） (116)4.1.6.2.1.功能描述 (116)4.1.6.2.2.操作步骤 (116)4.1.6.3.Formula (117)4.1.6.4.！Modified Java Script Value (118)1)Transformation scripts (118)2)Transformation constants (118)3)Transformation functions (118)1)过滤Null字段 (119)2)字符串截取 (119)3)过滤记录行，控制转换流程 (119)4)使用java类库 (119)4.1.6.4.1.实例讲解 (124)4.1.6.5.Regex Evaluation (124)4.1.6.6.Rules Accumulator (124)4.1.6.7.Rules Executor (124)er Defined Java Class (124)er Defined Java Expression (124)4.1.7.BA Server(3) (125)4.1.7.1.Call endpoint (125)4.1.7.2.Get session varables (125)4.1.8.Lookup(15) (125)4.1.8.1.！Call DB Procedure：调用DB存储过程 (125)4.1.8.1.1.功能描述 (125)4.1.8.1.2.操作步骤 (125)4.1.8.2.Check if a column exists (127)4.1.8.3.Check if file is locked (127)4.1.8.4.Check if webservice is available (127)4.1.8.5.！Database join：数据库连接 (127)4.1.8.5.1.功能描述 (127)4.1.8.5.2.操作步骤 (127)4.1.8.6.！Database lookup：数据库查询 (128)4.1.8.6.1.功能描述 (129)4.1.8.6.2.操作步骤 (129)4.1.8.7.Dynamic SQL row (131)4.1.8.8.File exists (131)4.1.8.9.Fuzzy match (131)4.1.8.10.HTTP client (131)4.1.8.10.1.功能描述 (131)4.1.8.10.2.操作步骤 (131)4.1.8.11.HTTP Post (132)4.1.8.12.REST Client (132)4.1.8.13.Stream lookup (132)4.1.8.14.Table exists (132)4.1.8.15.Web services lookup (132)4.1.9.Joins(6) (133)4.1.9.1.！Join Rows(Cartesian product)：记录关联（笛卡尔输出） (133)4.1.9.1.1.功能描述 (133)4.1.9.2.！Merge join (133)4.1.9.2.1.功能描述 (133)4.1.9.3.！Merge Rows (diff) (134)4.1.9.4.Multiway Merge Join (134)4.1.9.5.Sorted Merge (134)4.1.9.6.XML Join (134)4.1.10.Data Warehouse(2) (135)4.1.10.1.！Combination lookup/update (135)4.1.10.2.！Dimension lookup/update (135)4.1.11.Validation(4) (136)4.1.11.1.Credit card validator (136)4.1.11.2.Data Validator (136)4.1.11.3.Mail Validator (136)4.1.11.4.XSD Validator (136)4.1.12.！Statistics：统计(7) (136)4.1.12.1.Analytic Query (136)4.1.12.2.1.功能描述 (136)4.1.12.2.2.操作步骤 (136)4.1.12.3.Memory Group by (138)4.1.12.4.Output steps metrics (138)4.1.12.5.Reservoir Sampling (138)4.1.12.6.Sample rows (138)4.1.12.7.Univariate Statistics (138)4.1.13.Big Data(13) (138)4.1.13.1.Avro Input (138)4.1.13.2.Cassandra Input (138)4.1.13.3.Cassandra output (138)4.1.13.4.CouchDb Input (138)4.1.13.5.HBase Input (138)4.1.13.6.HBase Row Decoder (138)4.1.13.7.Hadoop File Input (138)4.1.13.8.Hadoop File Output (138)4.1.13.9.MapReduce Input (138)4.1.13.10.MapReduce output (139)4.1.13.11.MongoDB Input (139)4.1.13.12.MongoDB output (139)4.1.13.13.SSTable Output (139)4.1.14.Agile(2) (139)4.1.14.1.MonetDB Agile Mart (139)4.1.14.2.Table Agile mart (139)4.1.15.Cryptography(4) (139)4.1.15.1.PGP Decrypt stream (139)4.1.15.2.PGP Encrypt stream (139)4.1.15.3.Secret key generator (139)4.1.15.4.Symmetric Cryptography (139)4.1.16.Palo(4) (139)4.1.16.1.Palo Cell Input (139)4.1.16.2.Palo Cell Output (139)4.1.16.3.Palo Dim Input (140)4.1.16.4.Palo Dim Output (140)4.1.17.Open ERP(3) (140)4.1.17.1.OpenERP Object Delete (140)4.1.17.2.OpenERP Object Input (140)4.1.17.3.OpenERP Object OUtput (140)4.1.18.Job：作业(6) (140)4.1.18.1.Copy rows to result：复制记录到结果 (140)4.1.18.1.1.功能描述 (140)4.1.18.2.Get Variables：获取变量 (140)4.1.18.2.1.功能描述 (140)4.1.18.3.Get files from result：从结果获取文件 (141)4.1.18.3.1.功能描述 (141)4.1.18.3.2.操作步骤 (142)4.1.18.4.Get rows from result：从结果获取记录 (142)4.1.18.4.1.功能描述 (142)4.1.18.5.Set Variables：设置变量 (142)4.1.18.5.1.功能描述 (143)4.1.18.5.2.操作步骤 (143)4.1.18.6.Set files in result：复制文件到结果 (143)4.1.18.6.1.功能描述 (143)4.1.18.6.2.操作步骤 (143)4.1.19.！Mapping(4) (144)4.1.19.1.Mapping(sub-transformation) (144)4.1.19.2.Mapping input specification (144)4.1.19.3.Mapping output specitication (144)4.1.19.4.Simple Mapping(sub-transformation) (144)4.1.20.Bulk loading(11) (145)4.1.20.1.ElasticSearch Bulk Insert (145)4.1.20.2.Greenplum load (145)bright loader (145)4.1.20.4.Ingres VectorWise Bulk Loader (145)4.1.20.5.MonetDB Bulk Loader (145)4.1.20.6.MySQL Bulk loader (145)4.1.20.7.！Oracle Bulk loader (145)4.1.20.7.1.功能描述 (145)4.1.20.8.PostgresSQL Bulk loader (146)4.1.20.9.Teradata Fastload Bulk Loader (146)4.1.20.10.Teradata TPT Bulk loader (146)4.1.20.11.Vertica Bulk loader (146)4.1.21.Inline(3) (146)4.1.21.1.Injector: 记录注射器 (146)4.1.21.2.Socket reader: 套接字读入器 (147)4.1.21.2.1.功能描述 (147)4.1.21.3.Socket writer (147)4.1.22.Experimental(2) (148)4.1.22.1.SFTP Put (148)4.1.22.2.Script (148)4.1.23.Deprecated(4) (148)4.1.23.1.Example Step (148)4.1.23.2.Greenplum Bulk loader (148)4.1.23.3.LicidDB Streaming Loader (148)4.1.23.4.Old Text file input (148)4.1.24.History(9) (148)4.1.24.2.Table input (148)4.1.24.3.Text file output (148)4.1.24.4.Table output (148)4.1.24.5.Moding java Script Value (148)4.1.24.6.Add sequence (148)4.1.24.7.Generate Rows (149)4.1.24.8.Get System Info (149)4.1.24.9.Sort rows：行排序 (149)4.1.24.9.1.功能描述 (149)4.2.JOB：作业步骤（15-92） (149)4.2.1.General：通用（6） (149)4.2.1.1.Start：开始 (149)4.2.1.1.1.功能描述 (149)4.2.1.1.2.操作步骤 (150)4.2.1.2.Dummy：空操作 (150)4.2.1.2.1.功能描述 (150)4.2.1.3.OK (151)4.2.1.4.Job：作业 (151)4.2.1.4.1.功能描述 (151)4.2.1.4.2.操作步骤 (151)4.2.1.5.Set variables：设置变量 (152)4.2.1.5.1.功能描述 (152)4.2.1.6.Transformation (152)4.2.1.6.1.功能描述 (152)4.2.1.6.2.操作步骤 (153)4.2.1.7.Success (154)4.2.2.Mail：邮件（3） (154)4.2.2.1.Mail validator (154)4.2.2.2.Mail：发送邮件 (154)4.2.2.2.1.功能描述 (154)4.2.2.2.2.操作步骤 (154)4.2.2.3.Get mails from POP：接收邮件 (156)4.2.2.3.1.功能描述 (156)4.2.2.3.2.操作步骤 (156)4.2.3.File management（19） (158)4.2.3.1.Process result filenames (158)4.2.3.2.File Compare：比较文件 (158)4.2.3.2.1.功能描述 (158)4.2.3.2.2.操作步骤 (158)4.2.3.3.Create a folder：创建文件夹 (159)4.2.3.3.1.功能描述 (159)4.2.3.3.2.操作步骤 (159)4.2.3.4.Unzip file：解压ZIP文件 (159)4.2.3.4.2.操作步骤 (160)4.2.3.5.Delete file：删除文件 (161)4.2.3.5.1.功能描述 (161)4.2.3.5.2.操作步骤 (161)4.2.3.6.HTTP (162)4.2.3.7.Write to file (162)4.2.3.7.1.功能描述 (162)4.2.3.7.2.操作步骤 (162)4.2.3.8.Convert file between Windows and Unix (163)pare folders：比较文件夹 (163)4.2.3.9.1.功能描述 (163)4.2.3.9.2.操作步骤 (163)4.2.3.10.Zip file：压缩文件 (164)4.2.3.10.1.功能描述 (164)4.2.3.11.Copy Files (165)4.2.3.11.1.功能描述 (165)4.2.3.11.2.操作步骤 (165)4.2.3.12.Add filenames to result添加文件名到结果 (166)4.2.3.12.1.功能描述 (166)4.2.3.12.2.操作步骤 (166)4.2.3.13.Delete folders：删除文件夹 (167)4.2.3.13.1.功能描述 (167)4.2.3.13.2.操作步骤 (167)4.2.3.14.Delete filenames from result：在结果中删除文件名 (168)4.2.3.14.1.功能描述 (168)4.2.3.14.2.操作步骤 (168)4.2.3.15.Delete files：删除多个文件 (169)4.2.3.15.1.功能描述 (169)4.2.3.15.2.操作步骤 (169)4.2.3.16.Wait for file：等待文件 (170)4.2.3.16.1.功能描述 (170)4.2.3.16.2.操作步骤 (170)4.2.3.17.Move Files移动文件 (171)4.2.3.17.1.功能描述 (171)4.2.3.17.2.操作步骤 (171)4.2.3.18.Create file：创建文件 (171)4.2.3.18.1.功能描述 (172)4.2.3.18.2.操作步骤 (172)4.2.3.19.Copy or Move result filenames：根据结果复制或移动文件 (172)4.2.3.19.1.功能描述 (172)4.2.3.19.2.操作步骤 (173)4.2.4.Conditions（12） (174)4.2.4.1.Check webservice availability：检查WEB服务是否可用 (174)4.2.4.1.2.操作步骤 (174)4.2.4.2.Check files locked：判断是否有文件被锁定 (175)4.2.4.2.1.功能描述 (175)4.2.4.2.2.操作步骤 (175)4.2.4.3.Colums exist in a table：检查列在表中是否存在 (176)4.2.4.3.1.功能描述 (176)4.2.4.3.2.操作步骤 (176)4.2.4.4.Wait for (177)4.2.4.4.1.功能描述 (177)4.2.4.4.2.操作步骤 (177)4.2.4.5.Evaluate files metrics (177)4.2.4.6.Check Db connections (177)4.2.4.6.1.功能描述 (177)4.2.4.6.2.操作步骤 (178)4.2.4.7.File Exists：文件存在 (178)4.2.4.7.1.功能描述 (178)4.2.4.7.2.操作步骤 (178)4.2.4.8.Evaluate rows number in a table：判断标中行数 (178)4.2.4.8.1.功能描述 (178)4.2.4.8.2.操作步骤 (179)4.2.4.9.Checks if files exist：检查文件是否存在 (180)4.2.4.9.1.功能描述 (180)4.2.4.9.2.操作步骤 (180)4.2.4.10.Check if a folder is empty检查文件夹是否为空 (180)4.2.4.10.1.功能描述 (181)4.2.4.10.2.操作步骤 (181)4.2.4.11.Simple evaluation：简单评估 (181)4.2.4.11.1.功能描述 (181)4.2.4.11.2.操作步骤 (182)4.2.4.12.Table exists：表存在 (182)4.2.4.12.1.功能描述 (183)4.2.4.12.2.操作步骤 (183)4.2.5.Scripting（3） (183)4.2.5.1.Shell (183)4.2.5.1.1.功能描述 (183)4.2.5.1.2.操作步骤 (184)4.2.5.2.SQL (186)4.2.5.2.1.功能描述 (186)4.2.5.2.2.操作步骤 (186)4.2.5.3.JavaScript：Java脚本 (187)4.2.5.3.1.功能描述 (187)4.2.5.3.2.操作步骤 (188)4.2.6.Bulk loading（3） (190)4.2.6.1.BulkLoad form Mysql into file (190)4.2.6.2.BulkLoad into MSSQL (190)4.2.6.3.BulkLoad into Mysql (190)4.2.7.Big Data（10） (190)4.2.7.1.Oozie Job Execcutor (190)4.2.7.2.Hadoop Job Executor (190)4.2.7.3.Pig Script Executor (190)4.2.7.4.Amazon Hive Job Executor (190)4.2.7.5.Spark Submit (190)4.2.7.6.Sqoop Export (190)4.2.7.7.Sqoop Import (190)4.2.7.8.Pentaho Mapreduce (190)4.2.7.9.Hadoop Copy Files (190)4.2.7.10.Amazon EMR Job Executor (190)4.2.8.Modeling（2） (191)4.2.8.1.Build Model (191)4.2.8.2.Publish Model (191)4.2.9.XML（4） (191)4.2.9.1.XSD Validator (191)4.2.9.2.Check if XML file is well formed (191)4.2.9.3.XSL Transformation (191)4.2.9.4.DTD Validator (191)4.2.10.Utility（13） (191)4.2.10.1.Truncate tables (191)4.2.10.2.Display Msgbox Info (191)4.2.10.3.Wait for SQL (191)4.2.10.4.Abort job (192)4.2.10.5.Talend Job Execution (192)4.2.10.6.HL7 MLLP Acknowledge (192)4.2.10.7.Send Nagios passive check (192)4.2.10.8.Ping a host (192)4.2.10.9.Write To Log (192)4.2.10.10.Telnet a host (193)4.2.10.11.HL7 MLLP Input (193)4.2.10.12.Send information using Syslog (193)4.2.10.13.Send SNMP trap (193)4.2.11.Reposotory（2） (194)4.2.11.1.Export repository to XML file (194)4.2.11.2.Check if connected to repository (194)4.2.12.File transfer（8） (194)4.2.12.1.Get a file with FTP (194)4.2.12.1.1.功能描述 (195)4.2.12.1.2.操作步骤 (195)4.2.12.2.Put a file with FTP (197)4.2.12.2.1.功能描述 (198)4.2.12.2.2.操作步骤 (198)4.2.12.4.FTP Delete：删除FTP文件 (199)4.2.12.4.1.功能描述 (199)4.2.12.4.2.操作步骤 (199)4.2.12.5.Get a file with SFTP (199)4.2.12.5.1.功能描述 (199)4.2.12.5.2.操作步骤 (200)4.2.12.6.Put a file with SFTP (200)4.2.12.6.1.功能描述 (201)4.2.12.6.2.操作步骤 (201)4.2.12.7.Upload files to FTPS (201)4.2.13.File encryption（3） (202)4.2.13.1.Verify file signature with PGP (202)4.2.13.2.Decrypt files with PGP (202)4.2.13.3.Encrypt files with PGP (202)4.2.14.Palo（2） (202)4.2.14.1.Palo Cube Delete (202)4.2.14.2.Palo Cube Create (202)4.2.15.Deprecated（2） (202)4.2.15.1.MS Access Bulk Load (202)4.2.15.2.Example Job (202)更新记录第一章.Kettle 基础介绍1.1.核心组件Spoon是构建ETL Jobs和Transformations的工具。

大数据HC1A模拟考试题（含答案）一、单选题（共40题，每题1分，共40分）1、RDD有Transformation和Action算子，下列属于Action算子的是？A、SaveAsTextFi1eB、PeduceByKeyC、mapD>fi1ter正确答案：A2、下面关于ZooKeePer描述错误的是（）A、一条消息被一半以上的SerVer接收，他将写入磁盘B、ZooKeeper的节点数必须是奇数个C、消息更新只有成功和失败，没有中间状态D、客户端发送的更新会按照他们发送的顺序被应用正确答案：B3、在规划Fuskm1nsightHD集群时候，如果客户用于功能测试，对性能没有要求，节约成本的情况下，可以采用管理节点、控制节点、数据节点合一部署，最少需要多少节点？A、2B、3C、4D、5正确答案：B4、FusionInsightHD部署时，同一集群内的F1umeserver节点建议至少部署几个？A、1B、2C、3D、4正确答案：B5、Fusion1nsightHadoop集群中，在某节点上通过df-hT查询，看到的分区包含以下几个:/var/1og/srv∕BigData∕srv∕BigData∕hadoop∕data5∕srv∕BigDa ta∕soIr/so1rserver3/srv∕BigData∕dbdataom这些分区所对应磁盘最佳Raid级别的规划组合是？A、RaidORaid1RaidONon-Raid1B、Raid1Raid1Non-RaidNon-RaidRaid1C、R aidORaidORaidORaidORaidOD、Non-RaidNon-RaidNon-RaidNon-RaidRaid1正确答案：B6、FUSiOnInSightHDManager界面HiVe日志收集，那个选项不正确？A、可指定实例进行日志收集，比如指定单独收集MetaStOre的日志B、可指定时间段进行日志收集,比如只收集2016-1-1到2016-1-10的日志C、可指定节点IP进行日志收集，例如仅下载某个IP的日志D、可指定特定用户进行日志收集，例如仅下载USerA用户产生的日志正确答案：D7、关于Kafka磁盘容量不足的告警，对于可能的原因以下分析不正确的是？A、用于存储Kafka数据的磁盘配置（如磁盘数目、大小等），无法满足当前业务数据流量，导致磁盘使用率达到上限B、数据保存时间配置过长，数据累积达到磁盘使用率上限C、业务规划不合理，导致数据分配不均匀，使部分磁盘达到使用率上限D、Broker节点故障导致正确答案：D8、FusionInsightHD系统中，f1ume数据流在节点内不需要经过哪个组件？OA、sinkB、topicC、S ourceD>Channe1正确答案：B9、HDFS中的主备仲裁，是由哪个组件控制的？A、Zoo1eeperFai1overContro11erB、NodeManagerC、R esourceManagerD、HDFSC1ient正确答案：A10、关于HBase中HFi1e的描述不正确的是？A、一个HFi1e属于一个RegionB、一个HFiIe包含多个列族的数据C、一个HFiIe包含多列数据D、一个HFiIe包含多行数据正确答案：B11>FUSiOn1nSightHD中IOader从SFTP服务器导入文件时，不需要做编码转换和数据转换且速度最快的文件类型是以下哪项？OA、sequence_fi1eB、text_fi1eC、b inary_fi1eD、graph_fi1e正确答案：C12、关于FusionInsightHD中1oader作业描述正确的是？A、1oader将作业提交到Yarn执行后，如果此时1oader服务出现异常，则此作业执行失败。

1+X云计算题库含参考答案一、单选题（共50题，每题1分，共50分）1、8个300G的硬盘做RAID 6后的容量空间为A、1200GB、8TC、2.1TD、2400G正确答案：B2、下面关于mycat数据库中间件的端口正确的是A、8088端口B、3306端口C、2181端口D、8066端口正确答案：D3、如果你使用一个普通账户telnet远程登录到linux系统中，如何改变身份以root权限管理系统？A、chmodB、chusrC、suD、chgrp正确答案：C4、以下关于Swift系统中Account、Container、Object三者之间的关系正确的是？A、一个Account可以创建拥有任意多个Container，一个Container中可以包含任意多个Object。

B、一个Container可以创建拥有任意多个Account，一个Account中可以包含任意多个Object。

C、一个Object可以创建拥有任意多个Container，一个Container中可以包含任意多个Account。

D、一个Account可以创建拥有任意多个Object，一个Object中可以包含任意多个Container。

正确答案：A5、VLAN基本上可以看成是一个？A、局域网B、广播域C、工作站D、广域网正确答案：B6、在K8S的核心组件中负责资源调度的组件是？A、kubeletB、controller manageC、schedulerD、Etcd正确答案：C7、Nginx服务使用什么语言编写？A、C语言B、JAVAC、pythonD、PHP正确答案：A8、下列哪些不属于LVM的构成组件？A、PVB、LVC、VGD、MG正确答案：D9、关于 API 凭证，AWS 推荐的最佳做法是什么？A、创建一个有必要的角色，并可以由 EC2 实例来承担。

B、使用来自 EC2 实例的 API 凭证。

C、使用堡垒主机的 API 凭证。