1目的
构建一个和实际环境相似的仿真环境，对主、从节点宕机情况下的Hbase数据插入情况进行验证。
2测试环境
为便于实验中节点个数的扩展及配置更改，测试环境中各个节点采用运行在真实物理服务器上，一共5台，具体配置如下：
192.168.11.12——192.168.11.20是hdfs的datanode
Hdfs的namenode为192.168.11.8 主机名为hadoopNN00
搭建时间同步服务器：如果集群时间不同步，且相差时间超出了hbase默认的3分钟，与master时间差超过3分钟的HRegionserver无法启动。这时候需要架设时间服务器使系统时间同步：搭建时间同步服务器
1、检查ntp服务器有没有安装：rpm -qa ntp
centOS默认安装
2、开启ntp服务器
[root@test init.d]# pwd
/etc/rc.d/init.d
[root@test init.d]# ./ntpd start
starting ntpd: [ OK ]
3、修改ntp.conf配置文件
vi /etc/ntp.conf
①、第一种配置：允许任何IP的客户机都可以进行时间同步
将“restrict default kod nomodify notrap nopeer noquery”这行修改成：restrict default nomodify
②、第二种配置：只允许192.168.11.***网段的客户机进行时间同步
在restrict default nomodify notrap noquery（表示默认拒绝所有IP的时间同步）之后增加一行：
restrict 192.168.11.0 mask 255.255.255.0 nomodify
客户端：ntpdate 服务器端ip地址（例：192.168.11.8）
如果显示 the NTP socket is in use, exiting
[root@test init.d]# pwd
/etc/rc.d/init.d
[root@test init.d]# ./ntpd stop
Shutting down ntpd: [ OK ]
然后ntpdate 服务器端ip地址
（注：服务器端开启ntp，客户端关闭ntp）
3 异常处理机制测试
Hmaster节点宕机的实验主要设计了以下几种异常情况。具体解决方案如下：
1、配置好Hbase， kill掉主Hmaster进程。
2、插入数据5百万条数据，在插入数据的同时kill掉主Hmaster进程。
3、在切换Hmaster过程中插入数据，看能否新建表。
4、HBase性能调优后，master的切换时间。
动态扩展场景实验描述如下，配置好Hbase,配置另外一台机器分别开机自启动Hmaster和Hregionserver，验证能否随时加入Hmaster和Hregionserver。
3.1Hmaster切换测试过程如下：
1，启动Hbase:start-hbase.sh，会同时启动命令执行机器上的Hmaster，此机器作为主master。
2，启动备用Hmaster：hbase-daemon.sh start master 。启动一个备用master,
实际工作的是主master。
3，当主master机器宕机或者kill掉主master上的Hmaster进程后。备用master接管主master。
测试在11：20 kill掉Hmaster
查看Hregionserver上的日志
日志提示在11:21:36,检测到主master失效，之后一直提示无法连接master,直到检测到新的master。
在11:23:46, master切换成功，regionserver可以连接此master。
在11:24:36，regionserver提交自身信息过程，备用master可以正常使用切换的过程如下：
1 主master宕机
2 zookeeper集群检测master down掉了，zookeeper选举出一个协调者，由协调者在备用的master中指定一个接管主master任务
3 Zookeeper中存储了Hbase中根子表的位置，zookeeper将这些信息转给新的master。
4 新的master等待各个HRegionserver把自身的信息checkin到新的master。
5 新的master扫描表信息后，对外提供服务，master切换完成。
实验结果：
在这四分钟左右的时间内，使用hbase shell的情况：无法查询和插入数据在此期间hbase shell 报错：ERROR:
org.apache.hadoop.hbase.MasterNotRunningException: hadoopDN00:60000 [root@hadoopDN01 hbase]# bin/hbase shell
HBase Shell; enter 'help
Type "exit
Version 0.90.3, r1100350, Sat May 7 13:31:12 PDT 2011
hbase(main):001:0> list
TABLE
ERROR: org.apache.hadoop.hbase.MasterNotRunningException:
hadoopDN00:60000
3.2插入数据过程中切换测试如下：
1，启动Hbase:start-hbase.sh，会同时启动命令执行机器上的Hmaster，此机器作为主master。
2，启动备用Hmaster：hbase-daemon.sh start master 。启动一个备用master,实际工作的是主master。
3，打开eclipse开始往Hbase插入五百万条数据，在插入数据的同时kill 掉主master上的Hmaster进程，备用master接管主master。
切换过程中查询eclipse插入情况和查询情况：
插入数据过程中切换master切换过程中查询数据
实验结果：在切换过程中eclipse显示数据仍然可以插入数据，插入数据结束后也可以查询。
3.3切换测试过程中插入数据如下：
1，启动Hbase:start-hbase.sh，会同时启动命令执行机器上的Hmaster，此机器作为主master。
2，启动备用Hmaster：hbase-daemon.sh start master 。启动一个备用master,实际工作的是主master。
3， kill掉主master上的Hmaster进程，备用master接管主master，在切换过程中在eclipse开始往Hbase插入数据。
切换过程中插入数据，查询eclipse插入情况和查询情况如图：
切换过程中插入数据
实验结果：在切换过程中eclipse显示数据不可以插入数据，表明在切换过程中不可以新建表。
3.4 Hbase性能调优：
1，为了避免java full GC suspend thread 对Zookeeper heartbeat的影响，需要对hbase-env.sh进行配置
export HBASE_OPTS="-ea -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -XX:+HeapDumpOnOutOfMemoryError"
2，HBASE_HEAPSIZE这个参数决定了hbase最多能调用物理机的内存大小，尽量配置大一些
export HBASE_HEAPSIZE=3000
在hbase-site.xml加入：
测试在20：52:50 kill掉Hmaster
查看Hregionserver上的日志
日志提示在20:53:17,检测到主master失效，之后一直提示无法连接master,直到检测到新的master。
在20:53:20, master切换成功，regionserver可以连接此master。
实验结果：对HBase进行调优后master切换可以缩短至17秒。
4、动态扩展测试
4.1解决方案
动态扩展测试的实验主要设计了以下几种情况。具体方案如下：
在192.168.11.24配置好Hbase,分别设置开机自启动HReginserver，重启看是
否会正常工作。
4.2写操作实验步骤：
HRegionserver动态加入方法：
1，192.168.11.24（主机名hadoopDN06）未写入配置文件中regionservers中，手动启动Hbase时也没有启动HRegionserver。
2，编辑/etc/rc.d/rc.local写入如下命令
开机自动启动datanode：bash
/usr/local/hadoop-0.20.1-dev/bin/start-avatardatanode.sh（HBase必须依赖HDFS）
开机自动启动HRegionserver：bash /usr/local/hbase/bin/hbase-daemon.sh start regionserver。
3，重启192.168.11.24
等待一段时间后刷新webUI界面
如上图，hadoopDN06出现在region servers列表中了，但是regions为0，没有表分配给它。
4，在hbase shell下新建表并插入数据（如下所示）
hbase(main):002:0> create 'aaa','d1','d2'
0 row(s) in 1.8500 seconds
hbase(main):003:0> put 'aaa','raw1','d1:vv','11'
0 row(s) in 0.5390 seconds
hbase(main):004:0> put 'aaa','raw1','d1:aa','11'
0 row(s) in 0.0060 seconds
hbase(main):005:0> put 'aaa','raw2','d1:aa','11'
0 row(s) in 0.0060 seconds
hbase(main):006:0> scan 'aaa'
ROW
COLUMN+CELL raw1
column=d1:aa, timestamp=1310049064233, value=11 raw1
column=d1:vv, timestamp=1310049055082, value=11 raw2
column=d1:aa, timestamp=1310049075352, value=11
2 row(s) in 0.0570 seconds,
5，刷新web UI页面，查看region server的使用情况
实验结果：如图所示，hadoopDN06的regions数目为1了，说明它已经正常
工作了
运维工程师面试题 姓名: 答题时间: 1.新安装MYSQL后怎样提升MYSQL的安全级别？ A.修改mysql默认端口 下可以通过iptables来限制访问mysql端口的IP地址 C.对所有用户设置较复杂密码并严格指定对应账号的访问IP（可在mysql库中user表中指定用户的访问可访问IP地址） 特权账号的处理（建议给root账号设置强密码，并指定只允许本地登录） E.开启二进制查询日志和慢查询日志 安装目录及数据存储目录权限控制：给mysql安装目录读取权限，给mysql日志和数据所在目录读取和写入权限 G.删除无用mysql账号和删除无用的数据库（安装好的mysql默认会有个test库，可将其删除） 2.MYSQL的主从原理，怎么配置文件？ 整体上来说，复制有3个步骤： 将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）； 将master的binary log events拷贝到它的中继日志(relay log)； 重做中继日志中的事件，将改变反映它自己的数据。 3.mysql主从复制的优点 <1> 如果主服务器出现问题，可以快速切换到从服务器提供的服务； <2> 可以在从服务器上执行查询操作，降低主服务器的访问压力；
<3> 可以在从服务器上执行备份，以避免备份期间影响主服务器的服务。 4.Mysql复制的基本原理过程 （1）Slave上面的IO线程连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容； （2）Master接收到来自Slave的IO线程的请求后，通过负责复制的IO线程根据请求信息读取指定日志指定位置之后的日志信息，返回给Slave端的IO线程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息在Master端binary log文件的名称以及在Binary log中的位置； （3）Slave的IO线程收到信息后，将接收到的日志内容依次写入到Slave端的RelayLog 文件（）的最末端，并将读取到的Master端的bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清楚的告诉master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我” （4）Slave的SQL线程检测到Relay Log中新增加了内容后，会马上解析该Log文件中的内容成为在Master端真实执行时候的那些可执行的查询或操作语句，并在自身执行那些查询或操作语句，这样，实际上就是在master端和Slave端执行了同样的查询或操作语句，所以两端的数据是完全一样的。 5.为MYSQL添加一个用户？ mysql> grant select,insert,update,delete on book.* to test2@localhost identified by “abc”;? ? #增加test2用户，密码为abc。并只能在localhost这台主机上登录，并且只能访问book这个库中的表，具有查询，插入，更新，删除权限； 语法：mysql> GRANT <权限> ON <库>.<表> TO ‘用户’@’主机名’ identified by “密码”; 6.写一个脚本将数据库备份并打包至远程服务器/backup目录下。 mount /mnt cd /mnt /usr/local/mysql/bin/mysqldump -hlocalhost -uroot test > tar czf rm -f
高压电缆故障分析判断与故障点查找 随着我国经济快速发展，我国加快了现代化社会建设，面对城市和农村日益增长的用电需求，高压电缆的安全性能受到了人们的高度关注。高压电缆相较于传统电缆，安全性更高、稳定性更好、维护方便，是当前电气设备、电能传输、电能分配的首选电缆，在我国现代化社会建设过程中得到了广泛应用。随之而来的高压电缆故障对供电造成了较大的影响，通过分析常见的高压电缆故障，为准确分析判断高压电缆故障，准确定位故障点提供基础依据，以便于及时有效的解决故障，保证电能正常供应，避免对人们生活、生产造成较大困扰。 标签：高压电缆；故障分析；故障点查找 一、高压电缆故障原因分析 1.1设计不足 设计师在设计过程中设计水平较低，在重要的设计场所对于电源、贯通电缆、电缆故障等问题没有设计备用电源，方便专业人员快速进行维护的措施场地。配电所的电缆没有进行单独的运行管道设计，较长的电缆没有设计电缆中间站或者对接方式。 1.2产品质量存在偏差 厂家在对于电缆生产的质量没有办法进行保证，经常出现绝缘偏心、绝缘厚度不均匀、绝缘内部有杂质、电缆防潮水平不高、电缆密封效果不良等问题。有些问题更加严重的是在运行过程中出现故障，大部分电缆系统在运行过程中都有程度大小不等的故障，导致电缆安全问题一直是电力系统运行的隐在性问题。个别厂家也出现过同种型号电缆两端色标不相对应，按颜色进行施工，竣工后发现无法正常使用。 1.3后期维护不善 在电缆运行中，相关的工作人员没有每年对于电缆进行排查，大部分的电缆都已经超过最大维护期，导致工作人员对于电缆上面重要信息掌握情况不足，如电缆上面的电阻、电压等重要数据，电缆绝缘性能下降未能及时发现，容易发生电力系统故障。 二、高壓电缆故障分析判断 目前常见的高压电缆故障类型较多，各个故障各自具备了较为复杂的特性，比如导电故障，其主要是导体出现故障，但在导体故障中又包含了导体断线造成的开路故障、导体短接造成的短路故障。
https://www.doczj.com/doc/4a1304682.html, 电力电缆故障原因及常用的检测方法（超全讲解）盲目的进行电缆故障查找工作往往费时费力而且无法准确的进行故障定点判断，这不是因为电缆故障种类的复杂造成，而是因为电缆周边环境所造成的。 1、电力电缆基础理论 我们目前采用的电缆故障查找方法离不开：故障诊断、粗测定点与精确定点三个步骤。但是往往在实际测试中能够确定故障类型，做到粗测定点，但是却无法真正精确定点进行开挖。这种原因的形成是因为客观存在的我们听得到的因素（公路或施工处振动噪声过大等原因）和看不到的因素（电缆走向、电缆埋设深度过深、故障点在积水中、电缆施工时余留不规范等原因）所造成的。因此在电缆故障查找前通过电缆施工、运行管理人员明确电缆长度、电缆走向、周边特殊情况、中间头位置、周边是否存在施工等要因是电缆故障查找前不可或缺的准备工作。 2、电缆故障原因及测量仪器 了解电缆故障的原因，对于减少电缆的损坏，快速地判定出故障点是十分重要的。
https://www.doczj.com/doc/4a1304682.html, 注：（HZ-TC电缆故障测试仪） 电缆故障测试仪是我公司根据用户要求，从现场使用考虑，精心设计和制造的全新一代便携式电缆故障测试仪器。它秉承我们一贯高科技、高精度、高质量的宗旨，将电缆测试水平提高到一个新境界。 电缆故障测试仪（闪测仪）可用于检测各种电缆的低阻、高阻、短路、开路、泄漏性故障以及闪络性故障，可准确的检测地下电缆的故障点位置、电缆长度和电缆的埋设路径。具有测试准确、智能化程度高、适应面广、性能稳定以及轻巧便携等特点。仪器采用汉字系统，高清晰度显示，界面友好。
https://www.doczj.com/doc/4a1304682.html, 电缆寻迹及故障定点是由路径仪、定点仪、T型探头、A字架、听筒等组成。本仪器是电缆故障定位测试的专用仪表，适用测试对象为具有金属导体（线对、护层、屏蔽层）的各种电缆。其主要功能为对地绝缘不良点的定位测试，线缆路径的探测以及线缆埋深的测试。 注：（HZ-TCD全智能多次脉冲电缆故障测试仪） 全智能多次脉冲电缆故障测试仪是我公司为了迎合电力工业电力时代的到来，在集成了电缆故障测试行业的诸多精品方案，以IT时代的快速发展为契机,将单片机及笔记本式的电缆故障测试仪彻底摒弃，在嵌入式计算机平台的基础上打造出适合电缆故障测试行业自身特点的网络化电缆故障测试服务平台，并且系统化得集成了USB通信技术,触摸屏技术，3G 通信技术，极大提高了仪器的使用功能和利用价值以及便捷的现场环境操作。考虑到现在地
h a d o o p练习题--带 答案
Hadoop 练习题姓名：分数： 单项选择题 1.下面哪个程序负责HDFS数据存储。 a)NameNode b)Jobtracker c)Datanode √ d)secondaryNameNode e)tasktracker 2.HDfS中的block默认保存几份？ a)3份√ b)2份 c)1份 d)不确定 3.下列哪个程序通常与NameNode在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker√ 4.Hadoop作者 a)Martin Fowler b)Kent Beck c)Doug cutting√ 5.HDFS默认Block Size a)32MB b)64MB√ c)128MB 6.下列哪项通常是集群的最主要的性能瓶颈 a)CPU b)网络 c)磁盘√ d)内存
7.关于SecondaryNameNode哪项是正确的？ a)它是NameNode的热备 b)它对内存没有要求 c)它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间√ d)SecondaryNameNode应与NameNode部署到一个节点 8.一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？ a) 1 b)2√ c) 3 d) 4 9.HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce 任务读取该文件时input split大小为？ a)64MB b)75MB√ c)一个map读取64MB，另外一个map读取11MB 10.HDFS有一个LZO（with index）文件大小75MB，客户端设置Block大小为64MB。当运 行mapreduce任务读取该文件时input split大小为？ a)64MB b)75MB c)一个map读取64MB，另外一个map读取11MB√ 多选题： 11.下列哪项可以作为集群的管理工具 a)Puppet√ b)Pdsh√ c)Cloudera Manager√ d)Rsync + ssh + scp√ 12.配置机架感知的下面哪项正确 a)如果一个机架出问题，不会影响数据读写√ b)写入数据的时候会写到不同机架的DataNode中√ c)MapReduce会根据机架获取离自己比较近的网络数据√ 13.Client端上传文件的时候下列哪项正确 a)数据经过NameNode传递给DataNode b)Client端将文件以Block为单位，管道方式依次传到DataNode√ c)Client只上传数据到一台DataNode，然后由NameNode负责Block复制工作 d)当某个DataNode失败，客户端会继续传给其它DataNode √
安全管理编号：YTO-FS-PD531 直埋高压电缆故障点查找分析初探通 用版 In The Production, The Safety And Health Of Workers, The Production And Labor Process And The Various Measures T aken And All Activities Engaged In The Management, So That The Normal Production Activities. 标准/ 权威/ 规范/ 实用 Authoritative And Practical Standards
直埋高压电缆故障点查找分析初探 通用版 使用提示：本安全管理文件可用于在生产中，对保障劳动者的安全健康和生产、劳动过程的正常进行而采取的各种措施和从事的一切活动实施管理，包含对生产、财物、环境的保护，最终使生产活动正常进行。文件下载后可定制修改，请根据实际需要进行调整和使用。 1概述 脉冲法和直流电桥法是目前应用较广的电力电缆故障点查找方法。石家庄热电厂在几次电力电缆故障点查找中，采用脉冲法在较短时间内找到了故障点，而用传统直流电桥法却无法找到。 直流电桥法在实际应用中存在着许多不便之处，如对断线故障不可测；受故障点电阻影响较大，测量误差大；当电缆为三相短路故障，需另铺设临时线等。脉冲法特别是低压脉冲法对电力电缆的短路故障和开路故障查找具有操作简单、测量误差小的优点。 低压脉冲测量故障点的过程分粗测和定点2个步骤。粗测是将故障点定位在一较小的范围内，正确读取脉冲波形，该步是脉冲法的重要步骤，也是本文分析的重点。 石家庄热电厂电力电缆故障情况如下。 a.2001-12-22，水源地10kV电缆故障，断路器跳闸在测试中用2500V摇表测试电缆三相绝缘对地及相间均为
Hadoop测试题 一．填空题，1分（41空），2分（42空）共125分 1.(每空1分) datanode 负责HDFS数据存储。 2.(每空1分)HDFS中的block默认保存 3 份。 3.(每空1分)ResourceManager 程序通常与NameNode 在一个节点启动。 4.(每空1分)hadoop运行的模式有：单机模式、伪分布模式、完全分布式。 5.(每空1分)Hadoop集群搭建中常用的4个配置文件为：core-site.xml 、hdfs-site.xml 、mapred-site.xml 、yarn-site.xml 。 6.(每空2分)HDFS将要存储的大文件进行分割，分割后存放在既定的存储块 中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求。 7.(每空2分)一个HDFS集群包括两大部分，即namenode 与datanode 。一般来说，一 个集群中会有一个namenode 和多个datanode 共同工作。 8.(每空2分) namenode 是集群的主服务器，主要是用于对HDFS中所有的文件及内容 数据进行维护，并不断读取记录集群中datanode 主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储。 9.(每空2分) datanode 在HDFS集群中担任任务具体执行角色，是集群的工作节点。文 件被分成若干个相同大小的数据块，分别存储在若干个datanode 上，datanode 会定期向集群内namenode 发送自己的运行状态与存储内容，并根据namnode 发送的指令进行工作。 10.(每空2分) namenode 负责接受客户端发送过来的信息，然后将文件存储位置信息发 送给client ，由client 直接与datanode 进行联系，从而进行部分文件的运算与操作。 11.(每空1分) block 是HDFS的基本存储单元，默认大小是128M 。 12.(每空1分)HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到 3 个相互独立的硬件上，这样可以快速恢复损坏的数据。 13.(每空2分)当客户端的读取操作发生错误的时候，客户端会向namenode 报告错误，并 请求namenode 排除错误的datanode 后，重新根据距离排序，从而获得一个新的的读取路径。如果所有的datanode 都报告读取失败，那么整个任务就读取失败。14.(每空2分)对于写出操作过程中出现的问题，FSDataOutputStream 并不会立即关闭。 客户端向Namenode报告错误信息，并直接向提供备份的datanode 中写入数据。备份datanode 被升级为首选datanode ，并在其余2个datanode 中备份复制数据。 NameNode对错误的DataNode进行标记以便后续对其进行处理。 15.(每空1分)格式化HDFS系统的命令为：hdfs namenode –format 。 16.(每空1分)启动hdfs的shell脚本为：start-dfs.sh 。 17.(每空1分)启动yarn的shell脚本为：start-yarn.sh 。 18.(每空1分)停止hdfs的shell脚本为：stop-dfs.sh 。 19.(每空1分)hadoop创建多级目录（如：/a/b/c）的命令为：hadoop fs –mkdir –p /a/b/c 。 20.(每空1分)hadoop显示根目录命令为：hadoop fs –lsr 。 21.(每空1分)hadoop包含的四大模块分别是：Hadoop common 、HDFS 、
工程项目管理系统测试 方案 标准化管理处编码[BBX968T-XBB8968-NNJ668-MM9N]
工程项目管理系统测试方案 （模块测试阶段） 1.试用人员账号信息
2.人员分工 3.测试项目
4.测试用例（其他分公司按照潍坊公司用例进行，只需要更改项目编号和名称）潍坊公司用例一（分成多个任务的情况） （1）立项 项目编号：07TWF2SB0001 项目名称：潍坊电信昌乐机房改造工程 项目经理：朱汇川 项目类型：设备工程 项目概况：潍坊电信昌乐机房改造工程（介绍项目的情况） 立项时间：2007-08-01
（2）任务分解 01：领料 计划开始时间：2007-08-01 计划结束时间：2007-08-02 任务描述：到电信仓库领取工程用料（可以根据情况自由填写）02：施工 计划开始时间：2007-08-03 计划结束时间：2007-08-08 任务描述：工程施工（可以根据情况自由填写） 03：验收 计划开始时间：2007-08-09 计划结束时间：2007-08-09 任务描述：工程验收（可以根据情况自由填写） （3）计划 领料阶段人力计划：张三 领料阶段材料计划：电力电缆：RVV1-16 20M 甲方提供 电力电缆：RVV1-25 20M 甲方提供 电力电缆：RVV1-35 20M 甲方提供
电力电缆：RVV1-50 20M 甲方提供 交流排：5个单价40元/个自购 光纤跳线：单模一米 20条 20元/条自购领料阶段成本计划：计划材料费：自动生成 计划工作和福利费：自动生成 计划折旧费：100 计划办公费：100 计划差旅费：0 计划车辆使用费：100 计划费用合计：自动生成 施工阶段人力计划：张三、李四 施工阶段材料计划： 施工阶段成本计划：计划材料费：自动生成 计划工作和福利费：自动生成 计划折旧费：100
大数据工程师面试题 大数据工程师面试，对于很多人来说应该都不陌生了吧，虽说大数据就业前景很好，但想要成功进入名企，并不是一件容易的事情，不仅仅需要专业的技能，还需要你在面试的时候认真准备一下。面试的时候，我们会遇到各种各样的问题，千锋讲师今天就先讲解一下面试经常会遇到的问题，Hadoop是如何工作的？ Hadoop是一个分布式文件系统（Hadoop Distributed File System），简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠、高效、可伸缩的方式进行数据处理。所以说Hadoop解决了大数据如何存储的问题，因而在大数据培训机构中是必须学习的课程，也是面试中面试官非常注重的一个技术点。 Hadoop是如何工作的？ Hadoop是从Google文件系统发源而来，并且他是一个用Java开发的跨平台的应用。核心组件有: Hadoop Common，拥有其他模块所依赖的库和基础
工具，Hadoop分布式文件系统(HDFS)，负责存储，Hadoop YARN，管理计算资源，和Hadoop MapReduce，负责处理的过程。 Hadoop把文件拆成小块并且把他们分发给集群中的节点。然后，它使用打包的代码分发到节点上并行处理数据。这意味着可以处理数据的速度会比使用传统的体系结构的更快。 一个典型的Hadoop集群都会有主节点和从节点或者叫工作节点。主节点有一个任务跟踪器，任务调度，名字节点和数据节点组成。从节点通常作为一个数据节点和任务调度器，不过特殊的场景下程序可能只有数据节点然后在其他的从节点进行处理计算。 在大的Hadoop集群中，通常会使用一个专用的名字节点来管理HDFS节点的文件系统索引信息，这防止了文件系统的数据丢失和损坏。 千锋教育拥有一支的强师队伍，在教学研究方面，我们老师不断的推陈出新，探索更新的教学方式，结合时代所需不断更新课程大纲，加强学生对于知识的理解和运用。千锋讲师对于大数据行业时刻保持一定的敏感性和前瞻性，定期与各大企业的技术官交流分析，掌握大数据的发展动向，不仅仅可以帮助同学们更好的学习大数据技术，还会预测一些大数据工程师面试题，为同学们的就业之路披荆斩棘。 关键词：大数据工程师面试题
上海兴汉科技公司软件测试规范
目录 一.概述 (1) 二软件测试理论 (2) 1.什么是软件测试 (2) 2.软件测试的目标 (2) 三.软件测试流程 (4) 1.软件测试流程图 (4) 2.软件测试流程细则 (5) 3.软件测试注意事项 (6) 四.软件测试类型 (8) 1.模块测试 (8) 2.子系统测试 (8) 3.系统测试 (8) 4.验收测试 (8) 五.黑盒测试方法 (10) 1.等价类划分 (10) 2.因果图 (12) 3.边值分析法 (12) 4.猜错法 (13) 5.随机数法................................................................................................... 错误！未定义书签。 七.测试错误类型 (14) 八.测试标准 (16) 附录一单元测试报告 (17)
附录二集成测试报告 (18) 附录三测试大纲................................................................................................. 错误！未定义书签。附录四测试大纲附录 (22) 附录五测试计划................................................................................................. 错误！未定义书签。附录六程序错误报告 (23) 附录七测试分析报告 (24)
电缆故障点的四种实用检测方法 1 电缆故障的种类与判断 无论是高压电缆或低压电缆，在施工安装、运行过程中经常因短路、过负荷运行、绝缘老化或外力作用等原因造成故障。电缆故障可概括为接地、短路、断线三类，其故障类型主要有以下几方面： ①三芯电缆一芯或两芯接地。 ②二相芯线间短路。 ③三相芯线完全短路。 ④一相芯线断线或多相断线。 对于直接短路或断线故障用万用表可直接测量判断，对于非直接短路和接地故障，用兆欧表摇测芯线间绝缘电阻或芯线对地绝缘电阻，根据其阻值可判定故障类型。 故障类型确定后，查找故障点并不是一件容易的事情，下面根据笔者的经验，介绍几种查找故障点的方法，供参考。 2 电缆故障点的查找方法 (1) 测声法： 所谓测声法就是根据故障电缆放电的声音进行查找，该方法对于高压电缆芯线对绝缘层闪络放电较为有效。此方法所用设备为直流耐压试验机。电路接线如图1所示，其中SYB为高压试验变压器，C为高压电容器，ZL为高压整流硅堆，R为限流电阻，Q为放电球间隙，L为电缆芯线。
当电容器C充电到一定电压值时，球间隙对电缆故障芯线放电，在故障处电缆芯线对绝缘层放电产生“滋、滋”的火花放电声，对于明敷设电缆凭听觉可直接查找，若为地埋电缆，则首先要确定并标明电缆走向，再在杂噪声音最小的时候，借助耳聋助听器或医用听诊器等音频放大设备进行查找。查找时，将拾音器贴近地面，沿电缆走向慢慢移动，当听到“滋、滋”放电声最大时，该处即为故障点。使用该方法一定要注意安全，在试验设备端和电缆末端应设专人监视。 (2) 电桥法： 电桥法就是用双臂电桥测出电缆芯线的直流电阻值，再准确测量电缆实际长度，按照电缆长度与电阻的正比例关系，计算出故障点。该方法对于电缆芯线间直接短路或短路点接触电阻小于1Ω的故障，判断误差一般不大于3m，对于故障点接触电阻大于1Ω的故障，可采用加高电压烧穿的方法使电阻降至1Ω以下，再按此方法测量。
Hadoop面试题目及答案(附目录) 选择题 1.下面哪个程序负责HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的block 默认保存几份？ a)3 份b)2 份c)1 份d)不确定 答案A 默认3 份 3.下列哪个程序通常与NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案D 分析：hadoop 的集群是基于master/slave 模式，namenode 和jobtracker 属于master，datanode 和tasktracker 属于slave，master 只有一个，而slave 有多个SecondaryNameNode 内存需求和NameNode 在一个数量级上，所以通常secondaryNameNode（运行在单独的物理机器上）和NameNode 运行在不同的机器上。 JobTracker 和TaskTracker JobTracker 对应于NameNode，TaskTracker 对应于DataNode，DataNode 和NameNode 是针对数据存放来而言的，JobTracker 和TaskTracker 是对于MapReduce 执行而言的。mapreduce 中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：jobclient，JobTracker 与TaskTracker。 1、JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar 文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker 创建每一个Task（即MapTask 和ReduceTask）并将它们分发到各个TaskTracker 服务中去执行。 2、JobTracker 是一个master 服务，软件启动之后JobTracker 接收Job，负责调度Job 的每一个子任务task 运行于TaskTracker 上，并监控它们，如果发现有失败的task 就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。 3、TaskTracker 是运行在多个节点上的slaver 服务。TaskTracker 主动与JobTracker 通信，接收作业，并负责直接执行每一个任务。TaskTracker 都需要运行在HDFS 的DataNode 上。 4. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 答案C Doug cutting 5. HDFS 默认Block Size a)32MB b)64MB c)128MB 答案：B 6. 下列哪项通常是集群的最主要瓶颈 a)CPU b)网络c)磁盘IO d)内存 答案：C 磁盘 首先集群的目的是为了节省成本，用廉价的pc 机，取代小型机及大型机。小型机和大型机
XXX项目 系统集成测试验收方案 版本：0.5 日期：XXXX年XX月
修订记录
目录 1.文档说明 (3) 1.1.文档目的 (3) 1.2.适用范围 (3) 1.3.参考资料 (3) 2.项目概述 (4) 2.1.背景 (4) 2.2.项目工作范围 (4) 2.3.项目目标 (5) 2.4.阶段划分 (5) 2.5.外网网络基础环境 (5) 2.5.1.外网设备部署图 (5) 2.5.2.拓扑结构 (6) 3.验收概述 (7) 3.1.验收条件 (7) 3.2.验收总体内容 (7) 3.3.验收方法概述 (7) 4.验收计划 (8) 4.1.人员及角色 (8) 4.2.验收流程 (8)
4.3.任务安排 (8) 5.验收内容 (10) 5.1.集成验收 (10) 5.1.1.设备测试 (10) 5.1.2.网络测试 (11) 5.1.3.操作系统的测试 (11) 5.1.4.其他测试 (14) 5.1.5.软件测试测试 (15) 5.2.相关文档验收 (17) 6.附件 (18) 网络环境集成测试报告 (18) 附表1设备测试表 (19) 附表2网络测试表 (20) 附表3机房服务器磁盘分区划分测试表 (28) 附表4 服务器测试表 (30) 附表5 设备电源线测试表 (31) 附表6 软件测试表 (32) 附表7 遗留问题记录表 (34)
1.文档说明 1.1.文档目的 本文档主要用于指导相关人员对外网基础环境进行集成验收工作。 这里所说的相关人员包括： 业主单位： 监理： 承建单位： 1.2.适用范围 本文档只适用于恢复启用工程外网基础环境进行集成验收。验收内容只包括合同中所要求的在集成测试验收阶段必须实现的各项要求及相关文档。 本文档不适用于内网基础环境的验收。 1.3.参考资料
https://www.doczj.com/doc/4a1304682.html, 电缆故障测试仪的四种实用测定方法电缆故障测试仪（闪测仪）可用于检测各种电缆的低阻、高阻、短路、开路、泄漏性故障以及闪络性故障，可准确的检测地下电缆的故障点位置、电缆长度和电缆的埋设路径。具有测试准确、智能化程度高、适应面广、性能稳定以及轻巧便携等特点。仪器采用汉字系统，高清晰度显示，界面友好。 一、电缆故障的种类与判断 无论是高压电缆或低压电缆，在施工安装、运行过程中经常因短路、过负荷运行、绝缘老化或外力损坏等原因造成故障。电缆故障分为接地、短路、断线三类。三芯电缆故障类型主要有以下几方面：一芯或两芯接触；二相芯线间短路；三相芯线完全短路；一相芯线断
https://www.doczj.com/doc/4a1304682.html, 线或多相断线。对于直接短路或断线故障用万用表可直接测量判断，对于非直接短路和接池故障，用兆欧表遥测芯线间绝缘电阻或芯线对地绝缘电阻，根据其阻值可判定故障类型。 二、电缆故障点的查找方法 1、测声法所谓测声法就是根据故障电缆放电的声音进行查找，该方法对于高压电缆芯线对绝缘层闪络放电较为有效。此方法所用设备为直流耐压试验机。电路接线如图1所示，其中SYB为高压试验变压器，C为高压电容器，ZL为高压整流硅堆，R为限流电阻，Q为放电球间隙，L为电缆芯线。当电容器C充电到一定电压值时，球间隙对电缆故障
https://www.doczj.com/doc/4a1304682.html, 芯线放电，在故障处电缆芯线对绝缘层放电产生"滋、滋"的火花放电声，再在杂噪声音最小的时候，借助耳聋助听器或医用听诊器等音频放大设备进行查找。查找时，将拾音器贴近地面，沿电缆走向慢慢移动，当听到"滋、滋"放电声最大时，该处即为故障点。使用该方法一定要注意安全，在试验设备端和电缆末端应设专人监视。 2、电桥法电桥法就是双臂电桥测出电缆芯线的直流电阻值，再准确测量电缆实际长度，按照电缆长度与电阻的正比例关系，计算的故障点。该方法对于电缆芯线间直接短路或短路点接触电阻小于1Ω的故障，判断误差一般不大于3m，对于故障点接触电阻大于1Ω的故障，可采用加高电压烧穿的方法使电阻降至1Ω以下，再按此方法测量。 测量电路首先测出芯线a与b之间的电阻R1，则R1＝2RX＋R，其中R为a相或b相至故障点的一相电阻值，R为短接点的接触电阻。再就电缆的另一端测出a’和b’芯线间的直流电阻值R2，则R2＝2R（L－X）＋R，式中R（L－X）为a’相和b’相芯线至故障点的一相电阻值。测完R1与R2后，再按图3所示电路将b’与C’短接，测出b、c两相芯线间的直流电阻值，则该阻值的1/2为每相芯线的电阻值，用RL表示。RL＝RX ＋R（L－X），由此可得出故障点的接触电阻值：R＝R1＋R2－2RL。因此，故障点两侧芯线的电阻值可用下式表示：RX＝（R1－R）/2，R（L－X）＝（R2－R）/2。RX、R（L－X）、RL三个数值确定后，按比例公式即可求出故障点距电缆端头的距离X或（L－X）：X＝（RX/RL）L，（L－X）＝（R（L－X）/RL）L，式中L为电缆的总长度。采用电桥法时应保证测量精度，电桥连接线要尽量短，经径要足够大，与电缆芯线连接要采用压接或焊搂，计算过程中小数位要全部保留。
Hadoop 练习题姓名：分数： 单项选择题 1.下面哪个程序负责HDFS数据存储。 a)NameNode b)Jobtracker c)Datanode √ d)secondaryNameNode e)tasktracker 2.HDfS中的block默认保存几份？ a)3份√ b)2份 c)1份 d)不确定 3.下列哪个程序通常与NameNode在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker√ 4.Hadoop作者 a)Martin Fowler b)Kent Beck c)Doug cutting√ 5.HDFS默认Block Size a)32MB b)64MB√ c)128MB 6.下列哪项通常是集群的最主要的性能瓶颈 a)CPU b)网络 c)磁盘√ d)内存
7.关于SecondaryNameNode哪项是正确的？ a)它是NameNode的热备 b)它对内存没有要求 c)它的目的是帮助NameNode合并编辑日志，减少NameNode启动时间√ d)SecondaryNameNode应与NameNode部署到一个节点 8.一个gzip文件大小75MB，客户端设置Block大小为64MB，请我其占用几个Block？ a) 1 b)2√ c) 3 d) 4 9.HDFS有一个gzip文件大小75MB，客户端设置Block大小为64MB。当运行mapreduce 任务读取该文件时input split大小为？ a)64MB b)75MB√ c)一个map读取64MB，另外一个map读取11MB 10.HDFS有一个LZO（with index）文件大小75MB，客户端设置Block大小为64MB。当运 行mapreduce任务读取该文件时input split大小为？ a)64MB b)75MB c)一个map读取64MB，另外一个map读取11MB√ 多选题： 11.下列哪项可以作为集群的管理工具 a)Puppet√ b)Pdsh√ c)Cloudera Manager√ d)Rsync + ssh + scp√ 12.配置机架感知的下面哪项正确 a)如果一个机架出问题，不会影响数据读写√ b)写入数据的时候会写到不同机架的DataNode中√ c)MapReduce会根据机架获取离自己比较近的网络数据√ 13.Client端上传文件的时候下列哪项正确 a)数据经过NameNode传递给DataNode b)Client端将文件以Block为单位，管道方式依次传到DataNode√ c)Client只上传数据到一台DataNode，然后由NameNode负责Block复制工作 d)当某个DataNode失败，客户端会继续传给其它DataNode √
xxx系统总体测试 方案
XXX系统测试方案
编制：日期：年月日审核：日期：年月日 批准：日期：年月日 版本历史
目录 1 概述 ..................................... 错误!未定义书签。 1.1 目的................................ 错误!未定义书签。 1.2 测试范围............................ 错误!未定义书签。 1.3 进入条件............................ 错误!未定义书签。 1.4 测试参考文档........................ 错误!未定义书签。 2 约定 ..................................... 错误!未定义书签。 2.1 测试目标............................ 错误!未定义书签。 2.2 测试完成标准........................ 错误!未定义书签。 2.3 暂停标准和再启动标准................ 错误!未定义书签。 2.4 错误级别定义........................ 错误!未定义书签。 2.5 测试工作流程........................ 错误!未定义书签。 3 测试策略 ................................. 错误!未定义书签。 3.1 系统架构............................ 错误!未定义书签。 3.2 测试编码规则........................ 错误!未定义书签。 3.3 测试人员架构........................ 错误!未定义书签。 4 测试方法 ................................. 错误!未定义书签。
文件编号：TP-AR-L2643 In Terms Of Organization Management, It Is Necessary To Form A Certain Guiding And Planning Executable Plan, So As To Help Decision-Makers To Carry Out Better Production And Management From Multiple Perspectives. （示范文本） 编订：_______________ 审核：_______________ 单位：_______________ 直埋高压电缆故障点查 找分析初探(正式版)
直埋高压电缆故障点查找分析初探 (正式版) 使用注意：该安全管理资料可用在组织/机构/单位管理上，形成一定的具有指导性，规划性的可执行计划，从而实现多角度地帮助决策人员进行更好的生产与管理。材料内容可根据实际情况作相应修改，请在使用时认真阅读。 1概述 脉冲法和直流电桥法是目前应用较广的电力电缆 故障点查找方法。石家庄热电厂在几次电力电缆故障 点查找中，采用脉冲法在较短时间内找到了故障点， 而用传统直流电桥法却无法找到。 直流电桥法在实际应用中存在着许多不便之处， 如对断线故障不可测；受故障点电阻影响较大，测量 误差大；当电缆为三相短路故障，需另铺设临时线 等。脉冲法特别是低压脉冲法对电力电缆的短路故障 和开路故障查找具有操作简单、测量误差小的优点。
低压脉冲测量故障点的过程分粗测和定点2个步骤。粗测是将故障点定位在一较小的范围内，正确读取脉冲波形，该步是脉冲法的重要步骤，也是本文分析的重点。 石家庄热电厂电力电缆故障情况如下。 a.2001-12-22，水源地10kV电缆故障，断路器跳闸在测试中用2500V摇表测试电缆三相绝缘对地及相间均为50MΩ，直流耐压值为16kV。而后在水源地将电缆三相短路，在测试端测试任意两相芯线环流电阻，两芯线均不通，初步判断为电缆开路。 b.2001-12-26，#7～#9深井电缆故障，断路器跳闸用2500V摇表测试电缆A相绝缘对地为0，B、C 两相分别为600MΩ和800MΩ，初步判断为A相短路接地。 2脉冲法介绍
电缆故障点的查找方法 1.电缆故障的种类与判断 电缆故障可概括为接地、短路、断线三类，其故障类型主要有以下几方面： ①三芯电缆一芯或两芯接地。②二相芯线间短路。③三相芯线完全短路。④一相芯线断线或多相断线。 对于直接短路或断线故障用万用表可直接测量判断，对于非直接短路和接地故障，用兆欧表遥测芯线间绝缘电阻或芯线对地绝缘电阻，根据其阻值可判断故障类型。 2.电缆故障点的查找方法 故障类型确定后，查找故障点并不是一件容易的事情，下面介绍几种查找故障点的方法。 （1）零电位法 零电位法也就是电位比较法，它适应于长度较短的电缆芯线对地故障，应用此方法测量简便精确，不需要精密仪器和复杂计算，其接地如图1所示。测量原理如下：将电缆故障芯线与等长的比较导线并联，在b、c两端加电压VE时，相当于在两个并联的均匀电阻丝两端接了电源，此时，一条电阻丝上的任何一点和另一条电阻丝上的对应点之间的电位差必然为零，反之，电位差为零的两点必然是对应点。因为微伏表的负极接地，与电缆故障点等电位，所以，当微伏表的正极在比较导线上移动至指示值为零时的点与故障点等电位，即故障点的对应点。 S为单相闸刀开关，E为6E蓄电池或4节1号干电池，G为直流微伏表，测量步骤如下： 1）先在b和c相芯线上接上电池E，再在地面上敷设一根与故障电缆长度相等的比较导线S，该导线要用裸铜线或裸铝线，其截面应相等，不能有中间接头。 2）将微伏表的负极接地，正极接一根较长的软导线，导线另一端要求在敷设的比较导线上滑动时能充分接触。 3）合上闸刀开关S，将软导线的端头在比较导线上滑动，当微伏表指示为零时的位置即为电缆故障点的位置。 （2）电桥法 电桥法就是用双臂电桥测出电缆芯线的直流电阻值，再准确测量电缆实际长度，按照电缆长度与电阻的正比例关系，计算出故障点。该方法对于电缆芯线间直接短路或短路点接触电阻小于1Ω的故障，判断误差一般不大于3m，对于故障点接触电阻大于1Ω的故障，可采用加高电压烧穿的方法使电阻降至1Ω以下，再按此方法测量。 测量电路如图2所示，首先测出芯线a与b之间的电阻R1，R1=2RX＋R其中RX为a相或b相至故障点的一相电阻值，只为短接点的接触电阻。再就电桥移到电缆的另一端，测出a1与b1芯线间的直流电阻值R2，则R2=2R(L-X)+R,R(L-X)为a1相或b1相芯线至故障点的一相电阻值。测完R1与R2后，再按图3所示电路将b1与c1短路，测出b、c两相芯线间的直流电阻值，则该组织的1/2为每相芯线的电阻值，用RL 表示，RL=RX+R(L-X)，由此可得出故障点的接触电阻值：R=R1+R2-2RL表，因此，故障点两侧芯线的电阻值可用下式表示：RX＝(R1-R)/2，R(L-X)=(R2-R)/2。RX、R(L-X)、RL三个数值确定后，按比例公式即可求出故障点距电缆端头的距离X或(L-X)：X＝(RX/RL)L，(L-X)＝(R(L-X)/RL)L，式中L为电缆的总长度。 采用电桥法时应保证测量精度，电桥连接线要尽量短，线径要足够大，与电缆芯线连接要采用压接或焊接，