2.1.3 Hadoop版本变迁
到2012年5月为止，Apache Hadoop已经出现四个大的分支，如图2-1所示。
Apache Hadoop的四大分支构成了四个系列的Hadoop版本。
1. 0.20.X系列
0.20.2版本发布后，几个重要的特性没有基于trunk而是在0.20.2基础上继续研发。值得一提的主要有两个特性：Append与Security。其中，含Security特性的分支以0.20.203版本发布，而后续的0.20.205版本综合了这两个特性。需要注意的是，之后的1.0.0版本仅是0.20.205版本的重命名。0.20.X系列版本是最令用户感到疑惑的，因为它们具有的一些特性，trunk上没有；反之，trunk上有的一些特性，0.20.X 系列版本却没有。
2. 0.21.0/0.22.X系列
这一系列版本将整个Hadoop项目分割成三个独立的模块，分别是 Common、HDFS和MapReduce。HDFS和MapReduce都对Common模块有依赖性，但是MapReduce对HDFS并没有依赖性。这样，MapReduce可以更容易地运行其他分布式文件系统，同时，模块间可以独立开发。具体各个模块的改进如下。
Common模块：最大的新特性是在测试方面添加了Large-Scale Automated Test Framework和Fault Injection Framework。
HDFS模块：主要增加的新特性包括支持追加操作与建立符号连接、Secondary NameNode改进（Secondary NameNode被剔除，取而代之的是Checkpoint Node，同时添加一个Backup Node的角色，作为NameNode的冷备）、允许用户自定义block放置算法等。
MapReduce模块：在作业API方面，开始启动新MapReduce API，但老的API仍然兼容。
0.22.0在0.21.0的基础上修复了一些bug并进行了部分优化。
3. 0.23.X系列
0.23.X是为了克服Hadoop在扩展性和框架通用性方面的不足而提出来的。它实际上是一个全新的平台，包括分布式文件系统HDFS Federation和资源管理框架YARN两部分，可对接入的各种计算框架（如MapReduce、Spark等）进行统一管理。它的发行版自带MapReduce库，而该库集成了迄今为止所有的MapReduce新特性。
4. 2.X系列
同0.23.X系列一样，2.X系列也属于下一代Hadoop。与0.23.X系列相比，2.X系列增加了NameNode HA 和Wire-compatibility等新特性。
表2-1总结了Hadoop各个发布版的特性以及稳定性。
表2-1 Hadoop各个发布版的特性以及稳定性
本书之所以以分析Apache Hadoop 1.0.0为主，主要是因为这是一个稳定的版本，再有其为1.0.0，具有里程碑意义。Apache发布这个版本，也是希望该版本成为业界的规范。需要注意的是，尽管本书以分析Apache Hadoop 1.0.0版本为主，但本书内容适用于所有Apache Hadoop 1.X版本。
一、需要的设备
1.虚拟机VM和）
2.jdk（Linux版本）
3.完全分布式
4.hadoop安装包（0.20.2），配置core-site.xml,hdfs-site.xml,mapred-site.xml
5.ssh，生成密钥，免密码连接
二、安装和配置
1.配置hosts文件
如果ip较多，可使用DNS来配置。
所有的节点都修改etc/hosts，使得彼此都能被解析
****************************************************
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6
192.168.1.102 h1
192.168.1.103 h2
192.168.1.163 cat
192.168.1.162 dog
****************************************************
2.建立hadoop运行账号
先用root进入，建立用户xxx(用户名),在root下使用命令passwd xxx（用户名），
3.配置ssh免密码连入
使用xxx(用户名)登录，使用命令ssh-keygen -t rsa
命令cd .ssh(进入.ssh) 命令ls，cp id_rsa_pub authorized_keys
4.下载并解压hadoop安装包
5.配置namenode，修改site文件
6.配置hadoop-env.sh
7.配置master和salves文件
8.向各节点复制hadoop
9.格式化namenode
10.启动hadoop
11.用jps验证
大家可以尝试下Ambari来配置Hadoop的相关环境
快速的部署Hadoop,Hbase和Hive等并提供Ganglia和Nagios的监控功能,强烈推荐使用.
https://www.doczj.com/doc/fb15291651.html,/scotoma/archive/2013/05/18/3085248.html
Hadoop 2.0集群配置详细教程
前言
Hadoop2.0介绍
Hadoop是apache 的开源项目，开发的主要目的是为了构建可靠，可拓展scalable ，分布式的系统，hadoop 是一系列的子工程的总和，其中包含
1. hadoop common ：为其他项目提供基础设施
2. HDFS ：分布式的文件系统
3. MapReduce ：A software framework for distributed processing of large data sets on compute clusters 。一个简化分布式编程的框架。
4. 其他工程包含：Avro( 序列化系统) ，Cassandra( 数据库项目) 等
Hadoop,以Hadoop 分布式文件系统（HDFS ，Hadoop Distributed Filesystem ）和MapR educe （Google MapReduce 的开源实现）为核心的Hadoop 为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop 的集群来讲，可以分成两大类角色：Master 和Salve 。一个HDFS 集群是由一个NameNode 和若干个DataNode 组成的。其中NameNode 作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode 管理存储的数据。MapReduce 框架是由一个单独运行在主节点上的JobTracker 和运行在每个集群从节点的TaskTracker 共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job 被提交时，JobTracker 接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker 的执行。
从上面的介绍可以看出，HDFS 和MapReduce 共同组成了Hadoop 分布式系统体系结构的核心。HDFS 在集群上实现分布式文件系统，MapReduce 在集群上实现了分布式计算和任务处理。HDFS 在MapReduce 任务处理过程中提供了文件操作和存储等支持，MapReduce 在HDFS 的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop 分布式集群的主要任务。
为什么要使用2.0版本（来自董的博客）
该版本提供了一些新的、重要的功能，包括：
? HDFS HA ，当前只能实现人工切换。
Hadoop HA 分支merge 进了该版本，并支持热切，主要特性包括：
（ 1 ）NN 配置文件有改变，使得配置更加简单
（ 2 ）NameNode 分为两种角色：active NN 与standby NN ，active NN 对外提供读写服务，一旦出现故障，便切换到standby NN 。
（ 3 ）支持Client 端重定向，也就是说，当active NN 切换到standby NN 过程中，Client 端所有的进行时操作都可以无缝透明重定向到standby NN 上，Client 自己感觉不到切换过程。
（ 4 ）DN 同时向active NN 和standby NN 汇报block 信息。
具体设计文档参考：https://https://www.doczj.com/doc/fb15291651.html,/jira/browse/HDFS-1623
当前Hadoop HA 只能实现人工切换，该功能在某些情况下非常有用，比如，对NN 进行升级时，先将NN 切换到standby NN ，并对之前的active NN 进行升级，升级完成后，再将NN 切换至升级后的NN 上，然后对standby NN 进行升级。
? YARN ，下一代MapReduce 这是一套资源统一管理和调度平台，可管理各种计算框架，包括MapReduce 、Spark 、MPI 等。
YARN 是一套资源统一管理和调度平台，可管理各种计算框架，包括MapReduce ，Spark ，MPI 等。尽管它是完全重写而成，但其思想是从MapReduce 衍化而来的，并克服了它在扩展性和容错性等方面的众多不足。具体参考：
https://www.doczj.com/doc/fb15291651.html,/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/YARN.html ? HDFS Federation ，允许HDFS 中存在多个NameNode ，且每个NameNode 分管一部分目录，而DataNode 不变，进而缩小了故障带来的影响范围，并起到一定的隔离作用。
传统HDFS 是master/slave 结构，其中，master （也就是NameNode ）需要存储所有文件系统的元数据信息，且所有文件存储操作均需要访问多次NameNode ，因而NameNode
成为制约扩展性的主要瓶颈所在。为了解决该问题，引入了HDFS Federation ，允许HDF S 中存在多个NameNode ，且每个NameNode 分管一部分目录，而DataNode 不变，也就是“ 从中央集权专政变为各个地方自治” ，进而缩小了故障带来的影响范围，并起到一定的隔离作用。具体参考：
https://www.doczj.com/doc/fb15291651.html,/mapreduce-nextgen/nextgen-mapreduce-introduction/
? 基准性能测试
该版本中为HDFS 和YARN 添加了性能的基准测试集，其中HDFS 测试包括：
（ 1 ）dfsio 基准测试HDFS I/O 读写性能
（ 2 ）slive 基准测试NameNode 内部操作的性能
（ 3 ）scan 基准测试MapReduce 作业访问HDFS 的I/O 性能
（ 4 ）shuffle 基准测试shuffle 阶段性能
（ 5 ）compression 基准测试MapReduce 作业中间结果和最终结果的压缩性能
（ 6 ）gridmix-V3 基准测试集群吞吐率
YARN 测试包括:
（ 1 ）ApplicationMaster 扩展性基准测试
主要测试调度task/container 的性能。与 1.0 版本比较，大约快 2 倍。
（ 2 ）ApplicationMaster 恢复性基准测试
测试YARN 重启后，作业恢复速度。稍微解释一下ApplicationMaster 恢复作业的功能：在作业执行过程中，Application Master 会不断地将作业运行状态保存到磁盘上，比如哪些任务运行完成，哪些未完成等，这样，一旦集群重启或者master 挂掉，重启后，可复原各个作业的状态，并只需重新运行未运行完成的哪些任务。
（ 3 ）ResourceManager 扩展性基准测试
通过不断向Hadoop 集群中添加节点测试RM 的扩展性。
（ 4 ）小作业基准测试
专门测试批量小作业的吞吐率
具体参考：
https://www.doczj.com/doc/fb15291651.html,/blog/delivering-on-hadoop-next-benchmarking-performance/
? 通过protobufs 来提供HDFS 和YARN 的兼容性
Wire-compatibility for both HDFS & YARN
Hadoop RPC采用了Hadoop自己的一套序列化框架对各种对象进行序列化反序列，但存在一个问题：扩展性差，很难添加新的数据类型同时保证版本兼容性。为此，H adoop 2.0将数据类型模块从RPC中独立出来，成为一个独立的可插拔模块，这样允许用户根据个人爱好使用各种序列化/反序列化框架，比如thrift，arvo，protocal Buffer 等，默认情况采用Protocal Buffer。
https://www.doczj.com/doc/fb15291651.html,/blog/rpc-improvements-and-wire-compatibility-in-apache-hadoop/
除了以上五个特性外，还有两个非常重要的特性正在研发中，分别是：
? HDFS快照
用户可在任意时间对HDFS做快照，这样，在HDFS出现故障时，可将数据恢复到某个时间点的状态。具体参考：
https://www.doczj.com/doc/fb15291651.html,/blog/snapshots-for-hdfs/
? HDFS HA自动切换
前面介绍的第一个功能“HDFS HA”当前只能实现人工切换，也就是说，管理员运行某个命令，使得acitve NN切换到standby NN上。以后将支持自动切换，也就是说，监控模块可检测出active NN何时出现故障，并自动将之切换到standby NN上，这样可大大较小Hadoop集群运维人员的工作量。具体参考：
https://www.doczj.com/doc/fb15291651.html,/hdfs-autofailover
准备
机器准备
物理机器总共4台，想配置基于物理机的hadoop集群中包括 4 个节点： 1 个Master ，3 个Salve ，节点之间局域网连接，可以相互ping 通
Ip分布为
192.168.1.201 hadoop1
192.168.1.202 hadoop2
192.168.1.203 hadoop3
192.168.1.204 hadoop4
操作系统为CentOS 5.6 64bit
Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务
的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储
以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Maste r服务器宕机，还有一个备用马上启用。后续经验积累一定阶段后补上一台
备用Master机器。
创建账户
使用root登陆所有机器后，所有的机器都创建hadoop 用户
useradd hadoop
passwd hadoop
此时在/home/ 下就会生成一个hadoop 目录，目录路径为/home/hadoop
创建相关的目录
定义需要数据及目录的存放路径
定义代码及工具存放的路径
mkdir -p /home/hadoop/source
mkdir -p /home/hadoop/tools
定义数据节点存放的路径到跟目录下的hadoop文件夹, 这里是数据节点存放目录需要有足够的空间存放
mkdir -p /hadoop/hdfs
mkdir -p /hadoop/tmp
mkdir -p /hadoop/log
设置可写权限
chmod -R 777 /hadoop
定义java安装程序路径
mkdir -p /usr/java
安装
安装JDK
https://www.doczj.com/doc/fb15291651.html,/technetwork/java/javase/downloads/jdk-6u32-downloads-1594644.html 在以上连接下载linux 64 下的jdk 的安装文件： jdk-6u32-linux-x64.bin
1 ，将下载好的jdk-6u32-linux-x64.bin 通过SSH 上传到/usr/java 下
scp -r ./jdk-6u32-linux-x64.bin root@hadoop1:/usr/java
2 ，进入JDK 安装目录cd /usr/java 并且执行chmod +x jdk-6u32-linux-x64.bin
3 ，执行 ./jdk-6u32-linux-x64.bin
4 ，配置环境变量，执行cd /etc 命令后执行vi profile ，在行末尾添加
export JAVA_HOME=/usr/java/jdk1.6.0_32
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH
5 ，执行chmod +x profile 将其变成可执行文件
6 ，执行source profile 使其配置立即生效
source /etc/profile
7 ，执行java -version 查看是否安装成功
这个步骤所有机器都必须安装
[root@hadoop1 bin]# java -version
java version "1.6.0_32"
Java(TM) SE Runtime Environment (build 1.6.0_32-b05)
Java HotSpot(TM) 64-Bit Server VM (build 20.7-b02, mixed mode)
修改主机名
修改主机名，所有节点均一样配置
1 ，连接到主节点192.168.1.201 ，修改network ，执行vim /etc/sysconfig/network ，修改HOSTNAME=hadoop1
2 ，修改hosts 文件，执行cd /etc 命令后执行vi hosts ，在行末尾添加:
192.168.1.201 hadoop1
192.168.1.202 hadoop2
192.168.1.203 hadoop3
192.168.1.204 hadoop4
3 ，执行hostname hadoop1
4 ，执行exit 后重新连接可看到主机名以修改OK
其他节点也修改主机名后添加Host, 或者host 文件可以在后面执行scp 覆盖操作
配置SSH无密码登陆
SSH 无密码原理简介:
首先在hadoop1 上生成一个密钥对，包括一个公钥和一个私钥，并将公钥复制到所有的slav e(hadoop2-hadoop4) 上。
然后当master 通过SSH 连接slave 时，slave 就会生成一个随机数并用master 的公
钥对随机数进行加密，并发送给master 。
最后master 收到加密数之后再用私钥解密，并将解密数回传给slave ，slave 确认解密数无误之后就允许master 不输入密码进行连接了
2 ，具体步骤（在root用户和hadoop用户登陆情况下执行）
1 、执行命令ssh-keygen -t rsa 之后一路回车，查看刚生成的无密码钥对：cd .ssh 后执行ll
2 、把id_rsa.pub 追加到授权的key 里面去。执行命令cat ~/.ssh/id_rsa.pub >>~/.ssh/aut horized_keys
3 、修改权限：执行chmod 600 ~/.ssh/authorized_keys
4 、确保cat /etc/ssh/sshd_config 中存在如下内容
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
如需修改，则在修改后执行重启SSH 服务命令使其生效:service sshd restart
5 、将公钥复制到所有的slave 机器上:scp ~/.ssh/id_rsa.pub 192.168.1.203 ：~/ 然后输入yes ，最后输入slave 机器的密码
6 、在slave 机器上创建 .ssh 文件夹:mkdir ~/.ssh 然后执行chmod 700 ~/.ssh （若文件夹以存在则不需要创建）
7 、追加到授权文件authorized_keys 执行命令:cat ~/id_rsa.pub >> ~/.ssh/authorized_key s 然后执行chmod 600 ~/.ssh/authorized_keys
8 、重复第4 步
9 、验证命令: 在master 机器上执行ssh 192.168.1.203 发现主机名由hadoop1 变成hadoop3 即成功，最后删除id_rsa.pub 文件:rm -r id_rsa.pub
按照以上步骤分别配置hadoop1,hadoop2,hadoop3,hadoop4 ，要求每个都可以无密码登录
源码下载
HADOOP 版本
最新版本hadoop-2.0.0-alpha 安装包为hadoop-2.0.0-alpha.tar.gz
下载官网地址:https://www.doczj.com/doc/fb15291651.html,/dyn/closer.cgi/hadoop/common/
下载到/home/hadoop/source 目录下
wget http://ftp.riken.jp/net/apache/hadoop/common/hadoop-2.0.0-alpha/hadoop-2.0.0-alpha.t
ar.gz
解压目录
tar zxvf hadoop-2.0.0-alpha.tar.gz
创建软连接
cd /home/hadoop
ln -s /home/hadoop/source/hadoop-2.0.0-alpha/ ./hadoop
源码配置修改
/etc/profile
配置环境变量：vim /etc/profile
添加
export HADOOP_DEV_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME} export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME} export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop export HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop export YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
创建并配置hadoop-env.sh
vim /usr/hadoop/hadoop-2.0.0-alpha/etc/hadoop/hadoop-env.sh
在末尾添加export JAVA_HOME=/usr/java/jdk1.6.0_27
core-site.xml
在configuration 节点里面添加属性
添加httpfs 的选项
slave配置
vim /home/hadoop/hadoop/etc/hadoop/slaves
添加slave 的IP
192.168.1.202
192.168.1.203
192.168.1.204
配置hdfs-site.xml
vim /home/hadoop/hadoop/etc/hadoop/hdfs-site.xml
添加节点
配置yarn-site.xml
添加节点
配置httpfs-site.xml
同步代码到其他机器
1.同步配置代码
先在slaves 的机器上也创建
mkdir -p /home/hadoop/source
部署hadoop代码，创建软连接，然后只要同步修改过的etc/hadoop下的配置文件即可
2.同步/etc/profile
3.同步/etc/hosts
scp -r /etc/profile root@hadoop2:/etc/profile
scp -r /etc/hosts root@hadoop2:/etc/hosts
其他机器以此操作
Hadoop启动
格式化集群
hadoop namenode -format -clusterid clustername
启动hdfs
执行
start-dfs.sh
开启hadoop dfs服务
启动Yarn
开启yarn 资源管理服务
start-yarn.sh
启动httpfs
开启httpfs 服务
httpfs.sh start
使得对外可以提高http 的restful接口服务
测试
安装结果验证
验证hdfs
在各台机器执行jps 看进程是否都已经启动了
[root@hadoop1 hadoop]# jps
7396 NameNode
24834 Bootstrap
7594 SecondaryNameNode
7681 ResourceManager
32261 Jps
[root@hadoop2 ~]# jps
8966 Jps
31822 DataNode
31935 NodeManager
进程启动正常
验证是否可以登陆
hadoop fs -ls hdfs://192.168.1.201:9000/
hadoop fs -mkdir hdfs://192.168.1.201:9000/testfolder
hadoop fs -copyFromLocal ./xxxx hdfs://192.168.1.201:9000/testfolder
hadoop fs -ls hdfs://192.168.1.201:9000/ testfolder
看以上执行是否正常
验证map/reduce
在master1 上，创建输入目录:hadoop fs -mkdir hdfs://192.168.1.201:9000/input
将/usr/hadoop/hadoop-2.0.1-alpha/ 目录下的所有txt 文件复制到hdfs 分布式文件系统的
目录里，执行以下命令
hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/*.txt hdfs://192.168.1.201:9000/input
在hadoop1 上，执行HADOOP 自带的例子，wordcount 包，命令如下
cd /usr/hadoop/hadoop-2.0.1-alpha/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.0.1-alpha.jar wordcount hdfs://192.168.1.201:9 000/input hdfs://192.168.1.201:9000/output
hadoop fs -put /usr/hadoop/hadoop-2.0.1-alpha/*.txt hdfs://192.168.1.201:9000/input
在hadoop1 上，查看结果命令如下:
[root@master1 hadoop]# hadoop fs -ls hdfs://192.168.1.201:9000/output
Found 2 items
-rw-r--r-- 2 root supergroup 0 2012-06-29 22:59 hdfs://192.168.1.201:9000/output/_ SUCCESS
-rw-r--r-- 2 root supergroup 8739 2012-06-29 22:59 hdfs://192.168.1.201:9000/output /part-r-00000
[root@hadoop1 hadoop]# hadoop fs -cat hdfs://192.168.1.201:9000/output/part-r-00000 即可看到每个单词的数量
验证httpfs
HTTPFS操作：
OPEN,GETFILESTATUS,LISTSTATUS,GETHOMEDIRECTORY,GETCONTENTSUMMARY, GETFILECHECKSUM,GETDELEGATIONTOKEN,GETFILEBLOCKLOCATIONS,INSTRUME NTATION
GETHOMEDIRECTORY 路径无关，返回根节点路径
http://192.168.1.201:14000/webhdfs/v1/yxq?op=GETHOMEDIRECTORY&https://www.doczj.com/doc/fb15291651.html,=root
Path: "/user/root"
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETHOMEDI RECTORY&https://www.doczj.com/doc/fb15291651.html,=root
打开/ 下载一个文件
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=open&user.n ame=root
LISTSTATUS 现实目录状态
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0?op=LISTSTATUS&https://www.doczj.com/doc/fb15291651.html,=root http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=LISTSTATUS &https://www.doczj.com/doc/fb15291651.html,=root
GETFILESTATUS 显示文件的状态
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILEST ATUS&https://www.doczj.com/doc/fb15291651.html,=root
如果是路径则现实路径信息
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/?op=GETFILESTATUS&https://www.doczj.com/doc/fb15291651.html, =root
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILEST ATUS&https://www.doczj.com/doc/fb15291651.html,=root
GETCONTENTSUMMARY 获取路径下的信息
http://192.168.1.201:14000/webhdfs/v1/yxq?op=GETCONTENTSUMMARY&https://www.doczj.com/doc/fb15291651.html,=root
GETFILECHECKSUM 获取文件的校验值
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILECH ECKSUM&https://www.doczj.com/doc/fb15291651.html,=root
以下实现方法还有错误现在：
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
GETDELEGATIONTOKEN ERROR
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETDELEG ATIONTOKEN&https://www.doczj.com/doc/fb15291651.html,=root
GETFILEBLOCKLOCATIONS error
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=GETFILEBL OCKLOCATIONS&https://www.doczj.com/doc/fb15291651.html,=root
INSTRUMENTATION error
http://192.168.1.201:14000/webhdfs/v1/yxq/bitfoldersub0/bitwaretestfile0.bt?op=INSTRUMEN TATION&https://www.doczj.com/doc/fb15291651.html,=root
性能测试
使用内部的benchmark 测试不同文件大小及不同append大小的写入情况
hadoop jar /home/hadoop/hadoop/bin/BitwareHadoopBenchmark.jar BitwareHadoopBench mark hdfs://192.168.1.201:9000 /bitwaretest01/ 0 20 200 4 0
参考资料
https://www.doczj.com/doc/fb15291651.html,/blog/1612323
https://www.doczj.com/doc/fb15291651.html,/mapreduce-nextgen/apache-hadoop-2-0-alpha/
结语
hadoop 的配置及使用在不断的更新中
这次搭建hadoop2.4分布式集群，由于是在自己的笔记本上搭建集群，所以必须在虚拟机下安装多linux系统来模拟真实的分布式集群环境，我们用的虚拟机是VmWare10，选择的是linux发行版CentOs6.0，虚拟了三个CentOs系统（安装CentOs的步骤省略，这里不是我们这次学习的重点），一台master 两台slave，用户名全部为hadoop，具体如下（除了第一步使用root用户操作，其他均使用hadoop用户）：
master 192.168.1.106
slave1 192.168.1.107
slave2 192.168.1.108
下面说明hadoop的详细安装过程：
AD域控服务器管理规范 一、基本规范 1.1、目的 为了加强域服务器、网络系统安全，保障系统、数据的安全运行特制定本制度。本制度适用于公司域服务器、网络系统的运行、维护和管理。 1.2、范围 1.本网络系统由计算机硬件设备、软件及客户机的网络系统配置组成。 2.软件包括：服务器操作系统、数据库及应用软件、各部门工作相关的网络应用软件等。 3.域服务器网络系统配置包括在网络上的名称、IP地址分配，用户登录名称、用户密码、DNS地址设置及Internet的配置等。 4.软件是指操作系统（如Windows server2008等）系统软件。也包括病毒防范相关的应用软件。 1.3、职责 1.网络管理员为域服务器安全运行的工作人员，负责域服务器系统的日常维护和管理 2.负责系统软件的调研、采购、安装、升级、保管工作。 3.网络管理员负责域服务器的安全运行和数据备份；Ineternet对外接口安全以及计算机系统病毒防范管理；各种软件的用户密码及权限管理；协助其他职能部门进行数据备份和数据归档。 4.网络管理员和其他公司员工执行公司保密制度，严守企业商业机密；
5.服务器系统管理员密码及相关保密事项必须由网络管理相关人员掌握。1.4、管理 1.网络管理员每日定时对域服务器进行日常巡视，并填写《域服务器运行日志》。 2.对于系统和网络出现的异常现象，网络管理员应及时组织相关人员进行分析，制定处理方案，采取积极措施，并如实将异常现象记录在《服务器运行日志》。针对未能及时解决的异常现象应将异常现象描述、分析原因、处理方案、处理结果、预防措施等内容及时形成书面形式告知相关工作人员，并跟踪检查处理结果。 3.定时维护域服务器，及时组织清理磁盘（如：系统垃圾文件、各类文档临时储存文件等），保证服务器有充足空间，保障网络系统能够正常运行。 4.制定域服务器的病毒防范措施，及时下载、更新最新的病毒库，防止服务器受病毒的侵害。 1.5、使用 1.帐号管理：所有网络管理员在使用或维护完域控服务器后，应正常将帐号退出。 2.网络管理员不得随意使用其他工作人员的身份登录域控服务器或其他应用系统，确因工作需要需征得本人同意。 3.网络管理应保管好管理员密码，并定期更换密码，以保证密码安全。 4.其他拥有管理员权限用户不得随意更换域控服务器的名称、IP地址、DNS 等相关设置。因特殊原因确需更改时，应由网络管理员统一调整，并及时修改。
系统部署技术方案 比较
系统部署技术方案比较 1.1部署方案一（分布集中式） 1.1.1技术方案设计的原则和方法 该方案根据大型集团单位协同办公管理应用的实际需求，对整个系统的网络结构、网络选型、网络应用均按照先进性、成熟性、可靠性、开放性、安全性原则进行设计。在软件部署上采用集团内部署多套协同办公管理软件的分布式交换原则。该方案遵循以下原则和方法： ?独立性：各单位分别部署，分别由各自独立的服务器、网 络及应用系统；根据各自的管理体系进行架构，对于集团 内每个单位业务种类或者行业偏差较大的时候，系统能够 相对独立； ?分布式交换：每套系统内部经过服务器进行文件等的交 换，单位与单位之间经过专用的文件加密传输交换系统进 行交换；集团管控的枢纽是文件加密传输系统（交换中 心）。 ?最小授权：各单位各自管理自己的系统，在系统中仅对本 单位独立的系统进行授权管理；单位与单位之间只能经过 互设单独管理帐号才能实现访问。
分布式部署示意图 1.1.2技术方案特点分析 该方案具有如下特点： ◆在实施过程中能够很方便地实行分步实施，降低实施风 险，可分单位逐步进行部署；能够在各独立系统上线运 行成功的基础上，最后部署交换中心即可。 ◆危险分散：由于各系统相对独立，系统安全性大幅度提 高，单个服务器故障仅影响一个单位而不会影响到整个 大系统； ◆管理上独立：各单位各自建立自己的系统，系统管理员 由本单位人员担任，便于管理和维护；同时各单位也能 够根据自身情况灵活地对系统进行配置而不会受其它单 位的影响；
◆内部访问速度快：由于各单位独自一套系统大多数访问 经过局域网进行，内部访问数度快，对互联网依赖小， 对互联网的带宽要求减少。 ◆大容量、大负荷能力：分布式系统便于减轻网络负担， 降低对服务器等设备的要求，在提供大量用户同时上线 方面具有明显的优势，再加上多服务器结构在数据存储 上提供比单服务器大得多的存储容量，便于办公管理数 据的海量储存。 1.1.3关键技术与核心问题分析 要实现分布式部署的关键技术是各系统之间的文件加密传输系统，该系统需要具有完善的安全策略，同时整个文件传输系统采用统一身份认证体系，确保用户在操作过程中的唯一的身份认证，同时平台中的各个系统无缝连接，保证用户的使用流畅。整个系统采用统一的授权体系，实现有限授权，授权精密度可达到每个文件每个用户，确保用户单位的文件使用安全性和共享性。 文件加密设计 在文件的信息加密能够采用对称密钥和非对称加密，两种加密的流程图如下图一和图二所示。 图示一
区块链以及区块链技术总结 区块链是目前一个比较热门的新概念，蕴含了技术与金融两层概念。从技术角度来看，这是一个牺牲一致性效率且保证最终一致性的的分布式的数据库，当然这是比较片面的。从经济学的角度来看,这种容错能力很强的点对点网络,恰恰满足了共享经济的一个必须要求——低成本的可信环境。 本次分享一下聊聊区块链技术，以及目前区块链技术架构,并且介绍一下价值互联网。 由于区块链是一个新兴的技术概念,本文所有的观点仅代表个人观点,未必全部正确。 #1. 技术人员看待区块链的正确姿势 区块链虽然是一个新兴的概念,但它依赖的技术一点也不新,如非对称加密技术、P2P网络协议等。好比乐高积木，积木块是有限的，但是不同组合却能产生非常有意思的事物。 我接触过一些工程师,初次接触区块链时，不约而同的表达了:都是成熟的技术，不就是分布式存储嘛。站在工程师的角度,第一反应将这种新概念映射到自己的知识框架中，是非常自然的。但是细究之下发现，这种片面的理解可能将对区块链的理解带入一个误区，那就是作为一个技术人员,忽略了区块链的经济学特性——一个权力分散且完全自治的系统。
区块链本质上是一个基于P2P的价值传输协议,我们不能只看到了Ｐ2Ｐ,而看不到价值传输。同样的,也不能只看到了价值传输，而看不到区块链的底层技术。 可以这么说,区块链更像是一门交叉学科，结合了P2P网络技术、非对称加密技术、宏观经济学、经济学博弈等等知识，构建的一个新领域——针对价值互联网的探索。 那什么是价值互联网?价值互联网可以是当下如日中天的电子商务所衍生的支付业务。但,真的只是支付领域吗?很显然这是不够的，一级资本市场,实体资产确权与转移，证券登记交割、证信与反欺诈。我们再仔细想想，我们的各大电商平台的专业差评师，恶意刷单还少吗? 如今的金融领域,除了支付比较便利之外，在其他绝大部分的业务中，我们就像是被套着锁链走路一样,我们反复确认,反复审核,反复监督，我们反复构建一个又一个的大大小小的高可用集群,保证线上服务的可靠性与连续性,我们雇佣一个又一个的安全工程师,交付一个又一个的渗透测试项目。为什么？因为作弊的成本太低了，低到只要改数据库的一行记录就可以提取上百万的资金。 强大的互联网给了我们成本几乎为零的高速信息传输通道，却没有一个成本低廉可靠的高速价值传输通道,那么这也就是区块链即将带来的。 区块链是一个公共的分布式总账,下面从技术角度简单介绍一下:
AD域的部署方法
公司Windows AD 域架构设计方案 公司： 项目： 时间： XX 有限公司 部署Windows AD 域 2014-08
目录 一前言 (3) 1.1企业IT面临的挑战 (4) 1.2AD域架构的应用给企业管理带来的优势 (5) 1.3域架构设计原则 (6) 二．公司域架构规划 (8) 2.1域架构部署规划 (8) 2.2通过OU、GPO和用户组实现域安全的管理 (10)
一前言 由于Windows 网络系统架构在企业应用中的普及，企业会面临大量客户端及服务器的统一安全管理； AD域的规划架构需要根据企业现有的网络规模布局和IT管理制度，以适应企业当前和长远的发展需求，有效地保护用户的资料，减少用户的风险。 针对整个公司的域架构规划和实施，前期需要先完成企业域规划及部署；实现公司统一的目录服务管理，统一的企业用户信息、安全策略。 Windows 网络架构客户端默认均属于工作组的办公环境，所有的用户账号均保存在本地客户端上，网络共享数据时只能允许所有人everyone 查看的 权限，数据共享及网络安全存在较多的风险。Windows 域架构管理模式可以解决众多网络安全性问题，域环境下可以轻易实现网络用户账号的集中管理，规范客户端密码长度和复杂性；在域环境下，可以实现所有客户端系统的补丁自动更新，有效提高服务器及桌面系统的安全性。 在Windows AD域的办公环境下，并不会太多改变原有的客户端工作组下的办公习惯；域账号登陆默
认缓存功能，用户离开公司网络，同样可以使用域用户账号在本机登陆，不会改变原有工作组的工作习惯。另外企业应用系统中，很多应用系统是基于微软的AD架构，如MS Cluster集群高可用系统、Exchange 邮件系统、OCS及时通讯系统、MOSS 企业门户网站协作系统等等；所以AD域的架构管理不但可以方便企业内部安全管理，还为以后的企业应用扩展提供了系统基础。 1.1工作组环境下企业IT面临的挑战 身份管理 ?大量的用户登录名和目录 ?不牢固的密码 ?安全访问网络和应用资源 ?增加的桌面系统维护费用 服务器和桌面电脑管理 ?如何统一管理服务器和桌面系统安全策略 ?如何统一管理桌面系统的应用 ?如何保持所有系统安全补丁升级到最新
系统部署技术方案比较 1.1部署方案一（分布集中式） 1.1.1技术方案设计的原则和方法 该方案根据大型集团单位协同办公管理应用的实际需求，对整个系统的网络结构、网络选型、网络应用均按照先进性、成熟性、可靠性、开放性、安全性原则进行设计。在软件部署上采用集团内部署多套协同办公管理软件的分布式交换原则。该方案遵循以下原则和方法： 独立性：各单位分别部署，分别由各自独立的服务器、网络及应用系统；根据各自 的管理体系进行架构，对于集团内每个单位业务种类或者行业偏差较大的时候，系 统可以相对独立； 分布式交换：每套系统内部通过服务器进行文件等的交换，单位与单位之间通过专 用的文件加密传输交换系统进行交换；集团管控的枢纽是文件加密传输系统（交换 中心）。 最小授权：各单位各自管理自己的系统，在系统中仅对本单位独立的系统进行授权 管理；单位与单位之间只能通过互设单独管理帐号才能实现访问。 分布式部署示意图 1.1.2技术方案特点分析 该方案具有如下特点： 在实施过程中可以很方便地实行分步实施，降低实施风险，可分单位逐步进行 部署；可以在各独立系统上线运行成功的基础上，最后部署交换中心即可。 危险分散：由于各系统相对独立，系统安全性大幅度提高，单个服务器故障仅 影响一个单位而不会影响到整个大系统； 管理上独立：各单位各自建立自己的系统，系统管理员由本单位人员担任，便 于管理和维护；同时各单位也可以根据自身情况灵活地对系统进行配置而不会 受其他单位的影响； 内部访问速度快：由于各单位独自一套系统大多数访问通过局域网进行，内部
访问数度快，对互联网依赖小，对互联网的带宽要求减少。 大容量、大负荷能力：分布式系统便于减轻网络负担，降低对服务器等设备的 要求，在提供大量用户同时上线方面具有明显的优势，再加上多服务器结构在 数据存储上提供比单服务器大得多的存储容量，便于办公管理数据的海量储存。 1.1.3关键技术与核心问题分析 要实现分布式部署的关键技术是各系统之间的文件加密传输系统，该系统需要具有完善的安全策略，同时整个文件传输系统采用统一身份认证体系，确保用户在操作过程中的唯一的身份认证，同时平台中的各个系统无缝连接，保证用户的使用流畅。整个系统采用统一的授权体系，实现有限授权，授权精密度可达到每个文件每个用户，确保用户单位的文件使用安全性和共享性。 文件加密设计 在文件的信息加密可以采用对称密钥和非对称加密，两种加密的流程图如下图一和图二所示。 图示一 图示二 由图示可知，对称密钥加密中，加密与解密使用的是同一把密钥，在文件传递时需要传递密钥，这里存在安全隐患，对称密钥具有加密速度快的特点。非对称密钥加密，则是采用接受方的公钥加密，接受者利用其所持有的私钥来解密，由于公钥是公开的，不存在安全传输的问题，但是，公钥加密速度慢，效率低，一般来说，对称密钥加密速度大约是非对称密钥加密速度的四百倍左右。为了既保证加密速度，又保证密钥传输的安全性，可采用二者合一的加密组件来解决集团的文件加密。 在对于文件的文件信息内容部分，采用对称密钥加密信息，而用非对称密钥的公钥加密对称密钥，收信人则利用其持有的私钥解密收到的加密数据包以获取解密密钥，使用解密密钥解密加密过的内容以获取原始信息。 加密组件包(ZYSDK)包括对称密钥加密组件、公钥加密组件和“数字信封”组件三个组件。在对称密钥加密算法支持DES、3DES等算法，同时支持国密办SSF33算法。公钥加密算法支持RSA、 SHA-1、MD5等算法。
YONYOU NC 6.5分布式部署配置指南 2015 年 12月 版权所有 (c) 2015 用友网络科技股份有限公司
目录 YONYOU NC 6.5分布式部署配置指南 (1) 目录 (2) 1.分布式系统规划 (2) 1.1系统拓扑规划 (2) 1.2系统目录规划 (3) 2 分布式部署和配置 (4) 2.1MQ部署规划 (4) 2.2MQ安装 (4) 2.3MQ单点部署 (5) 2.4MQ集群部署 (7) 2.5NC中间件配置 (13) 2.6文件服务器 (14) 2.7NTP时间服务器 (15) 2.8启动分布式环境 (15) 3 分布系统目录配置 (16) 3.1设置分布式系统节点 (16) 3.2启用分布式系统节点 (18) 1.分布式系统规划 1.1系统拓扑规划 从总体上列出要搭建的分布式系统网络的结构（本指南中以在三个系统之间建立连接为例进行说明），包括所有的系统节点及其编码，以及节点之间的关系，系统节点与应用系统(帐套)的映射关系，系统节点在应用服务器上的分布。最终形成类似如下的拓扑结构图：
1.2系统目录规划 这一步骤是根据上一步骤总体规划的系统拓扑图，将其转换为每一个系统节点的分布系统目录，并确定其它必要的配置参数。示例如下： 帐套编码：zb 系统编码：nc01 帐套编码：zjt2 系统编码：nc03 系统名称：子2 位置：海南分公司 服务器：10.8.5.220 帐套编码：zjt1 系统编码：nc02 系统名称：子1 位置：长沙分公司 服务器：20.10.80.193 分布式系统拓扑图
2 分布式部署和配置 2.1 MQ部署规划 UAPMQ部署之前应做好规划，具体包括以下三方面： 1、每个系统节点所在的应用服务器与MQ的通讯网络规划； 2、MQ本身的部署方式：单点还是集群； 3、MQ中间件的IP、端口等参数； 如果整个分布式系统的网络环境中存在低质量不可靠的网络链路时，MQ应考虑以集群方式部署，在每个分布式系统节点的应用服务器所处的局域网内部署一个MQ中间件，这些分布于各个局域网内的MQ中间件之间再组建成MQ集群。而如果整个分布式系统的网络环境中的网络质量非常好，则MQ可以采用“单点部署”的方式，简化部署，即每个分布式系统节点的应用服务器都直接连接到同一个MQBroker中。 如MQ单点部署，则每个分布式系统节点配置的消息中间件应指定为同一个MQ地址及端口。以在服务器20.10.80.43上单点部署MQ为例，则各分布式系统的MQ连接配置情况如下： 如MQ采用集群部署，则每个分布式系统节点将指定MQ集群内的分布式系统节点对应所处局域网内部署的MQ中间件，示例如下： 2.2 MQ安装 由于UAPMQ已经内嵌入NCV6.5产品中，目录是nchome\uapmq。因此如果已经安装的NCV6.5则不需要再安装UAPMQ。 如UAPMQ需要单独安装则取NCV6.5安装盘进行安装，安装时勾选消息中间件即可。
服务器配置方案 本文转自：傲龙网络 在日常工作中，经常给客户进行硬件配置建议，发现很多客户基本的信息化基础的知识都不是太懂，比如服务器配置数选择和用户数关系等等。甚至很多IT专业人士，比如erp，crm顾问都不是很清楚。当然也有可能这些顾问只专注于他自己工作的那一块，认为这些是售前干的事情，不需要了解太多。在我看来我觉得多了解一些，碰到不懂的客户也可以给人家说个所以然出来，至少也没有什么坏处嘛。下面这篇文章也是平常的工作总结，贴出来给大家分享一下，也许还用的着。 第一章服务器选择 1.1 服务器选择和用户数关系
说明： 首选原则：在初期给客户提供硬件配置参考时，在线用户数建议
按注册用户数（或工作站数量）的50％计算。 备用原则：根据企业的行业特点、用户使用频度、应用特点、硬件投入等综合因素考虑，在线用户数比例可以适当下调，由售前/销售人员在对客户的具体情况进行了解后做出适当的建议。 服务器推荐选择品牌：IBM、DELL（戴尔）、HP（惠普）、Sun 、Lenovo （联想）、浪潮、曙光等品牌机型。 CPU：如果因为选择不同品牌服务器或双核处理器导致CPU型号/主频变动，只要求达到同级别或该级别以上处理能力。 硬盘：对于硬盘方面，推荐选择SCSI硬盘，并做RAID5；对于小企业可以如果由于采购成本的考虑也可采用SATA。对于2000注册用户数以上企业，强烈推荐采用磁盘阵列。 硬盘容量＝每用户分配容量×注册用户数＋操作系统容量＋部分冗余 1.2 常见机型参考报价
由于IBM服务器在几个品牌的PC服务器系列中价格较高，如果报价是供客户做预算用，则可将该报价直接发给客户供参考，减少商务询价的工作量。 硬件配置和相关型号可上网查询： IBM服务器 HP服务器 DELL服务器 SUN服务器 Lenovo（联想） 1.3 服务器选择和用户数关系在线计算 在IBM网站上有提供IBM Systems Workload Estimator工具可用于
大型电商网站服务器架构完全部署方案
————————————————————————————————作者：————————————————————————————————日期： 2
任何一个大型网站都是经历用户积累然后成长，从一台服务器到多台服务器才能构架支撑网站现有数据、用户、页面请求等。大型网站(如淘宝、京东等)的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩展而完善出来的，并不是一蹴而就;不同业务特征的系统，会有各自的侧重点，例如淘宝，要解决海量的商品信息的搜索、下单、支付，例如腾讯，要解决数亿的用户实时消息传输，百度它要处理海量的搜索请求，他们都有各自的业务特性，系统架构也有所不同。尽管如此我们也可以从这些不同的网站背景下，找出其中共用的技术，这些技术和手段可以广泛运行在大型网站系统的架构中，下面就通过介绍大型网站系统的演化过程，来认识这些技术和手段。 一、最开始的网站架构最初的架构，应用程序、数据库、文件都部署在一台服务器上，如图： 二、应用、数据、文件分离随着业务的扩展，一台服务器已经不能满足性能需求，故将应用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果。
三、利用缓存改善网站性能在硬件优化性能的同时，同时也通过软件进行性能优化，在大部分的网站系统中，都会利用缓存技术改善系统的性能，使用缓存主要源于热点数据的存在，大部分网站访问都遵循28原则(即80%的访问请求，最终落在20%的数据上)，所以我们可以对热点数据进行缓存，减少这些数据的访问路径，提高用户体验。
区块链技术原理详解以数据库思维理解区块链
作为一个数据库行业的老兵，我看到在区块链技术的热潮下，传统的IT技术同学们保持了十分理性，甚至是排斥的态度。其实不管是热捧还是排斥，两极观点之下，我认为我们应该从IT人比较能够理解的角度探讨一下区块链技术。因为区块链这个东西的本质和数据库技术非常相像，很多机制使用数据库的理念去理解会非常直观准确。 对于区块链和传统数据技术，我认为区块链技术的未来发展，主题是“融合”。我们就从数据库这个角度来解读区块链技术体系中各个技术点，以及通过“去中心化数据库”这个概念，把区块链与数据库技术做一个比较好的整合。 一、区块链技术现状 当前的区块链世界有人号称1.0、2.0、甚至已经到了3.0时代，但是从一个产品或技术打磨的角度来看，我认为当前的区块链也就相当于数据库的80年代，处于百花争鸣各种思想层出不穷的时代。对技术人来说，这是最好的时代，各种新鲜的想法和思路大量爆发，在沉闷的技术领域带来新鲜的突破；同时这也是最坏的时代，没有任何产品或方向肯定是未来的主流，任何新鲜的思路也许在几个月以后就被证明不可行。 所以，我们要正确认知当前区块链技术的变革和发展，那我们来对比当年数据库所走过的道路，看看未来区块链世界会怎样发展。
1、技术演进路程 首先我认为，区块链一定会从当前的专有化向通用化演进。现在基本所有做公链的产品都是针对某一个特定的场景来实现与优化，但是我认为未来一定不会是一个应用一条链，而是有一种通用的开发范式。就好像传统数据库一样，不管大家开发什么样的应用程序，都可以使用这么若干有限的几个通用性产品就能够满足大部分业务场景了。 第二，向标准化演进。对于区块链技术，现在每个链基本都有自己的开发范式，甚至很多公链还模仿以太坊尝试自己做一个编程语言出来，这实际上是一种行业处于原始时期的标志。怎样判断一个行业
VMware vCenter分布式交换机 1. vNetwork Distributed vSwitch简介 vNetwork Distributed vSwitches（vDS或vNDS）支持一个交换机在多个宿主上配置使用。之前，具有相同配置的vSwitch必须在每一个宿主上创建，以便支持如VMotion的特性。当一个VM从一个宿主移动到另一个宿主时，它需要发现另一个宿主的网络名称和相同的配置才能建立连接。在每一个宿主上配置每一个vSwitch是非常费时的过程，而如果并非所有配置都一样的，通常就会出现VMotion兼容问题。 vDS与标准交换机非常相似，但是标准vSwitch是在每一个宿主上单独配置，而vDS是使用vCenter Server进行集中配置。每个vCenter Server最多有16个vDS，每个vDS最多可以连接64个宿主。vDS通过vCenter Server创建和维护，但是它们的运行并不依赖于服务器。如果vCenter Server变得不可用，vDS不会丢失它们的配置。当一个vDS在vCenter Server 中创建时，每一个宿主上会创建一个隐藏的vSwitch与vDS连接，它位于本地VMFS卷的名为.dvsData的文件夹中。vDS不仅包含vSwitch集中管理的功能；它们还支持下列特性，而这些是标准vSwitch所不具备的： ?支持专用VLAN来分割VM。 ?VMotion中的VM网络端口状态在从一个宿主移到另一个宿主时是保持不变的，这样就能支持持续的统计监控并促进安全性监控。这就是所谓的 Network Policy VMotion。 ?双向流量整形同时支持Tx和Rx速度限制。标准vSwitch只支持Tx速度限制。 ?支持第三方分布式vSwitch，如Cisco Nexus 1000v。 Distributed vSwitch必须通过vCenter在数据中心级别定义的，横跨多台ESX 主机的超级交换机（只有Enterprise Plus版本支持），它把分布在多台ESX
局域网文件共享服务器搭 建初稿方案 Prepared on 22 November 2020
局域网文件共享服务器搭建初稿方案一．需求分析 1.公司有7个大部门，分别为：综合部、技术部、质量部、生产部、采购物流部、商务部、财务部。 2. 各部门的文件夹只允许本部门员工有权访问；各部门之间交流性质的文件放到公用文件夹中。 3. 每个部门都有一个管理本部门文件夹的管理员账号和一个只能新建和查看文件的普通用户权限的账号。 4. 公用文件夹中分为存放共享各部门的文件夹和工具软件文件夹。 5. 对于各部门自己的文件夹，各部门管理员具有完全控制权限，而各部门普通用户可以在该部门文件夹下新建文件及文件夹，并且对于自己新建的文件及文件夹有完全控制权限，对于管理员新建及上传的文件和文件夹只能访问，不能更改和删除。不是本部门用户不能访问本部门文件夹。 6. 对于公用文件夹中的各部门共享文件夹，各部门管理员具有完全控制权限，而各部门普通用户可以对文件夹进行访问查看，但不能更改和删除。本部门用户（包括管理员和普通用户）在访问其他部门公共共享文件夹时，只能查看不能修改、删除、新建。对于存放工具软件的文件夹，只有管理员有权限，其他用户只能访问。 二．规划 根据公司需求情况，现做出如下规划： 1. 在系统分区时单独分一个Company的区，在该区下有以下几个文件夹：综合部、技术部、质量部、生产部、采购物流部、商务部、财务部、公共文件。在“公共文
件”下又有以下几个文件夹：综合部、技术部、质量部、生产部、采购物流部、商务部、财务部、工具软件。 2. 各部门对应的文件夹由各部门自己管理，工具软件文件夹由管理员维护。 3. 账号角色划分为超级管理员组、部门管理员组、普通用户组。 超级管理员组用户账号: superadmin; 部门管理员组包含用户 综合部管理员账号：zhbadmin；密码： 技术部管理员账号：jsbadmin；密码： 质量部管理员账号：zlbadmin；密码： 生产部管理员账号：scbadmin；密码： 采购物流部管理员账号：cgbadmin；密码： 商务部管理员账号：swbadmin；密码： 财务部管理员账号：cwbadmin；密码： 普通用户组分 为:zhbuser;jsbuser;zlbuser;scbuser;cgbuser;swbuser;cwbu ser 密码：和各普通用户名对应的一样。 文件夹之间的关系请见下图： 三．文件共享服务安装和配置 1.安装文件服务器 2.用户角色配置 Step1 在桌面上用鼠标右键单击【我的电脑】图标，在弹出的快捷菜单中选择【管理】命令。打开“计算机管理”窗口，在左窗格中展开【本地用户和组】目录。然后用鼠
高并发分布式服务架构方案 下图是一个非常全面的架构蓝图，针对不同的应用系统需要的模块各有不同。此架构方案主要包括以下几个方面的设计：数据存储和读取，基础服务，应用层（APP/业务/Proxy），日志监控等，下面对这些主要的问题提供具体的各项针对性技术方案。 数据的存储和读取 分布式系统应该根据应用对数据不同的一致性、可用性等要求和数据的不同特性，采用不同的数据存储和读取方案，主要有以下几种可选方案： 1)内存型数据库。内存型的数据库，以高并发高性能为目标，在事务性方面没那么严格， 适合进行海量数据的存储和读取。例如开源nosql数据库mongodb、redis等。 2)关系型数据库。关系型数据库在满足并发性能的同时，也需要满足事务性，可通过 读写分离，分库分表来应对高并发大数据量的情况。例如Oracle，Mysql等。 3)分布式数据库。对于数据的高并发的访问，传统的关系型数据库提供读写分离的方案， 但是带来的确实数据的一致性问题提供的数据切分的方案；对于越来越多的海量数据，传统的数据库采用的是分库分表，实现起来比较复杂，后期要不断的进行迁移维护；对
于高可用和伸缩方面，传统数据采用的是主备、主从、多主的方案，但是本身扩展性比较差，增加节点和宕机需要进行数据的迁移。对于以上提出的这些问题，分布式数据库HBase有一套完善的解决方案，适用于高并发海量数据存取的要求。 基础服务 基础服务主要是指数据层之上的数据路由，Cache，搜索等服务。 1)路由Router。对于数据库切分方案中的分库分表问题，需要解决在请求对应的数据时 定位需要访问的位置，可根据一致性Hash，维护路由表至内存数据库等方案解决。 2)Cache。对于高并发的系统来讲，使用Cache可以减轻对后端系统的压力，所有Cache 可承担大部分热数据的读操作。当前用的比较多的是redis和memcache，redis比memcache有丰富的数据操作的API，redis对数据进行了持久化，而memcache没有这个功能，因此memcache更加适合在关系型数据库之上的数据的缓存。 3)搜索。搜索可以支持应用系统的按照关键词的检索，搜索提示，搜索排序等功能。开源 开源的企业级搜索引擎主要有lucene, sphinx，选择搜索引擎主要考虑以下三个方面： a)搜索引擎是否支持分布式的索引和搜索，来应对海量的数据，支持读写分离，提高 可用性 b)索引的实时性 c)搜索引擎的性能 Solr是基于Lucene开发的高性能的全文搜索服务器，满足以上三个方面的考虑，而且目前在企业中应用非常广泛。 应用层 应用层主要包括面向用户的应用，网站、APP等，还包括相关的业务处理的运算等。 1)负载均衡-反向代理。一个大型的平台包括很多个业务域，不同的业务域有不同的集群， 可以用DNS做域名解析的分发或轮询，DNS方式实现简单。但是因存在cache而缺乏灵活性；一般基于商用的硬件F5、NetScaler或者开源的软负载lvs在做分发，当然会采用做冗余(比如lvs+keepalived)的考虑，采取主备方式。Nginx是基于事件驱动的、异步非阻塞的架构、支持多进程的高并发的负载均衡器/反向代理软件，可用作反向代理的工具。
邮件服务器分布式部署方案 一、分布式部署分析（多个地方用同一域名搭建服务器） 分布式部署主要解决南北互联或国内外网络互通的问题，以及单台负载过大的情况。 分布式邮件系统适用于在各地设有分部的政府机构或者大型集团，使用统一的邮箱域名的同时为了提高邮件系统的运行效率，大型机构可以选择部署分布式邮件系统来提高系统性能。在各地有人员的机构，使用传统的单点式邮件系统搭建方案会遇到以下的问题： 1. 分支机构位置和中心位置或数据中心之间的网络连接，通常是低带宽、高滞后或不可靠的。 2. 公司总部的网络基础结构无法同时处理所有分支机构的服务请求， 3. 用户需求规定服务器须放在本地，以提供最佳用户体验和可用性。 针对这些要求，U-Mail 邮件系统为企业提供分布式部署方案 下面本手册,以某公司域名是https://www.doczj.com/doc/fb15291651.html, 有北京和深圳2个办事处。为例进行说明 分布式邮件系统是指同一域名下，跨地域部署的邮件系统，如图：
二、工作流程分析 1. 同域名内部互相发送 北京的用户收发都是通过北京那台服务器收发，如果发送到深圳这台服务器上面的账号则直接发送到深圳的服务器。 深圳的用户收发都是通过深圳这台服务器收发，如果发送到北京那台服务器上面的账号则直接发送到北京的服务器， 2. 内部发送到外部域名 发送到外面的邮件都由各自服务器发送出去。 3. 外部发送进来 外面发送进来的邮件随机发到北京或者深圳的服务器： 如果首先发到北京的服务器，北京服务器首先检查收件人是在哪台服务器上面，发现是本服务器上面账号的邮件则接受，如果发送不是本地(北京)账号邮件，则发送到深圳服务器。如果没有这个账号则拒收。 同样如果是先发到深圳的服务器上面，深圳服务器首先检查收件人是在哪台服务器上面，发现是本服务器上面账号的邮件则接受，如果发送不是本地账号邮件，则发送到北京服务器上面去，如果没有这个账号则拒绝。 三、分布式部署设置 1. 域名解析设置 需要把域名的MX 记录同时指向各地区的邮件服务器，邮件优先级设置相同 假如公司域名为https://www.doczj.com/doc/fb15291651.html,，公司有二个分支机构，分别在北京，深圳， 各自的邮件服务器主机域名为https://www.doczj.com/doc/fb15291651.html, https://www.doczj.com/doc/fb15291651.html, 则两地的MX 记录应该设置如下： 北京https://www.doczj.com/doc/fb15291651.html, MX 10 https://www.doczj.com/doc/fb15291651.html, 深圳https://www.doczj.com/doc/fb15291651.html, MX 10 https://www.doczj.com/doc/fb15291651.html, https://www.doczj.com/doc/fb15291651.html, A 北京IP https://www.doczj.com/doc/fb15291651.html, A 深圳IP 2. 硬件环境 两台服务器配置：双Xeon、2G内存、SAS硬盘。
域服务器的部署方案(总3页) -CAL-FENGHAI.-(YICAI)-Company One1 -CAL-本页仅作为文档封面，使用请直接删除
域服务器和文件服务器部署方案 一．域服务器的作用 1.安全集中管理统一安全策略 2.软件集中管理按照公司要求限定所有机器只能运行必需的办公软件。 3.环境集中管理利用AD可以统一客户端桌面,IE,TCP/IP等设置 4.活动目录是企业基础架构的根本，为公司整体统一管理做基础其它exchange,防病毒服务器，文件服务器等服务依赖于域服务器。二．域服务器的部署。 1.域服务器的安装。 域控的安装是为了更好的管理客户端，域的用户默认的都是user的权限，对有些软件安装权限和升级的权限是禁用的。还有网络ip的修改权限的禁用。所以整体规划需要对各部门的权限进行策略控制。如营销中心的PC 全部为users的权限,设计中心需要用一些设计软件，可以给予administrators的权限具体权限控制管理下面会详细列出。
1.建立ou 和组织架构。 按公司的组织架构进行建立OU，然后OU里建立好计算机，组和用户，统一给予用户一个统一密码，由客户端自行修改密码。 2.客户端加入域。 将客户端的DNS指向域控服务器，然后在我的电脑（win7为计算机）上右键属性更改计算机名点更改隶属于输入域的名复称为https://www.doczj.com/doc/fb15291651.html, 计算机统一命名规则为如营销中心北区为MCN-001 英文缩写加编号，配合execl 表格做。 加入域然后输入用户名密码重启计算机用域用户就可以加入域里了。
3.加入域后，如果只有user权限的用户，要用OA精灵，QQ，360 软件，需要进本地管理员帐号，进行设置权限，给予需要运行的软件文件夹可写，可读的权限。然后本地的管理员的权限全部收回，统一设置一个密码，便于以后方便维护。 三．域服务器的备份 为保证系统遇到硬盘损坏的情况下，可以正常恢复数据，所 以需要建立日常的备份机制。 1.域服务器每月对AD数据的C盘进行一次，全盘备份。其他时间 计划为每天进行一次增量备份。每周对AD数据库进行一次备份，数据存储在D盘。 2.同时用软件拷贝一份到，另一台PC机上，做二次备份。 3.文件服务器每天进行增量备份。数据也存储在D盘。同时用软件 命令拷贝一份到，另一台PC机上，做二次备份。 具体的备份操作见，域服务器备份的操作手册。
系统软件结构示意图 系统基于SOA架构设计，系统整体划分为不同组件或者应用服务，支持分布式的部署及扩展，并通过Nginx组件实现负载均衡。根据逻辑关联划分为：表现层、应用层和数据层。表现层负责系统与用户或者外部系统交互；应用层是服务于表现层，主要实现业务逻辑处理满足表现层的需求；数据层是负责系统数据的存储。 （1）表现层
主要负责与用户和外部系统交互，具体提供系统可操作WEB功能、数据交换程序或者数据接口。满足不同的场景使用。Web Layer主要用https://www.doczj.com/doc/fb15291651.html, mvc5技术实现；Data Exchange 根据需求实现数据交换程序；Data Interface主要基于http协议，用Web API技术实现。 （2）应用层 主要负责系统逻辑计算的实现，提供服务接口给展现层使用。此两层之间通信基于系统内部局域网tcp/ip协议，为了提高数据传输效率。根据应用服务职责不同，将分两大类，分别为业务应用服务和基础应用服务。业务应用服务实现业务需求的功能服务，比如用户订单、某类商品的管理功能等。基础应用服务实现系统基础公用的功能服务，比如：日志服务、缓存服务、用户认证服务功能等。本系统应用服务一般使用.NET平台的通信框架WCF技术实现，个别其他组件除外，比如MQ组件、Redis缓存组件。 （3）数据层 主要负责系统数据存储、同步、缓存和备份管理。本系统数据分为结构化数据和非结构化数据。对于结构化数据使用MSSQL2008以上数据库存储，基于MSSQL复制同步的机制，可以进行数据读写分离的实现，提升数据层面的优化。对于本系统业务日志数据的存储选型，由于考虑到业务日志数据结构多样化、数据量较大，所以选用MongoDB的NoSQL 技术，同时系统面对着高并发的访问，采取了缓存的机制提升性能，选用Redis缓存组件实现数据缓存存储。对于非结构化数据存储，比如文档、图片等数据，本系统基于Windows 平台NTFS文件系统实现文档存储和读写功能。 三、系统物理结构
集团域服务器部署方案 一、网络对办公环境造成的危害 随着Internet接入的普及和带宽的增加，一方面员工上网的条件得到改善，另一方面也给公司带来更高的网络使用危险性、复杂性和混乱，内部员工的不当操作等使信息维护人员疲于奔命。网络对办公环境造成的危害主要表现为： 1. 为给用户电脑提供正常的标准的办公环境，安装操作系统和应用软件已经耗费了信息管理中心人员一定的精力和时间，同时又难以限制用户安装软件，导致管理人员必须花费其50%以上的精力用于维护用户的PC系统，无法集中精力去开发信息系统的深层次功能，提升信息系统价值。 2. 由于使用者的防范意识普遍偏低，防毒措施往往不到位，一旦发生病毒感染，往往扩散到全网络，令网络陷于瘫痪状态，部分致命的蠕虫病毒利用TCP/IP协议的各种漏洞，使得木马、病毒传播迅速，影响规模大，导致网络长时间处于带毒运行，反复发作而维护人员。 3. 部分网站网页含有恶意代码，强行在用户电脑上安装各种网络搜索引擎插件、广告插件或中文域名插件等，增加了办公电脑大量的资源消耗，导致计算机反应缓慢； 4. 个别员工私自安装从网络下载安装的软件，这些从网络上下载的软件安装包多数附带各种插件、木马和病毒，并在安装过程中用户不知情的情况下强行安装在办公电脑上，增加了办公电脑大量的资源消耗，导致计算机反应缓慢，甚至被远程控制； 5. 局域网共享，包括默认共享（无意），文件共享（有意），一些病毒比如
ARP通过广播四处泛滥，影响到整个片区办公电脑的正常工作； 6. 部分员工使用公司计算机上网聊天、听歌、看电影、打游戏，部分员工全天24小时启用P2P软件下载音乐和影视文件，由于flashget、迅雷和BT等软件并发线程多，导致大量带宽被部分员工占用，网络速度缓慢，导致应用软件系统无法正常开展业务，即便是严格的计算机使用管理制度也很难保障企业中的计算机只用于企业业务本身，PC的业务专注性、管控能力不强。 二、网络管理和维护策略 针对以上这些因素，我们可以通过域服务器来统一定义客户端机器的安全策略，规范，引导用户安全使用办公电脑。 域服务器的作用 1.安全集中管理统一安全策略 2.软件集中管理按照公司要求限定所有机器只能运行必需的办公软件。 3.环境集中管理利用AD可以统一客户端桌面,IE,TCP/IP等设置 4.活动目录是企业基础架构的根本，为公司整体统一管理做基础其它OA服务器，防病毒服务器，补丁分发服务器，文件服务器等服务依赖于域服务器。建立域管理 1，建立域控制器，并规定所有办公电脑必须加入域，接受域控制器的管理，同时严格控制用户的权限。集团的员工帐号只有标准user权限。不允许信息系统管理员泄露域管理员密码和本地管理员密码。 在如今各种流氓插件、广告插件、木马和病毒霸道横行的网络环境中，普通员工只具备标准的power user权限，实际上是对公环境有效的保护。 办公PC必须严格遵守OU命名规则，同时实现实名负责制。指定员工对该
SpaceBuilder 分布式部署方案 适用版本：v3.0 版本信息：0.9 建立日期：2008-5-21 创建人：马志强 审核者： 批准人： 批准日期： 编辑软件：Microsoft Office 2003 中文版
目录 1引言 (3) 1.1引用术语与缩写解释 (3) 2部署综述 (3) 2.1服务器角色与职责 (4) 2.2网络设备 (4) 3服务器配置 (4) 3.1通用配置 (4) 3.1.1单点登录配置 (4) 3.1.2缓存客户端配置 (5) 3.1.3数据库连接字符串配置 (5) 3.2web服务器 (6) 3.2.1与资源服务器相关配置 (6) 3.2.2与文件服务器相关配置 (6) 3.2.3与全文检索服务器相关配置 (8) 3.2.4自运行任务配置 (8) 3.3文件服务器 (10) 3.3.1统一配置 (13) 3.3.2个别配置 (14) 3.3.3WCF附件转换站点的配置： (14) 3.4全文检索服务器 (15) 3.4.1统一配置 (15) 3.4.2个别配置 (16) 3.5资源服务器 (16) 3.6数据库服务器 (16) 3.7缓存服务器 (17) 3.8Email发送服务器 (17) 4服务器配置建议 (17) 4.1合并建议 (17) 图表索引： 图表1 分布式部署视图 (3)
1引言 为了使SpaceBuilder可以应对高负载、大数据量的挑战，进行了该方案的编写。针对不同的数据量及负载会有不同的技术架构，SpaceBuilder是为千万级（单表记录）数据而开发的，因此提供本方案供架构设计以及应用部署人员使用。 SpaceBuilder可以通过部署多台服务器来提升负载，本文档详细介绍如何在多台服务器上进行部署，需要进行哪些设置及注意事项。 1.1引用术语与缩写解释 2部署综述 图表1 分布式部署视图
域服务器和文件服务器部署方案 一．域服务器的作用 1.安全集中管理统一安全策略 2.软件集中管理按照公司要求限定所有机器只能运行必需的办公软件。 3.环境集中管理利用AD可以统一客户端桌面,IE,TCP/IP等设置 4.活动目录是企业基础架构的根本，为公司整体统一管理做基础其 它exchange,防病毒服务器，文件服务器等服务依赖于域服务器。 二．域服务器的部署。 1.域服务器的安装。 域控的安装是为了更好的管理客户端，域的用户默认的都是?user的权限，对有些软件安装权限和升级的权限是禁用的。还有网络ip的修改权限的禁用。所以整体规划需要对各部门的权限进行策略控制。如营销中心的PC 全部为users的权限,设计中心需要用一些设计软件，可以给予administrators的权限具体权限控制管理下面会详细列出。
1.建立ou 和组织架构。 按公司的组织架构进行建立OU，然后OU里建立好计算机，组和用户，统一给予用户一个统一密码，由客户端自行修改密码。 2.客户端加入域。 将客户端的DNS指向域控服务器，然后在我的电脑（win7为计算机）上右键属性更改计算机名点更改隶属于输入域的名复称为计算机统一命名规则为如营销中心北区为MCN-001 英文缩写加编号，配合execl 表格做。 加入域然后输入用户名密码重启计算机用域用户就可以加入域里了。
3.加入域后，如果只有user权限的用户，要用OA精灵，QQ，360 软件，需要进本地管理员帐号，进行设置权限，给予需要运行的软件文件夹可写，可读的权限。然后本地的管理员的权限全部收回，统一设置一个密码，便于以后方便维护。 三．域服务器的备份 为保证系统遇到硬盘损坏的情况下，可以正常恢复数据，所以