Ceph分布式存储 1Ceph存储概述 Ceph 最初是一项关于存储系统的PhD 研究项目，由Sage Weil 在University of California, Santa Cruz（UCSC）实施。 Ceph 是开源分布式存储，也是主线Linux 内核（2.6.34）的一部分。1.1Ceph 架构 Ceph 生态系统可以大致划分为四部分（见图1）：客户端（数据用户），元数据服务器（缓存和同步分布式元数据），一个对象存储集群（将数据和元数据作为对象存储，执行其他关键职能），以及最后的集群监视器（执行监视功能）。 图1 Ceph 生态系统 如图1 所示，客户使用元数据服务器，执行元数据操作（来确定数据位置）。元数据服务器管理数据位置，以及在何处存储新数据。值得注意的是，元数据存储在一个存储集群（标为―元数据I/O‖）。实际的文件I/O 发生在客户和对象存储集群之间。这样一来，更高层次的POSIX 功能（例如，打开、关闭、重命名）就由元数据服务器管理，不过POSIX 功能（例如读和
写）则直接由对象存储集群管理。 另一个架构视图由图2 提供。一系列服务器通过一个客户界面访问Ceph 生态系统，这就明白了元数据服务器和对象级存储器之间的关系。分布式存储系统可以在一些层中查看，包括一个存储设备的格式（Extent and B-tree-based Object File System [EBOFS] 或者一个备选），还有一个设计用于管理数据复制，故障检测，恢复，以及随后的数据迁移的覆盖管理层，叫做Reliable Autonomic Distributed Object Storage（RADOS）。最后，监视器用于识别组件故障，包括随后的通知。 图2 ceph架构视图 1.2Ceph 组件 了解了Ceph 的概念架构之后，您可以挖掘到另一个层次，了解在Ceph 中实现的主要组件。Ceph 和传统的文件系统之间的重要差异之一就是，它将智能都用在了生态环境而不是文件系统本身。 图3 显示了一个简单的Ceph 生态系统。Ceph Client 是Ceph 文件系统的用户。Ceph Metadata Daemon 提供了元数据服务器，而Ceph Object Storage Daemon 提供了实际存储（对数据和元数据两者）。最后，Ceph Monitor 提供了集群管理。要注意的是，Ceph 客户，对象存储端点，元数据服务器（根据文件系统的容量）可以有许多，而且至少有一对冗余的监视器。那么，这个文件系统是如何分布的呢？
1. 部署方案参考 如上图所示，中间件平台主要包括两大部分： ●负载分发层 ?包括两台服务器，通过Heartbeat实现HA，提供浮动IP给客户端，保证了系 统不存在单点故障问题 ?负载分发软件采用IBM HTTP Server实现 ?通过IBM HTTP Server配置虚拟主机，实现对不同应用的请求进行分发到不同 的后台W AS中间件集群。 ●WAS中间件集群 ?包括两台4CPU(每CPU 4Core)服务，每个服务器上通过水平扩展可以启动多 个W AS服务器。 ?基于应用部署要求，为每个应用建立一个集群，逻辑上实现应用之间的隔离。 ?每个集群可以根据应用的负载，动态分配WAS服务器实例数。如HR应用访 问量较大则分配4个WAS实例。 ?但最小要保证一个集群至少包括2个W AS实现，并且这两个实例分别在不同 的物理服务器上，这样才能保证不出现单点故障。 ?部署管理器，部署在WAS Server1上。 2. WebSphere 7安装及配置 此安装配置说明仅供参考，还需要根据现场实现情况进行调整。
2.1.WAS安装 一、四台服务器拓朴结构 四台机器IP地址，名称与安装内容 其中DM控制台管理用户admin,口令 两个web服务器的管理用户也是admin,口令 二、安装后验收 http://**.**.**.**:9060/ibm/console可打开应用服务器主机的控制管理台，管理用户admin,口令****** 服务器－＞集群下建有应用集群 服务器－＞应用服务器下建有两个WEB服务 节点共有五个，分别是一个控制节点(一个dmgr节点)，两个受控节点(两个app节点)，两个非受控节点(两个web节点)
实验6－WAS集群配置联调 实验目的：本实验会引导学生完成W AS8的集群配置，之后会安装IHS和Plugins插件，配置集群中的应用使用Web server来进行访问。 实验前提：W AS8.0已经正确安装完毕，同时已经存在一个独立服务器的概要表，概要表中有一个服务器，一般服务器名称是server1。 一、生成部署管理器的概要表 1、启动概要表管理工具应用程序，此程序在目录C:\IBM\WebSphere\AppServer\bin\ProfileManagement中，在DOS命令行中启动pmt.bat。 如果是windows操作系统，也可以通过开始菜单来启动W AS服务器，寻找启动W AS 服务器命令顺序是“开始”－》“所有程序”－》“IBM WebSphere”－》“IBM WebSphere Application Server Network Deployment V8.0”－》“工具”－》“概要表管理工具”。 2、在概要表管理工具界面，单击“创建”按钮。
3、在概要表类型中选中“管理”，单击“下一步”按钮。 4、选择“Deployment Manager”单选框，单击“下一步”按钮。
5、选择“典型概要表文件创建”单选按钮，单击“下一步”按钮。 6、取消“启用管理安全性”复选框，单击“下一步”按钮。
７、在概要文件创建总结中界面中，单击“创建”按钮。 8、部署管理器的概要表建立后，如下图，选中“启动第一步控制台”复选框，单击“完成”按钮。
９、第一步的界面如下，单击“安装验证”链接。 10、系统会自动启动DM，从弹出的界面直到看到“安装验证完成”字样后，说明DM已经正常启动安装。关闭这个界面。
WAS7.0集群配置 1.任务说明 在给定的两台主机上搭建was集群，要求主机一上建立一个管理节点和一个服务节点主机二上建立一个服务节点，并使这两个节点在一个集群下运行。 2.前题需求 两台主机操作系统字符集一致 两台主机已经安装相同版本的WAS 3.测试环境说明 操作系统版本：SuseLinux11Sp3 X86-64位 操作系统字符集：zh_CN.gb18030 WAS版本：7.0.0.27 主机一名称/IP：wasdmgr/1.1.1.10 主机二名称/IP：wasnode2/1.1.1.11 管理单元名称：AmfeDmgrCell01 管理节点名称：AmfeDmgr 节点一名称：AmfeNode01 节点二名称：AmfeNode02 集群名称：AmfeClus 4.详细步骤 4.1.检查两台主机已经安装的概要文件，并删除他们。 4.1.1.root用户登录“wasdmgr”主机、执行下面操作。 显示概要文件并删除现有概要文件
4.1.2.root用户登录“wasnode2”主机、执行下面操作。 显示概要文件并删除现有概要文件 4.1.3.修改管理节点所在主机”wasdmgr”上的hosts文件如下 图
4.1.4.修改服务节点二所在的主机”wasnode2”上hosts文件 如下图 4.2.root用户操作“wasdmgr”主机创建管理节点及服务 节点，并将服务节点添加到管理节点上。 4.2.1.创建管理节点：AmfeDmgr 创建命令：./manageprofiles.sh -create -templatePath /opt/IBM/WebSphere/AppServer/profileTemplates/dmgr -cellName AmfeDmgrCell01 -profileName AmfeDmgr -profilePath /opt/IBM/WebSphere/AppServer/profiles/AmfeDmgr 4.2.2.创建服务节点一：AmfeNode01 创建命令：./manageprofiles.sh -create -templatePath /opt/IBM/WebSphere/AppServer/profileTemplates/managed -nodeName AmfeNode01 -profileName AmfeNode01 -profilePath /opt/IBM/WebSphere/AppServer/profiles/AmfeNode01
ceph源码分析之读写操作流程（2） 上一篇介绍了ceph存储在上两层的消息逻辑，这一篇主要介绍一下读写操作在底两层的流程。下图是上一篇消息流程的一个总结。上在ceph中，读写操作由于分布式存储的原因，故走了不同流程。 对于读操作而言： 1.客户端直接计算出存储数据所属于的主osd，直接给主osd 上发送消息。 2.主osd收到消息后，可以调用Filestore直接读取处在底层文件系统中的主pg里面的内容然后返回给客户端。具体调用函数在ReplicatedPG::do_osd_ops中实现。读操作代码流程如图：如我们之前说的，当确定读操作为主osd的消息时（CEPH_MSG_OSD_OP类型），会调用到ReplicatePG::do_osd_op函数，该函数对类型做进一步判断，当发现为读类型（CEPH_OSD_OP_READ）时,会调用FileStore中的函数对磁盘上数据进行读。 [cpp] view plain copy int ReplicatedPG::do_osd_ops(OpContext *ctx, vector<OSDOp>& ops) { …… switch (op.op) { …… case CEPH_OSD_OP_READ: ++ctx->num_read; { // read into a buffer bufferlist
bl; int r = osd->store->read(coll, soid, op.extent.offset, op.extent.length, bl); // 调用FileStore::read从底层文件系统读 取……} case CEPH_OSD_OP_WRITE: ++ctx->num_write; { ……//写操作只是做准备工作，并不实际的 写} ……} } FileStore::read 函数是底层具体的实现，会通过调用系统函数 如::open,::pread,::close等函数来完成具体的操作。[cpp] view plain copy int FileStore::read( coll_t cid, const ghobject_t& oid, uint64_t offset, size_t len, bufferlist& bl, bool allow_eio) { …… int r = lfn_open(cid, oid, false, &fd); …… got = safe_pread(**fd, bptr.c_str(), len, offset); //FileStore::safe_pread中调用了::pread …… lfn_close(fd); ……} 而对于写操作而言，由于要保证数据写入的同步性就会复杂很多： 1.首先客户端会将数据发送给主osd， 2.主osd同样要先进行写操作预处理，完成后它要发送写消息给其他的从osd，让他们对副本pg进行更改， 3.从osd通过FileJournal完成写操作到Journal中后发送消息
Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人 Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。 1. 携程（Ctrip） 携程所使用的各种存储的现状： ?商业存储： ?SAN(HP/ HPS) , 1+ PB, 数据库 ?NAS (HW) , 800+ TB, 文件共享 开源存储 ?GlusterFS, 1+ PB, 数据库备份 ?FastDFS, 1+ PB, 海量照片 ?HDFS, 10+ PB, 大数据 而在不久的将来，随着公司业务的发展，携程需要的存储容量需要扩大到10倍以上。 携程选择Ceph的理由：低成本 + SDS + Scale-out + 统一存储 + 企业特性
携程目前的Ceph集群的配置： ?CephVersion: 0.94.2，H release ?Object Storage: RGW + Swift API ?SDK: Python/ Java/ C#/ Ruby ?OS: Centos 6.4 ?硬件：CPU(2 channels & 32 Core)、Mem128GB、disk（12*3TB/SATA disk +2*256GB raid1 SSD）、NIC(4*Gigabit LAN, bond 2 in 1 pair) RGW 使用架构：
携程有在数据中心之间的同步数据的需求。在研究了 CRUSHmap、Radosgw-agent、Federate gateway （不稳定、不灵活（只支持Zone 之间同步）、不易扩展）后，其自研了COS方案，它具有稳定、灵活、扩展性等特点：
WebSphere集群安装说明 目录 WebSphere集群安装说明 (1) 一、集群的安装 (2) 二、Deployement Manager的安装 (2) 三、Websphere update Installer的安装 (7) 四、Websphere 补丁的安装 (10) 五、安装HIS和Plugin (17) 六、Websphere 节点的安装 (22) 1．32位机器的操作 (22) 2．64位机器的操作 (29) 七、Websphere 集群的创建 (31) 八、配置web服务器 (36) 九、应用数据源的配置 (37) 十、应用部署 (40) 十一、命令操作 (42) 十一、nfs操作 .............................................................................错误！未定义书签。十二、注意事项 ...........................................................................错误！未定义书签。十三、程序更新 .. (42) 十四、相关地址：........................................................................错误！未定义书签。
一、集群的安装 WAS集群由一组应用服务器组成，每个服务器上部署了同样的应用程序。通过集群可以实现可扩展性（服务更多客户，提高吞吐量），负载均衡（平衡负载资源，使资源得以有效利用），高可用性（提供故障恢复和补偿机制，在关键性业务中提供容错功能）。WAS ND提供水平集群和垂直集群两种形式，垂直集群是指同一机器上部署多个服务器，充分利用硬件资源，而水平集群利用多台机器资源，每台机器部署相同的应用。 二、Deployement Manager的安装 Was安装，在安装介质下输入命令./install
FastDFS (7) Fastdfs简介 (7) Fastdfs系统结构图 (7) FastDFS和mogileFS的对比 (8) MogileFS (10) Mogilefs简介 (10) Mogilefs组成部分 (10) 0）数据库（MySQL）部分 (10) 1）存储节点 (11) 2）trackers（跟踪器） (11) 3）工具 (11) 4）Client (11) Mogilefs的特点 (12) 1. 应用层——没有特殊的组件要求 (12) 2. 无单点失败 (12) 3. 自动的文件复制 (12) 4. “比RAID好多了” (12) 5. 传输中立，无特殊协议 (13) 6.简单的命名空间 (13) 7.不用共享任何东西 (13) 8.不需要RAID (13)
9.不会碰到文件系统本身的不可知情况 (13) HDFS (14) HDFS简介 (14) 特点和目标 (14) 1. 硬件故障 (14) 2. 流式的数据访问 (14) 3. 简单一致性模型 (15) 4. 通信协议 (15) 基本概念 (15) 1. 数据块(block) (15) 2. 元数据节点(Namenode)和数据节点(datanode) . 16 2.1这些结点的用途 (16) 2.2元数据节点文件夹结构 (17) 2.3文件系统命名空间映像文件及修改日志 (18) 2.4从元数据节点的目录结构 (21) 2.5数据节点的目录结构 (21) 文件读写 (22) 1.读取文件 (22) 1.1 读取文件示意图 (22) 1.2 文件读取的过程 (23) 2.写入文件 (24) 2.1 写入文件示意图 (24)
Ceph群集维护简明手册 (2) 前言 (2) MON (2) MON节点添加 (3) MON节点删除 (4) MON故障恢复 (4) OSD (6) OSD添加 (6) OSD删除 (6) 日志迁移 (6) 硬盘更换 (7) RBD (7) 块存储的基本操作 (7) 快照 (10) 导入导出 (11) 增量备份与恢复 (12)
Ceph群集维护简明手册 作者： 普通人 前言 本手册针对已部署完成ceph集群进行阐述（通过ceph-deploy工具），部署架构图如下： MON 环境配置 节点 主机名 Public ip address Cluster ip address Admin/ceph ubuntu-ceph-06 192.168.0.24 10.10.0.6 ceph ubuntu-ceph-07 192.168.0.25 10.10.0.7 ceph ubuntu-ceph-06 192.168.0.26 10.10.0.8
在管理节点的配置目录下，使用ceph-depoloy工具添加新的mon节点。 1.更新配置文件，添加新mon的信息 2.推送新的配置文件到所有节点，或者在添加时覆盖(ceph-deploy会提示) 3.使用ceph-deploy工具添加MON新节点 root@ubuntu-ceph-06:/opt/ceph# ceph-deploy mon create ubuntu-ceph-08 [ceph_deploy.cli][INFO ] Invoked (1.4.0): /usr/bin/ceph-deploy mon create ubuntu-ceph-08 [ceph_deploy.mon][DEBUG ] Deploying mon, cluster ceph hosts ubuntu-ceph-08 [ceph_deploy.mon][DEBUG ] detecting platform for host ubuntu-ceph-08 ... [ubuntu-ceph-08][DEBUG ] connected to host: ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] detect platform information from remote host [ubuntu-ceph-08][DEBUG ] detect machine type [ceph_deploy.mon][INFO ] distro info: Ubuntu 14.04 trusty [ubuntu-ceph-08][DEBUG ] determining if provided host has same hostname in remote [ubuntu-ceph-08][DEBUG ] get remote short hostname [ubuntu-ceph-08][DEBUG ] deploying mon to ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] get remote short hostname ………………..] **************************************************************************** [ubuntu-ceph-08][DEBUG ] status for monitor: mon.ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "election_epoch": 0, [ubuntu-ceph-08][DEBUG ] "extra_probe_peers": [ [ubuntu-ceph-08][DEBUG ] "192.168.0.24:6789/0", [ubuntu-ceph-08][DEBUG ] "192.168.0.25:6789/0" [ubuntu-ceph-08][DEBUG ] ], [ubuntu-ceph-08][DEBUG ] "monmap": { [ubuntu-ceph-08][DEBUG ] "created": "0.000000", [ubuntu-ceph-08][DEBUG ] "epoch": 14, [ubuntu-ceph-08][DEBUG ] "fsid": "fc989fb1-eea9-47f4-83e1-999c47df0930", [ubuntu-ceph-08][DEBUG ] "modified": "2015-08-19 02:50:54.480663", [ubuntu-ceph-08][DEBUG ] "mons": [ [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "addr": "192.168.0.24:6789/0", [ubuntu-ceph-08][DEBUG ] "name": "ubuntu-ceph-06", [ubuntu-ceph-08][DEBUG ] "rank": 0 [ubuntu-ceph-08][DEBUG ] }, [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "addr": "192.168.0.25:6789/0", [ubuntu-ceph-08][DEBUG ] "name": "ubuntu-ceph-07", 添加mon节点也可以使用ceph-deploy mon add --address [ADDRESS] hostname
CEPH分布式存储部署 PS：本文的所有操作均在mon节点的主机进行，如有变动另有注释 作者：网络技术部徐志权 日期：2014年2月10日 VERSION 1.0 更新历史： 2014.2.10:首次完成ceph部署文档，块设备及对象存储的配置随后添加。
一、部署前网络规划 1.1 环境部署 主机名公网IP（eth0）私网IP（eth1）操作系统运行服务node1 192.168.100.101 172.16.100.101 CentOS6.5 mon、mds node2 192.168.100.102 172.16.100.102 CentOS6.5 osd node3 192.168.100.103 172.16.100.103 CentOS6.5 osd ◆操作系统使用CentOS6.5，因为系统已经包含xfs的支持可以直接使用不需要再次 编译。 ◆由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本 不需要关闭。 #hdparm -W 0 /dev/sdb 0 ◆本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥 有两个硬盘作为数据盘。 1.2 网络拓扑
1.3 配置服务器、安装ceph ●添加ceph的rpm库key #rpm --import 'https://https://www.doczj.com/doc/e617765453.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' #rpm --import 'https://https://www.doczj.com/doc/e617765453.html,/git/?p=ceph.git;a=blob_plain;f=keys/autobuild.asc' ●添加ceph-extras库 #vi /etc/yum.repos.d/ceph-extras [ceph-extras] name=Ceph Extras Packages baseurl=https://www.doczj.com/doc/e617765453.html,/packages/ceph-extras/rpm/centos6/$basearch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.doczj.com/doc/e617765453.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-noarch] name=Ceph Extras noarch baseurl=https://www.doczj.com/doc/e617765453.html,/packages/ceph-extras/rpm/centos6/noarch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.doczj.com/doc/e617765453.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-source] name=Ceph Extras Sources baseurl=https://www.doczj.com/doc/e617765453.html,/packages/ceph-extras/rpm/centos6/SRPMS enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.doczj.com/doc/e617765453.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc ●添加ceph库 #rpm -Uvh https://www.doczj.com/doc/e617765453.html,/rpms/el6/noarch/ceph-release-1-0.el6.noarch.rpm ●添加epel库 #rpm -Uvh https://www.doczj.com/doc/e617765453.html,/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm ●安装ceph #yum update -y && yum install ceph -y
W A S集群部署方案及安装 配置手册 Prepared on 24 November 2020
1. 部署方案参考 如上图所示，中间件平台主要包括两大部分： ●负载分发层 ?包括两台服务器，通过Heartbeat实现HA，提供浮动IP给客户 端，保证了系统不存在单点故障问题 ?负载分发软件采用IBM HTTP Server实现 ?通过IBM HTTP Server配置虚拟主机，实现对不同应用的请求进行 分发到不同的后台WAS中间件集群。 ●WAS中间件集群 ?包括两台4CPU(每CPU 4Core)服务，每个服务器上通过水平扩展可 以启动多个WAS服务器。 ?基于应用部署要求，为每个应用建立一个集群，逻辑上实现应用之 间的隔离。 ?每个集群可以根据应用的负载，动态分配WAS服务器实例数。如 HR应用访问量较大则分配4个WAS实例。
?但最小要保证一个集群至少包括2个WAS实现，并且这两个实例 分别在不同的物理服务器上，这样才能保证不出现单点故障。 ?部署管理器，部署在WAS Server1上。 2. WebSphere 7安装及配置 此安装配置说明仅供参考，还需要根据现场实现情况进行调整。 2.1.WAS安装 一、四台服务器拓朴结构 四台机器IP地址，名称与安装内容 主机名IP 安装软件（组件）
其中DM控制台管理用户admin,口令 两个web服务器的管理用户也是admin,口令 二、安装后验收 可打开应用服务器主机的控制管理台，管理用户admin,口令****** 服务器－＞集群下建有应用集群 服务器－＞应用服务器下建有两个WEB服务 节点共有五个，分别是一个控制节点(一个dmgr节点)，两个受控节点(两个app 节点)，两个非受控节点(两个web节点) 集群下各受控节点已同步，并启动服务；两个WEB服务已生成插件、传播插件并启动。 在DMGR控制管理台可直接控制两个WEB的启动与停止。 三、安装前系统检查 ?群集安装时，确认所有机子的日期要一致 ?确认磁盘空间足够 两个应用服务器的安装文件放在/was_install 两个WEB服务器的安装文件放在/http_install 安装目录都是安装于默认的/opt目录下
ceph安装配置说明 一、环境说明： 注：在配置系统环境时，需要指定各结点的机器名，关闭iptables、关闭selinux（重要）。相关软件包： ceph-0.61.2.tar.tar libedit0-3.0-1.20090722cvs.el6.x86_64.rpm libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm snappy-1.0.5-1.el6.rf.x86_64.rpm snappy-devel-1.0.5-1.el6.rf.x86_64.rpm leveldb-1.7.0-2.el6.x86_64.rpm leveldb-devel-1.7.0-2.el6.x86_64.rpm btrfs-progs-0.19.11.tar.bz2 $src为安装包存放目录 二、内核编译及配置：
cp /boot/config-2.6.32-279.el6.x86_64 /usr/src/linux-2.6.34.2/.config make menuconfig #选择把ceph编译成模块和加载btrfs文件系统
make all #若是多核处理器，则可以使用make -j8命令，以多线程方式加速构建内核makemodules_install make install
修改/etc/grub.conf文件，把新编译的linux-2.6.34.2版本内核做为默认启动内核。三、Ceph安装配置： 先安装相关依赖包： rpm -ivh libedit0-3.0-1.20090722cvs.el6.x86_64.rpm --force rpm -ivh libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm rpm -ivh snappy-1.0.5-1.el6.rf.x86_64.rpm rpm -ivh snappy-devel-1.0.5-1.el6.rf.x86_64.rpm rpm -ivh leveldb-1.7.0-2.el6.x86_64.rpm rpm -ivh leveldb-devel-1.7.0-2.el6.x86_64.rpm 编译安装ceph： ./autogen.sh ./configure --without-tcmalloc --without-libatomic-ops make make install 配置ceph： cp $src/ceph-0.61.2/src/sample.ceph.conf /usr/local/etc/ceph/ceph.conf cp $src/ceph-0.61.2/src/init-ceph /etc/init.d/ceph mkdir /var/log/ceph #建立存放ceph日志目录。 修改ceph配置文件，除客户端外，其它的节点都需一个配置文件ceph.conf，并需要是完全一样的。这个文件要位于/etc/ceph下面，如果在./configure时没有修改prefix的话，则应该是在/usr/local/etc/ceph下： vimceph.conf [global] max open files = 131072 log file = /var/log/ceph/$name.log pid file = /var/run/ceph/$name.pid keyring = /etc/ceph/keyring.admin auth supported = none #取消挂载时的认证 auth cluster required = none #取消挂载时的认证 auth service required = none #取消挂载时的认证 auth client required = none #取消挂载时的认证 [mon] mon data = /data/$name
Ceph分布式存储系统 Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。 其设计遵循了三个原则：数据与元数据的分离，动态的分布式的元数据管理，可靠统一的分布式对象存储机制。本文将从Ceph的架构出发，综合性的介绍Ceph分布式文件系统特点及其实现方式。 一、Ceph基本架构 Ceph是一个高可用、易于管理、开源的分布式存储系统，可以在一套系统中同时提供对象存储、块存储以及文件存储服务。其主要由Ceph存储系统的核心RADOS以及块存取接口、对象存取接口和文件系统接口组成，如图所示 Ceph的底层是RADOS，它的意思是“A reliable,autonomous, distributed object storage”。 RADOS作为Ceph分布式文件系统的一个子项目，是为了满足Ceph的需求
而设计的，但是，其也可以单独作为一种分布式数据存储系统，给其他的有类似需求的分布式文件系统提供数据存储服务。Ceph文件系统, Ceph对象存储和Ceph块设备从RADOS的存储集群中读去和写入数据。 Ceph作为一个分布式存储系统，其对外提供的接口，决定了其通用性以及扩展性。如上图架构图中所示的那样，Ceph对外提供了丰富多样的服务接口，包括多种编程语言接口LIBRADOS（备注，上图来自Ceph中文社区，社区人员在翻译的过程中将字母L遗失掉了）、对象存储接口(RADOSGW)、块存储接口（RBD)以及文件系统接口(Ceph FS)。其中LIBRADOS编程接口是其他各种客户端接口的基础，其他接口都是基于LIBRADOS 来进行扩展实现的。 1.1. RADOS Ceph中RADOS(Reliable Autonomic Distributed Object Store)存储集群是所有其他客户端接口使用和部署的基础。RADOS由两个组件组成： ?OSD： Object StorageDevice，提供存储资源。 ?Monitor：维护整个Ceph集群的全局状态。 典型的RADOS部署架构由少量的Monitor监控器以及大量的OSD存储设备组成，它能够在动态变化的基于异质结构的存储设备集群之上提供一种稳定的、可扩展的、高性能的单一逻辑对象存储接口。 RADOS系统的架构如图所示： 我们看到，RADOS不是某种组件，而是由OSD(Object Storage Device)集群和Monitor集群组成。通常，一个RADOS系统中，OSD集群是由大量的智能化的OSD节点组成；Monitor集群是由少量的Monitor节点组成。OSD集群负责存储所有对象的数据。Monitors集群负责管理Ceph集群中所有成员、关系、属性以及数据分发等信息。
配置篇 1、以wasuser账户启动WebSphere Application Server 7.0.0.9 2、输入Console URL打开Deployment Manager Administrative Console，输入用户ID并单击登陆，进入管理控制台。 Administrative Console 登录 1、集群配置 1、在Administrative Console 中，展开Servers，选择WebSphere Application Server集群，单击新建来名字为JLN_ERP的集群； 2、创建三个Instance，集群成员的权重都为“2” ，都不要选中“首选本地” 2、dsjln数据源配置 1、创建JDBC提供程序； 2、设置数据库类存放的环境变量 ${ORACLE_JDBC_DRIVER_PATH}=/usr/WebSphere/AppServer/lib/oracle ERP工作目录环境变量${JLN_HOME}=/erpHome/jln.ear/erp.war
3、建立数据源dsjln与JNDI名称jdbc/dsjln URL填写jdbc:oracle:thin:@10.3.160.51:1521:jlndb
4、新增J2C认证数据条目 5、回到数据源选择组件受管认证别名与容器受管的认证别名，并填写oracle数据源属性 6、连接池内容填写如下：
3、dssession数据源配置 1、建立数据源dssession与JNDI名称jdbc/dssession
URL填写jdbc:oracle:thin:@10.3.160.51:1521:sessdb 4、新增J2C认证数据条目 5、回到数据源选择组件受管认证别名与容器受管的认证别名，并填写oracle数据源属性 6、连接池内容填写如下：
Ceph在存储中的层次 第一层:物理存储介质。 a.LUN:通常将硬件生成生成的虚拟磁盘叫LUN, 比如raid卡生成的虚拟磁盘。 b.Volume:通常将软件层次生成的虚拟磁盘叫做卷，比如LVM生成的逻辑卷。 c.Disk:就是物理磁盘 第二层:内核层次的文件系统，维护文件到磁层磁盘的映射关系。(用户一般不需要管) 第三层:应用层次的文件系统(需要用户自己手工安装应用程序，启动应用进程) 第四层:网络文件访问系统NFS, CIFS(服务器端装Server，客户端装Client，挂载目录远程访问) Ceph原理
1.Ceph存储系统的逻辑结构 2.Rados的系统逻辑结构 3.Ceph寻址流程
4.ceph部署网络拓扑 备注:Cluster Network可选，但是最好建议有该网络，用于OSD扩展时，后端网络传输数据用。 在实际工作中时，深有体会，如果只有public network，在OSD扩展时，由于ceph需要重新“搬运”数据，导致升级长达5个小时。如果有专门的集群网络(万兆交换机+光钎)，几分钟升级完成。 Ceph安装(ceph-deploy) 1.环境准备以及各ceph节点初始化 ?部署逻辑架构 节点安装组件备注
该章节的操作均通过root执行且在各个ceph节点均要执行 ?修改/etc/hostname #vi /etc/hostname #如果为其他节点调整为其他节点的名称 ceph{number} #如ceph1 #hostname -F /etc/hostname #立即生效，断开shell重新登录 ?创建安装用户irteam且该用户不需要tty #useradd -d /home/irteam -k /etc/skel -m irteam #sudo passwd irteam #echo " irteam ALL = (root) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/irteam #chmod 0440 /etc/sudoers.d/irteam 修改/etc/sudoers，irteam用户不需要tty #chmod 755 /etc/sudoers #vi /etc/sudoers #添加如下配置,而不是将原来的Default requiretty注释掉 Defaults:irteam !requiretty #chmod 440 /etc/sudoers ?yum源以及ceph源设置 #yum clean all #rm -rf /etc/yum.repos.d/*.repo #wget -O /etc/yum.repos.d/CentOS-Base.repo https://www.doczj.com/doc/e617765453.html,/repo/Centos-7.repo #wget -O /etc/yum.repos.d/epel.repo https://www.doczj.com/doc/e617765453.html,/repo/epel-7.repo #sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo #sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo #vi /etc/yum.repos.d/ceph.repo #增加ceph源 [ceph] name=ceph baseurl=https://www.doczj.com/doc/e617765453.html,/ceph/rpm-jewel/el7/x86_64/ gpgcheck=0 [ceph-noarch] name=cephnoarch baseurl=https://www.doczj.com/doc/e617765453.html,/ceph/rpm-jewel/el7/noarch/ gpgcheck=0 ?安装ceph #yum makecache #yum install -y ceph
目录 1 WAS基本概念 (2) 1.1 单元（Cell） (2) 1.2 Deployment Manager（DMGR） (2) 1.3 节点（Node） (3) 1.4 Node Agent (4) 1.5 概要文件（Profile）和服务器（Server） (4) 1.6 集群（Cluster） (6) 1.7 WAS Plug-in (7) 2 WAS启动及停止 (8) 2.1 启动 (8) 2.2 停止 (9) 3 部署注意事项 (9) 3.1 config目录 (9) 4 控制台管理 (11) 5 LDAP集成与单点登陆 (12) 6 集群配置 (12) 6.1 集群管理 (12) 6.2 应用管理 (12) 7 Web Server配置 (13) 7.1 插件生成 (13) 7.2 插件同步或传播 (13) 7.3 插件配置 (13) 7.4 应用配置 (13) 7.5 动静态内容分离（高级操作） (13) 1 WAS性能监控及优化 (14) 1.1 性能监控 (14) 1.2 优化 (15)
1WAS基本概念 1.1单元（Cell） 单元是整个分布式网络中一个或多个节点的逻辑分组。单元是一个配置概念，是管理员将节点间逻辑关联起来的实现方法。管理员根据具体的业务环境，制定对其整体系统集成环境有意义的条件来定义和组织构成单元的节点。如图1所示，就一般情况来说，可以将单元看作是最大的作用域。 在IBM WAS ND产品中，管理配置数据都存储在XML 文件中。单元保留了它每个节点中每台服务器的主配置文件。同时每个节点和服务器也有其自己的本地配置文件。如果服务器已经属于单元，则对于本地节点或服务器配置文件的更改都是临时的，通过在本地提交更改生效时，本地更改覆盖单元配置，但是当执行单元配置文档同步到节点的操作时，在单元级别上对主控服务器和主节点配置文件所作的更改将会替换对该节点所作的任何临时更改。 同步操作在指定的事件发生时进行，例如服务器启动时等很多操作。也就是说，通过对本地节点或服务器配置文件进行修改而达到调整节点或服务器配置的做法不是安全的，临时修改很容易被同步操作所覆盖。 图1. 单元的作用域 1.2Deployment Manager（DMGR） Deployment Manager 是管理代理程序，它提供集中式管理单元中所有节点的可视化人机交互管理视图。之前提到单元是一个逻辑上的配置概念，那么