CLASSPATH=%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
JAVA_HOME=C:\jdk1.5.0_17
PATH=%JAVA_HOME%\bin;%SystemRoot%\system32;%SystemRoot%;%SystemRoot%\System32\ Wbem;%SYSTEMROOT%\System32\WindowsPowerShell\v1.0\
CPIC_MAX_CONV=200
Ceph分布式存储 1Ceph存储概述 Ceph 最初是一项关于存储系统的PhD 研究项目，由Sage Weil 在University of California, Santa Cruz（UCSC）实施。 Ceph 是开源分布式存储，也是主线Linux 内核（2.6.34）的一部分。1.1Ceph 架构 Ceph 生态系统可以大致划分为四部分（见图1）：客户端（数据用户），元数据服务器（缓存和同步分布式元数据），一个对象存储集群（将数据和元数据作为对象存储，执行其他关键职能），以及最后的集群监视器（执行监视功能）。 图1 Ceph 生态系统 如图1 所示，客户使用元数据服务器，执行元数据操作（来确定数据位置）。元数据服务器管理数据位置，以及在何处存储新数据。值得注意的是，元数据存储在一个存储集群（标为―元数据I/O‖）。实际的文件I/O 发生在客户和对象存储集群之间。这样一来，更高层次的POSIX 功能（例如，打开、关闭、重命名）就由元数据服务器管理，不过POSIX 功能（例如读和
写）则直接由对象存储集群管理。 另一个架构视图由图2 提供。一系列服务器通过一个客户界面访问Ceph 生态系统，这就明白了元数据服务器和对象级存储器之间的关系。分布式存储系统可以在一些层中查看，包括一个存储设备的格式（Extent and B-tree-based Object File System [EBOFS] 或者一个备选），还有一个设计用于管理数据复制，故障检测，恢复，以及随后的数据迁移的覆盖管理层，叫做Reliable Autonomic Distributed Object Storage（RADOS）。最后，监视器用于识别组件故障，包括随后的通知。 图2 ceph架构视图 1.2Ceph 组件 了解了Ceph 的概念架构之后，您可以挖掘到另一个层次，了解在Ceph 中实现的主要组件。Ceph 和传统的文件系统之间的重要差异之一就是，它将智能都用在了生态环境而不是文件系统本身。 图3 显示了一个简单的Ceph 生态系统。Ceph Client 是Ceph 文件系统的用户。Ceph Metadata Daemon 提供了元数据服务器，而Ceph Object Storage Daemon 提供了实际存储（对数据和元数据两者）。最后，Ceph Monitor 提供了集群管理。要注意的是，Ceph 客户，对象存储端点，元数据服务器（根据文件系统的容量）可以有许多，而且至少有一对冗余的监视器。那么，这个文件系统是如何分布的呢？
Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人 Ceph 作为软件定义存储的代表之一，最近几年其发展势头很猛，也出现了不少公司在测试和生产系统中使用 Ceph 的案例，尽管与此同时许多人对它的抱怨也一直存在。本文试着整理作者了解到的一些使用案例。 1. 携程（Ctrip） 携程所使用的各种存储的现状： ?商业存储： ?SAN(HP/ HPS) , 1+ PB, 数据库 ?NAS (HW) , 800+ TB, 文件共享 开源存储 ?GlusterFS, 1+ PB, 数据库备份 ?FastDFS, 1+ PB, 海量照片 ?HDFS, 10+ PB, 大数据 而在不久的将来，随着公司业务的发展，携程需要的存储容量需要扩大到10倍以上。 携程选择Ceph的理由：低成本 + SDS + Scale-out + 统一存储 + 企业特性
携程目前的Ceph集群的配置： ?CephVersion: 0.94.2，H release ?Object Storage: RGW + Swift API ?SDK: Python/ Java/ C#/ Ruby ?OS: Centos 6.4 ?硬件：CPU(2 channels & 32 Core)、Mem128GB、disk（12*3TB/SATA disk +2*256GB raid1 SSD）、NIC(4*Gigabit LAN, bond 2 in 1 pair) RGW 使用架构：
携程有在数据中心之间的同步数据的需求。在研究了 CRUSHmap、Radosgw-agent、Federate gateway （不稳定、不灵活（只支持Zone 之间同步）、不易扩展）后，其自研了COS方案，它具有稳定、灵活、扩展性等特点：
Ceph群集维护简明手册 (2) 前言 (2) MON (2) MON节点添加 (3) MON节点删除 (4) MON故障恢复 (4) OSD (6) OSD添加 (6) OSD删除 (6) 日志迁移 (6) 硬盘更换 (7) RBD (7) 块存储的基本操作 (7) 快照 (10) 导入导出 (11) 增量备份与恢复 (12)
Ceph群集维护简明手册 作者： 普通人 前言 本手册针对已部署完成ceph集群进行阐述（通过ceph-deploy工具），部署架构图如下： MON 环境配置 节点 主机名 Public ip address Cluster ip address Admin/ceph ubuntu-ceph-06 192.168.0.24 10.10.0.6 ceph ubuntu-ceph-07 192.168.0.25 10.10.0.7 ceph ubuntu-ceph-06 192.168.0.26 10.10.0.8
在管理节点的配置目录下，使用ceph-depoloy工具添加新的mon节点。 1.更新配置文件，添加新mon的信息 2.推送新的配置文件到所有节点，或者在添加时覆盖(ceph-deploy会提示) 3.使用ceph-deploy工具添加MON新节点 root@ubuntu-ceph-06:/opt/ceph# ceph-deploy mon create ubuntu-ceph-08 [ceph_deploy.cli][INFO ] Invoked (1.4.0): /usr/bin/ceph-deploy mon create ubuntu-ceph-08 [ceph_deploy.mon][DEBUG ] Deploying mon, cluster ceph hosts ubuntu-ceph-08 [ceph_deploy.mon][DEBUG ] detecting platform for host ubuntu-ceph-08 ... [ubuntu-ceph-08][DEBUG ] connected to host: ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] detect platform information from remote host [ubuntu-ceph-08][DEBUG ] detect machine type [ceph_deploy.mon][INFO ] distro info: Ubuntu 14.04 trusty [ubuntu-ceph-08][DEBUG ] determining if provided host has same hostname in remote [ubuntu-ceph-08][DEBUG ] get remote short hostname [ubuntu-ceph-08][DEBUG ] deploying mon to ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] get remote short hostname ………………..] **************************************************************************** [ubuntu-ceph-08][DEBUG ] status for monitor: mon.ubuntu-ceph-08 [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "election_epoch": 0, [ubuntu-ceph-08][DEBUG ] "extra_probe_peers": [ [ubuntu-ceph-08][DEBUG ] "192.168.0.24:6789/0", [ubuntu-ceph-08][DEBUG ] "192.168.0.25:6789/0" [ubuntu-ceph-08][DEBUG ] ], [ubuntu-ceph-08][DEBUG ] "monmap": { [ubuntu-ceph-08][DEBUG ] "created": "0.000000", [ubuntu-ceph-08][DEBUG ] "epoch": 14, [ubuntu-ceph-08][DEBUG ] "fsid": "fc989fb1-eea9-47f4-83e1-999c47df0930", [ubuntu-ceph-08][DEBUG ] "modified": "2015-08-19 02:50:54.480663", [ubuntu-ceph-08][DEBUG ] "mons": [ [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "addr": "192.168.0.24:6789/0", [ubuntu-ceph-08][DEBUG ] "name": "ubuntu-ceph-06", [ubuntu-ceph-08][DEBUG ] "rank": 0 [ubuntu-ceph-08][DEBUG ] }, [ubuntu-ceph-08][DEBUG ] { [ubuntu-ceph-08][DEBUG ] "addr": "192.168.0.25:6789/0", [ubuntu-ceph-08][DEBUG ] "name": "ubuntu-ceph-07", 添加mon节点也可以使用ceph-deploy mon add --address [ADDRESS] hostname
ceph安装配置说明 一、环境说明： 注：在配置系统环境时，需要指定各结点的机器名，关闭iptables、关闭selinux（重要）。相关软件包： ceph-0.61.2.tar.tar libedit0-3.0-1.20090722cvs.el6.x86_64.rpm libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm snappy-1.0.5-1.el6.rf.x86_64.rpm snappy-devel-1.0.5-1.el6.rf.x86_64.rpm leveldb-1.7.0-2.el6.x86_64.rpm leveldb-devel-1.7.0-2.el6.x86_64.rpm btrfs-progs-0.19.11.tar.bz2 $src为安装包存放目录 二、内核编译及配置：
cp /boot/config-2.6.32-279.el6.x86_64 /usr/src/linux-2.6.34.2/.config make menuconfig #选择把ceph编译成模块和加载btrfs文件系统
make all #若是多核处理器，则可以使用make -j8命令，以多线程方式加速构建内核makemodules_install make install
修改/etc/grub.conf文件，把新编译的linux-2.6.34.2版本内核做为默认启动内核。三、Ceph安装配置： 先安装相关依赖包： rpm -ivh libedit0-3.0-1.20090722cvs.el6.x86_64.rpm --force rpm -ivh libedit-devel-3.0-1.20090722cvs.el6.x86_64.rpm rpm -ivh snappy-1.0.5-1.el6.rf.x86_64.rpm rpm -ivh snappy-devel-1.0.5-1.el6.rf.x86_64.rpm rpm -ivh leveldb-1.7.0-2.el6.x86_64.rpm rpm -ivh leveldb-devel-1.7.0-2.el6.x86_64.rpm 编译安装ceph： ./autogen.sh ./configure --without-tcmalloc --without-libatomic-ops make make install 配置ceph： cp $src/ceph-0.61.2/src/sample.ceph.conf /usr/local/etc/ceph/ceph.conf cp $src/ceph-0.61.2/src/init-ceph /etc/init.d/ceph mkdir /var/log/ceph #建立存放ceph日志目录。 修改ceph配置文件，除客户端外，其它的节点都需一个配置文件ceph.conf，并需要是完全一样的。这个文件要位于/etc/ceph下面，如果在./configure时没有修改prefix的话，则应该是在/usr/local/etc/ceph下： vimceph.conf [global] max open files = 131072 log file = /var/log/ceph/$name.log pid file = /var/run/ceph/$name.pid keyring = /etc/ceph/keyring.admin auth supported = none #取消挂载时的认证 auth cluster required = none #取消挂载时的认证 auth service required = none #取消挂载时的认证 auth client required = none #取消挂载时的认证 [mon] mon data = /data/$name
Ceph在存储中的层次 第一层:物理存储介质。 a.LUN:通常将硬件生成生成的虚拟磁盘叫LUN, 比如raid卡生成的虚拟磁盘。 b.Volume:通常将软件层次生成的虚拟磁盘叫做卷，比如LVM生成的逻辑卷。 c.Disk:就是物理磁盘 第二层:内核层次的文件系统，维护文件到磁层磁盘的映射关系。(用户一般不需要管) 第三层:应用层次的文件系统(需要用户自己手工安装应用程序，启动应用进程) 第四层:网络文件访问系统NFS, CIFS(服务器端装Server，客户端装Client，挂载目录远程访问) Ceph原理
1.Ceph存储系统的逻辑结构 2.Rados的系统逻辑结构 3.Ceph寻址流程
4.ceph部署网络拓扑 备注:Cluster Network可选，但是最好建议有该网络，用于OSD扩展时，后端网络传输数据用。 在实际工作中时，深有体会，如果只有public network，在OSD扩展时，由于ceph需要重新“搬运”数据，导致升级长达5个小时。如果有专门的集群网络(万兆交换机+光钎)，几分钟升级完成。 Ceph安装(ceph-deploy) 1.环境准备以及各ceph节点初始化 ?部署逻辑架构 节点安装组件备注
该章节的操作均通过root执行且在各个ceph节点均要执行 ?修改/etc/hostname #vi /etc/hostname #如果为其他节点调整为其他节点的名称 ceph{number} #如ceph1 #hostname -F /etc/hostname #立即生效，断开shell重新登录 ?创建安装用户irteam且该用户不需要tty #useradd -d /home/irteam -k /etc/skel -m irteam #sudo passwd irteam #echo " irteam ALL = (root) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/irteam #chmod 0440 /etc/sudoers.d/irteam 修改/etc/sudoers，irteam用户不需要tty #chmod 755 /etc/sudoers #vi /etc/sudoers #添加如下配置,而不是将原来的Default requiretty注释掉 Defaults:irteam !requiretty #chmod 440 /etc/sudoers ?yum源以及ceph源设置 #yum clean all #rm -rf /etc/yum.repos.d/*.repo #wget -O /etc/yum.repos.d/CentOS-Base.repo https://www.doczj.com/doc/f4746677.html,/repo/Centos-7.repo #wget -O /etc/yum.repos.d/epel.repo https://www.doczj.com/doc/f4746677.html,/repo/epel-7.repo #sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo #sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo #vi /etc/yum.repos.d/ceph.repo #增加ceph源 [ceph] name=ceph baseurl=https://www.doczj.com/doc/f4746677.html,/ceph/rpm-jewel/el7/x86_64/ gpgcheck=0 [ceph-noarch] name=cephnoarch baseurl=https://www.doczj.com/doc/f4746677.html,/ceph/rpm-jewel/el7/noarch/ gpgcheck=0 ?安装ceph #yum makecache #yum install -y ceph
Ceph安装部署文档 目录 一：简介 (1) 二：部署环境介绍 (1) 三：集群配置准备工作 (2) 3.1 : 生成SSH证书，节点建立连接 (2) 3.2 : 建立ip地址list, 修改host文件 (3) 3.3 : 网络端口设置 (3) 3.4 : 安装centos的yum源软件包=>全部节点安装 (4) 3.5 : 添加时间同步定时任务 (4) 3.6 : 安装yum-plugin-priorities. (8) 四：安装ceph软件包 (8) 4.1、安装ceph部署机，使用ceph-deploy方式安装部署 (8) 4.2、安装ceph存储集群（包括ceph对象网关） (8) 五：搭建ceph集群 (8) 5.1 : 新建ceph集群 (9) 5.2 : 添加mon节点 (9) 5.3 : 添加osd节点 (9) 六：安装过程出现的部分错误及解决方法 (11) 七：常用命令 (11) 一：简介 Ceph 生态系统架构可以划分为四部分： 1. Clients：客户端：数据用户 2. mds：Metadata server cluster，元数据服务器：缓存和同步分布式元数据（此文档没有安装mds） 3. osd：Object storage cluster，对象存储集群：将数据和元数据作为对象存储，执行其它关键职能 4. mon：Cluster monitors，集群监视器：执行监视功能 二：部署环境介绍
三：集群配置准备工作 3.1 : 生成SSH证书，节点建立连接 1)所有节点修改hostname vim /etc/sysconfig/network 2)安装SSH (主节点) sudo apt-get install openssh-server 3)ssh登陆证书（主节点） ssh-keygen 将配置完成的证书传输到其它服务器： ssh-copy-id {其他节点用户名}@{其他节点IP} Example: ssh-copy-id root@anode2 4)创建并编辑~/.ssh/config 文件，添加其他Host Host {Hostname} Hostname {https://www.doczj.com/doc/f4746677.html,} User {Username} Example: Host anode1 Hostname 172.16.100.35 User root Host anode2 Hostname 172.16.100.36 User root Host anode3 Hostname 172.16.100.37
Ceph安装部署文档
Ceph安装部署文档目录
二：部署环境介绍 主机名公网IP（eth0） 私网IP（eth1） 双网卡绑定 bond0 运行 服务 操作系统 内核 备注 anode1 172.16.100.35 mon、 osd CentOS6.7 主 节点 anode2 172.16.100.36 mon、 osd CentOS6.7 anode3 172.16.100.37 mon、 osd CentOS6.7 三：集群配置准备工作 3.1 : 生成SSH证书，节点建立连接 1)所有节点修改hostname vim /etc/sysconfig/network 2)安装SSH (主节点) sudo apt-get install openssh-server
3)s sh登陆证书（主节点） ssh-keygen 将配置完成的证书传输到其它服务器： ssh-copy-id {其他节点用户名}@{其他节点IP} Example: ssh-copy-id root@anode2 4)创建并编辑~/.ssh/config 文件，添加其他Host Host {Hostname} Hostname {https://www.doczj.com/doc/f4746677.html,} User {Username} Example: Host anode1 Hostname 172.16.100.35 User root Host anode2 Hostname 172.16.100.36 User root Host anode3 Hostname 172.16.100.37 User root
深圳市展云软件技术有限公司 CEPH安装手册
版本历史
目录 1.CEPH的架构介绍 (6) 2.CEPH在OPENSTACK中应用的云存储的整体规划 (7) 3.CEPH集群安装在UBUNTU 12.04 (8) 3.1.配置CEPH源 (8) 3.2.依需求修改CEPH.CONF配置文件 (8) 3.3.设置主机的HOSTS (9) 3.4.设置集群节点之间无密钥访问 (10) 3.5.创建目录 (10) 3.6.创建分区与挂载 (10) 3.7.执行初始化 (11) 3.8.启动CEPH (11) 3.9.CEPH健康检查 (11) 4.CEPH集群安装在CENTOS6.4 (12) 4.1.安装更新源 (12) 4.2.使用RPM安装CEPH0.67.4 (12) 4.3.依需求修改CEPH.CONF配置文件 (12)
4.5.设置集群节点之间无密钥访问 (19) 4.6.创建目录 (19) 4.7.执行初始化 (19) 4.8.启动CEPH (19) 4.9.CEPH健康检查 (20) 5.OPENSTACK GLANCE 使用CEPH集群的配置 (21) 5.1.创建卷池和图像池 (21) 5.2.增加两个池的复制水平 (21) 5.3.为池创建 CEPH 客户端和密钥环 (21) 5.4.在计算节点应用密钥环 (21) 5.4.1.创建LIBVIRT密钥 (21) 5.4.2.计算节点CEPH安装 (22) 5.5.更新你的 GLANCE-API 配置文件 (22) 6.OPENSTACK VOLUMES使用CEPH集群的配置 (23) 6.1.1.计算节点CEPH安装 (23) 6.2.创建临时的 SECRET.XML 文件 (23) 6.3.设定 LIBVIRT 使用上面的密钥 (23)
CEPH分布式存储部署 PS：本文的所有操作均在mon节点的主机进行，如有变动另有注释 作者：网络技术部徐志权 日期：2014年2月10日 VERSION 1.0 更新历史： 2014.2.10:首次完成ceph部署文档，块设备及对象存储的配置随后添加。
一、部署前网络规划 1.1 环境部署 主机名公网IP（eth0）私网IP（eth1）操作系统运行服务node1 192.168.100.101 172.16.100.101 CentOS6.5 mon、mds node2 192.168.100.102 172.16.100.102 CentOS6.5 osd node3 192.168.100.103 172.16.100.103 CentOS6.5 osd ◆操作系统使用CentOS6.5，因为系统已经包含xfs的支持可以直接使用不需要再次 编译。 ◆由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本 不需要关闭。 #hdparm -W 0 /dev/sdb 0 ◆本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥 有两个硬盘作为数据盘。 1.2 网络拓扑
1.3 配置服务器、安装ceph ●添加ceph的rpm库key #rpm --import 'https://https://www.doczj.com/doc/f4746677.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' #rpm --import 'https://https://www.doczj.com/doc/f4746677.html,/git/?p=ceph.git;a=blob_plain;f=keys/autobuild.asc' ●添加ceph-extras库 #vi /etc/yum.repos.d/ceph-extras [ceph-extras] name=Ceph Extras Packages baseurl=https://www.doczj.com/doc/f4746677.html,/packages/ceph-extras/rpm/centos6/$basearch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.doczj.com/doc/f4746677.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-noarch] name=Ceph Extras noarch baseurl=https://www.doczj.com/doc/f4746677.html,/packages/ceph-extras/rpm/centos6/noarch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.doczj.com/doc/f4746677.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-source] name=Ceph Extras Sources baseurl=https://www.doczj.com/doc/f4746677.html,/packages/ceph-extras/rpm/centos6/SRPMS enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=https://https://www.doczj.com/doc/f4746677.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc ●添加ceph库 #rpm -Uvh https://www.doczj.com/doc/f4746677.html,/rpms/el6/noarch/ceph-release-1-0.el6.noarch.rpm ●添加epel库 #rpm -Uvh https://www.doczj.com/doc/f4746677.html,/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm ●安装ceph #yum update -y && yum install ceph -y
Ceph分布式存储系统 Ceph是根据加州大学Santa Cruz分校的Sage Weil的博士论文所设计开发的新一代自由软件分布式文件系统，其设计目标是良好的可扩展性(PB级别以上)、高性能及高可靠性。Ceph其命名和UCSC（Ceph 的诞生地）的吉祥物有关，这个吉祥物是“Sammy”，一个香蕉色的蛞蝓，就是头足类中无壳的软体动物。这些有多触角的头足类动物，是对一个分布式文件系统高度并行的形象比喻。 其设计遵循了三个原则：数据与元数据的分离，动态的分布式的元数据管理，可靠统一的分布式对象存储机制。本文将从Ceph的架构出发，综合性的介绍Ceph分布式文件系统特点及其实现方式。 一、Ceph基本架构 Ceph是一个高可用、易于管理、开源的分布式存储系统，可以在一套系统中同时提供对象存储、块存储以及文件存储服务。其主要由Ceph存储系统的核心RADOS以及块存取接口、对象存取接口和文件系统接口组成，如图所示 Ceph的底层是RADOS，它的意思是“A reliable,autonomous, distributed object storage”。 RADOS作为Ceph分布式文件系统的一个子项目，是为了满足Ceph的需求
而设计的，但是，其也可以单独作为一种分布式数据存储系统，给其他的有类似需求的分布式文件系统提供数据存储服务。Ceph文件系统, Ceph对象存储和Ceph块设备从RADOS的存储集群中读去和写入数据。 Ceph作为一个分布式存储系统，其对外提供的接口，决定了其通用性以及扩展性。如上图架构图中所示的那样，Ceph对外提供了丰富多样的服务接口，包括多种编程语言接口LIBRADOS（备注，上图来自Ceph中文社区，社区人员在翻译的过程中将字母L遗失掉了）、对象存储接口(RADOSGW)、块存储接口（RBD)以及文件系统接口(Ceph FS)。其中LIBRADOS编程接口是其他各种客户端接口的基础，其他接口都是基于LIBRADOS 来进行扩展实现的。 1.1. RADOS Ceph中RADOS(Reliable Autonomic Distributed Object Store)存储集群是所有其他客户端接口使用和部署的基础。RADOS由两个组件组成： ?OSD： Object StorageDevice，提供存储资源。 ?Monitor：维护整个Ceph集群的全局状态。 典型的RADOS部署架构由少量的Monitor监控器以及大量的OSD存储设备组成，它能够在动态变化的基于异质结构的存储设备集群之上提供一种稳定的、可扩展的、高性能的单一逻辑对象存储接口。 RADOS系统的架构如图所示： 我们看到，RADOS不是某种组件，而是由OSD(Object Storage Device)集群和Monitor集群组成。通常，一个RADOS系统中，OSD集群是由大量的智能化的OSD节点组成；Monitor集群是由少量的Monitor节点组成。OSD集群负责存储所有对象的数据。Monitors集群负责管理Ceph集群中所有成员、关系、属性以及数据分发等信息。
ORTHOPHOS XG 5 DS Ceph temporomandibular joints and the paranasal sinuses. Additional programs for the sinus r egion, collimated children’s format, limited-area exposures and cephalometric exposures. 全数字曲面断层和头影测量X射线影像诊断系统 Output: 60 - 90 kV, 3 - 16 mA Multipulse X-ray generator including high-frequency tube assembly (max.120kHz) Nominal line Digital panoramic images and cephalometric projections available in real time - without film development,scanning or readouts: 多种全数字曲面断层和头影测量影像，无须冲洗胶片、扫描和等待，实时显像。 Pan/ceph X-ray image acquisition module Panoramic/cephalometric X-ray sensor CCD sensor technology with high-speed interface, 27μm pixel size and 16-bit image acquisition. X-ray unit with ceph module 灰度分辨率16 bit影像采集
Ceph集群配置说明书 ◆预备知识： ?需要创建6台虚拟机，每台的硬盘占用10G就ok。 ?命名分别是： ?各自对应的IP是： （这几个IP已经被我用了，请配置未被使用的IP） ◆开始配置ceph集群：↓ 1.在mon00上 使用这个镜像创建虚拟机（帐户名随便，密码最好用admin123）2.开通root登录：sudo passwd 三次都输入admin123 3.重启：sudo reboot 启动的时候就可以用root登录 4.配置IP:vim /etc/network/interfaces
152这个ip被我用了，请用未被使用的。 5.修改主机名：vim /etc/hostname 6.再次重启reboot以便激活新的主机名和IP。 7.更新一下，并且安装opssh-server以便用这个软件来远程。 sudo apt-get update && sudo apt-get install openssh-server 8.为了能远程root帐户，请再修改一下： vim /etc/ssh/sshd_config 将这一行改成截图的样子。（原来是without-password） 9.重启，关掉控制台，我们去远程它。记住ip是192.168.0.152 10.修改hosts: vim /etc/hosts 11.安装ceph
wget -q -O- 'https://https://www.doczj.com/doc/f4746677.html,/git/?p=ceph.git;a=blob_plain;f=keys/release.asc' | sudo apt-key add - enter echo deb https://www.doczj.com/doc/f4746677.html,/debian $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list enter sudo apt-get update && sudo apt-get install ceph -y enter 以上步骤就是ubuntu14.04+ceph 的模版了，关掉mon00虚拟机的电源，将mon00的模版替换掉 里面的其他5台虚拟机的配置。 12.ssh key 以便远程 5台虚拟机都要做，client 不用。 ssh-keygen enter 得到密钥 装ceph mon00上一直enter 就好，mon01、osd00、osd01、osd02密码设为admin123
Ceph环境配置文档 1. 整体说明 本文档适用于特定版本的ceph源码，对于不同版本可能有不同的依赖库，或配置步骤可能略有不同。 Ceph配置分为client和其他（monitor，mds，osd）两部分，其中client已经集成在2.6.34及其以后的内核版本中，故只需下载新内核版本编译内核即可；其他部分则用到了ceph 源码包（从官网获得），其中有些依赖库，详细步骤见第二节。 Ceph集群简介： Client Monitor Monitor线程处理集中的集群管理，配置和状态监控。他们是相对来说较轻的线程，用到的数据保存在本地文件系统。需要注意的是，监控线程必须有奇数个。 Mds Ceph中的元数据服务器（mds）本质上就是一个满足一致性的分布式元数据缓存，所有的元数据都保存在存储节点上。元数据服务器（线程）能根据需要任意地加入 到集群中，负载会自动的在这些服务器间进行平衡。例如可以先启动1到2个，然后 根据需要再增加。配置文件中max mds参数控制最多有多少活动线程，额外的线 程处于standby状态，如果有活动线程出故障了则standby状态的线程取代之。 Osd Osd是存储数据和元数据的实际存储节点，最好运行两个osd，其中一个作为另一 个的备份。每个osd其实就是一个线程，提供访问本地磁盘的服务。Osd端本地的 文件系统最好用BTRFS，但是其他文件系统如ext3也可以。 2. 配置步骤 ◆除client以外其他节点的配置 1)下载ceph源码（https://www.doczj.com/doc/f4746677.html,/download/）这里选择较早版本 ceph-0.20.tar.gz为了涉及尽量少的依赖库。 2)安装libedit_devel库，命令如下： rpm -Uvh https://www.doczj.com/doc/f4746677.html,/centos/5/testing/x86_64/RPMS/libedit-3.0-2.20090905cvs.el5.centos.x86_64.rpm rpm -Uvh https://www.doczj.com/doc/f4746677.html,/centos/5/testing/x86_64/RPMS/libedit-devel-3.0-2.20090905cvs.el5.centos.x86_64.rpm 注：这里可以直接运行上述命令，前提是机器能上网，如果不能的话可以自己下载 两个rpm包然后手动安装。 3)解压源码 Tar -zvxf ceph-0.20.tar.gz 4)进入源码目录并执行如下操作（蓝色部分为命令）
ceph测试环境搭建 runsisi@https://www.doczj.com/doc/f4746677.html, https://www.doczj.com/doc/f4746677.html,/runsisi 前言 本文只适用于ceph测试环境的搭建，实际生产环境下的部署请参考ceph官方相关文档。实际上ceph官方对测试环境的部署已有比较详细的介绍，本文内容主要参考了官方的文档，只是对部署过程稍作简化，如需参阅官方文档请点击：https://www.doczj.com/doc/f4746677.html,/docs/master/start/ 环境描述 由于缺少实际硬件环境，我们使用VMware模拟所需的硬件环境，对于测试环境而言，这样做无可厚非，理论上任意VMware版本应该都是可以的。 Ceph只能部署在linux系统上，其运行环境对发行版理论上无要求，但ceph 官方提供的ceph测试环境部署工具(ceph-deploy)可能对发行版有要求，同时ceph 客户端对内核以及glibc版本也有一定要求，具体环境要求请参阅官方文档：https://www.doczj.com/doc/f4746677.html,/docs/master/start/os-recommendations/ Linux各发行版之间差异很大，官方的部署文档基本上是分debian和redhat 两种类型的发行版分别进行介绍，由于精力有限，本文不对debian系列（debian, ubuntu, linux mint, linuxdeepin等）进行介绍。 本文用到的环境清单如下： 硬件环境：VMware workstation 10.0.2 软件环境：Centos 7.0 x86_64 准备工作 组网环境如图1所示，我们用VMware虚拟出来四台guest机器，主机名分别为admin-node, node1, node2, node3，其中admin-node用于运行ceph-deploy 测试环境部署工具，它并不属于ceph存储集群，node1用于运行monitor，node2和node3用于运行osd，为简单起见，四台机器属于同一个子网，当然这只是一个基础的测试环境，后续还可以做进一步的扩展。 由于linux对网络的依赖性，四台guest机器都必须保证能够连接Internet，
Ceph 官方文档翻译 石家庄众毅信息技术有限公司 2017 年 06 月 目录
在此处插入索引和目录 准备 ? New in version . 谢谢您尝试 Ceph！我们建议安装一个ceph-deploy 管理节点和一个三节点的Ceph 存储集群来研究 Ceph的基本特性。这篇预检会帮你准备一个 ceph-deploy 管理节点、以及三个 Ceph 节点（或虚拟机），以此构成Ceph 存储集群。在进行下一步之前，请参见操作系统推荐以确认你安装了合适的 Linux发行版。如果你在整个生产集群中只部署了单一 Linux发行版的同一版本，那么在排查生产环境中遇到的问题时就会容易一点。 在下面的描述中节点代表一台机器。 在没有 DNS的情况下，需要手动修改各个主机的hosts 文件和主机名 安装 CEPH 部署工具? 把Ceph 仓库添加到ceph-deploy管理节点，然后安装ceph-deploy。 高级包管理工具（APT）? 在 Debian和Ubuntu发行版上，执行下列步骤： 1.添加 release key： wget -q -O- '' | sudo apt-key add - 2.添加 Ceph软件包源，用 Ceph 稳定版（如cuttlefish、 dumpling、 emperor 、 firefly等等）替换掉{ceph-stable-release}。例如： 3.echo deb $(lsb_release -sc) main | sudo tee /etc/apt/更新你的仓库，并安 装 ceph-deploy ： sudo apt-get update && sudo apt-get install ceph-deploy
Ceph分布式存储平台 部署手册
目录 1.CEPH的架构介绍 (5) 2.CEPH在OPENSTACK中应用的云存储的整体规划 (6) 3.CEPH集群安装在UBUNTU 12.04 (7) 3.1.配置ceph源7 3.2.依需求修改ceph.conf配置文件7 3.3.设置主机的hosts 9 3.4.设置集群节点之间无密钥访问9 3.5.创建目录10 3.6.创建分区与挂载10 3.7.执行初始化11 3.8.启动ceph 11 3.9.ceph健康检查11 4.CEPH集群安装在CENTOS6.4 (12) 4.1.安装更新源12 4.2.使用rpm安装ceph0.67.4 12 4.3.依需求修改ceph.conf配置文件13 4.4.设置主机的hosts 21 4.5.设置集群节点之间无密钥访问21 4.6.创建目录22 4.7.执行初始化22 4.8.启动ceph 22 4.9.ceph健康检查23
5.OPENSTACK GLANCE 使用CEPH集群的配置 (24) 5.1.创建卷池和图像池24 5.2.增加两个池的复制水平24 5.3.为池创建 Ceph 客户端和密钥环24 5.4.在计算节点应用密钥环24 5.4.1.创建libvirt密钥24 5.4.2.计算节点ceph安装25 5.5.更新你的 glance-api 配置文件25 6.OPENSTACK VOLUMES使用CEPH集群的配置 (27) 6.1.计算节点ceph安装27 6.2.创建临时的 secret.xml 文件27 6.3.设定 libvirt 使用上面的密钥28 6.4.更新 cinder 配置28 6.4.1.cinder.conf文件更改28 6.4.2.更改 cinder 启动脚本配置文件29 6.4.3.更改/etc/nova/nova.conf配置29 6.4.4.重启 cinder 服务29 6.5.验证cinder-volume 29 6.6.验证rdb创建volume 30 7.挂载CEPHFS (31) 7.1.配置/etc/fstab 31 7.2.挂载vm实例目录31 8.FQA (32)