heartbeat+drbd+mysql的高可用性

/thread-3689681-1-1.html我们下面来实现一个架构，heartbeat+drbd+nfs实现mysql和网站数据的同步，keepalived 实现nginx的高可用，而用nginx和dns轮询实现负载均衡。

架构说明目录规划/usr/local/src/lnmp：用来存放源码工具等等/data：用来存放所有数据和NFS以及DRBD的挂载/data/shell：用来存放所有管理脚本/data/mysql：用来挂载DRBD的mysql资源，以供mysql存放数据库/data/wwwnfs：用来挂载DRBD生成的www资源，以供两个节点挂载到各个节点的/data/www 目录，以供论坛等程序数据使用/data/www：用来挂载NFS资源，用来存放论坛(网站)等程序数据拓扑工作原理内网：1，DRBD网络存储创建出两个资源，一个mysql给mysql数据库同步用，一个www给web(论坛)数据NFS共享挂载用，虚拟出两个虚拟IP，一个是 192.168.1.100，用来连接数据库，一个是192.168.1.200，用来给节点挂载NFS注意：NFS底下挂载了三次：DRBD挂载一次，文件系统挂载一次，客户端挂载一次2，Heartbeat来实现DRBD的HA，同时虚拟出两个内网IP，并管理NFS，MySQL的启动和关闭外网：1，两个节点都用Nginx做均衡器，通过内网调度负载两个节点，实现内部均衡2，DNS配置双IP对应一个域名的方式来实现DNS轮询，实现外网均衡3，Keepalived使用双主(master)配置虚拟出两个虚拟IP：节点一 12.12.12.100和节点二12.12.12.200，同时共外网访问，两个节点互为主从关系，当某个节点挂掉的时候，另外一个节点将同时是两个资源的master，同时拥有两个虚拟IP，实现资源转移。

我们知道DNS的缺点就是生效慢，分配资源不合理，理论上有可能把所有的请求都发送给同一节点，导致均衡不合理导致所有资源不可用，这里我们由于有了NGINX内部负载，就不怕DNS轮询不均衡了，因为NGINX内部有严谨的调度方式，不管那台请求有多少，在内部都能实现理想的调度，这样就能把 DNS负载均衡和NGINX完美结合，是硬件资源得到合理的利用，然后利用keepalive保证了每个节点的可靠性，几乎完美！拓扑图如下：架构实现LNMP架构配置配置LNMp架构需要注意两点：注意一：这里MYSQL都不要初始化，不要启动！后面有专门的配置的注意二：nginx所有端口都改成 8080，因为一会还要安装nginx来做均衡器并对外提供服务，所以不要用默认的80注意三、nginx和php-fpm运行的用户都是www。

MySQL⾼可⽤⽅案－PXC环境部署记录之前梳理了，对于mysql⾼可⽤⽅案，经常⽤到的的主要有下⾯三种：⼀、基于主从复制的⾼可⽤⽅案：双节点主从 + keepalived⼀般来说，中⼩型规模的时候，采⽤这种架构是最省事的。

两个节点可以采⽤简单的⼀主⼀从模式，或者双主模式，并且放置于同⼀个VLAN中，在master节点发⽣故障后，利⽤keepalived/heartbeat的⾼可⽤机制实现快速切换到slave节点。

在这个⽅案⾥，有⼏个需要注意的地⽅：采⽤keepalived作为⾼可⽤⽅案时，两个节点最好都设置成BACKUP模式，避免因为意外情况下（⽐如脑裂）相互抢占导致往两个节点写⼊相同数据⽽引发冲突；1）把两个节点的auto_increment_increment（⾃增步长）和auto_increment_offset（⾃增起始值）设成不同值。

其⽬的是为了避免master节点意外宕机时，可能会有部分binlog未能及时复制到slave上被应⽤，从⽽会导致slave新写⼊数据的⾃增值和原先master上冲突了，因此⼀开始就使其错开；当然了，如果有合适的容错机制能解决主从⾃增ID冲突的话，也可以不这么做；2）slave节点服务器配置不要太差，否则更容易导致复制延迟。

作为热备节点的slave服务器，硬件配置不能低于master节点；3）如果对延迟问题很敏感的话，可考虑使⽤MariaDB分⽀版本，或者直接上线MySQL 5.7最新版本，利⽤多线程复制的⽅式可以很⼤程度降低复制延迟；4）对复制延迟特别敏感的另⼀个备选⽅案，是采⽤semi sync replication（就是所谓的半同步复制）或者后⾯会提到的PXC⽅案，基本上⽆延迟，不过事务并发性能会有不⼩程度的损失，需要综合评估再决定；5）keepalived的检测机制需要适当完善，不能仅仅只是检查mysqld进程是否存活，或者MySQL服务端⼝是否可通，还应该进⼀步做数据写⼊或者运算的探测，判断响应时间，如果超过设定的阈值，就可以启动切换机制；6）keepalived最终确定进⾏切换时，还需要判断slave的延迟程度。

Drbd+mysql+keepalived实现高可用测试一、drbd安装和配置DRBD版本：drbd-8.4.3Primary：192.168.1.2 （dbm1）Secondary：192.168.1.7 （dbm2）虚拟IP: 192.168.1.202(Primary)为仅主服务器端配置(Secondary)为仅从服务器端配置(Primary,Secondary)为主服务器端从服务器端共同配置1.准备环境：(Primary,Secondary)1）设置hosts文件# vi /etc/hosts192.168.1.2 dbm1 dbm1192.168.1.7 dbm2 dbm22）在控制台左侧―硬盘‖，新建两块容量为10G的硬盘vdc，分别分配给两台主机。

分区为vdc1，大小为10G，并在本地系统创建/data目录，不做挂载操作。

# fdisk /dev/vdc出现command (m for help) ：输入n，回车//增加一个分区输入p，回车；输入1，回车；输入1，回车；输入20805，回车；//将整个硬盘作为1个分区输入w，回车//保存分区退出#fdisk –l查看硬盘分区是否成功# mkdir /data //创建/data目录3）更改主机名：(Primary)# vi /etc/sysconfig/networkHOSTNAME=dbm1(Secondary)# vi /etc/sysconfig/networkHOSTNAME=dbm22.DRBD的安装配置：1）安装依赖包：(Primary,Secondary)# yum install gcc gcc-c++ make glibc flex kernel-devel kernel-headers注意：安装kernel-devel一定要和你uname -r 看到的内核版本一致。

若不一致，则输入以下指令：#yum update kernel#reboot重启之后继续安装2）安装DRBD：(Primary,Secondary)# wget /drbd/8.4/drbd-8.4.3.tar.gz# tar zxvf drbd-8.4.3.tar.gz# cd drbd-8.4.3# ./configure --prefix=/usr/local/drbd --with-km# make KDIR=/usr/src/kernels/2.6.32-279.el6.x86_64///红色处需要根据自己具体情况修改，可通过以下指令查看#cd /usr/src/kernels#ls //查看具体路径# make install# mkdir -p /usr/local/drbd/var/run/drbd# cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d# chkconfig --add drbd# chkconfig drbd on加载DRBD模块:# modprobe drbd查看DRBD模块是否加载到内核：# lsmod |grep drbddrbd 292307 0 //出现类似内容则安装成功3）配置(Primary,Secondary)#vi /usr/local/drbd/etc/drbd.d/drbd,res //新建drbd.res资源文件加入以下内容：注意IP修改为自己的IP4）创建DRBD设备并激活r0资源(Primary,Secondary) #mknod /dev/drbd0 b 147 0#drbdadm create-md r0若drbdadm出现以下错误提示：则输入以下指令：#dd if=/dev/zero of=/dev/vdc1 bs=1M count=128等待片刻，显示success表示drbd块创建成功Writing meta data...initializing activity logNOT initializing bitmapNew drbd meta data block successfully created.（… …）* If you wish to opt out entirely, simply enter 'no'.* To continue, just press [RETURN]Success再次输入该命令：#drbdadm create-md r0 //成功激活r0Writing meta data...initializing activity logNOT initializing bitmapNew drbd meta data block successfully created.5）创建启动(Primary,Secondary)#cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/init.d/drbd#Chconfig —add drbd#Chconfig drbd on6）启动DRBD (Primary,Secondary)#service drbd start7) 文件系统在primary上#mkfs –t ext3 /dev/drbd0然后primary把它安装（仅primary安装）Mount /dev/drbd0 /data注意,如果主\从同时安装该设备,则不能自动同步,若只有一个服务器安装,则可以自动同步. Drbdsetup /dev/drbd0 primary –force 把某服务器设置为master二、mysql安装及配置安装MySQL。

MySQL数据库服务器双机热备的实现方法两则2011-08-31 12:56:43分类：Mysql/postgreSQL在实际的应用中，数据库是非常重要和关键的一个环节。

在保障数据库安全的同时，提高应用性和缩短出故障后的恢复时间，也同等重要。

特别是在一些持续性和实时性要求高的应用中，故障一小时，可能会让你损失几千到几万甚至更高。

本方案致力于数据库实时备份，并且在故障发生后以最短的时间恢复和修复。

在mysql数据库的备份应用中，主从复制结构是应用的比较广泛，数据同步和实时性都很高，基本上能满足大部分的需求。

本方案基于主从复制结构的基础上，当主库出现故障时，从库能自动接管主库的功能，向外提供服务，且将自身设置为主库，将这个故障时间和影响缩短至最小，5秒内可切换完成。

待原主库修复后，会自动进入从库的备份角色，如此循环。

在本方案的实现中，有两种方法且均基于mysql的主从结构中：1、高可用(High Availability)HA集群，用heartbeat实现及增加了故障后的恢复功能。

2 、同样是高可用，只是是自己编写脚本程序来监控，切换，恢复。

在方法1中，使用稳定的heartbeat开源软件实现，但此方法，需要多一个IP对外访问，同时在监控上，是监控机器的状态而不是mysql，有些情况下，机器是好的但mysql服务挂了，这种情况下就不准确了。

不过可以修改监控方式或增加对mysql服务的监控。

方法2中，可以不用增加一个对外IP，同时在监控上，可以直接监控mysql 的服务，至于稳定性，有待测试。

此方法中还有一个问题，就是提供给客户端的数据库连接IP，因为切换后，IP也就变了。

如果说更改程序，那不现实。

所以，这里可以用域名，不过仍然需要修改域名的IP指向或是修改客户机的 hosts 文件。

本文使用的是修改DNS的方法，因为DNS是自己配置的，可以灵活操作。

本文分两部分进行说明第一部分用 heartbeat 实现的高可用1环境条件两个虚拟机(IP:192.168.1.91/92/93)，CentOS5.4,mysql-5.1.37,heartbeat-2.1.3-32 安装前的准备Heartbeat 的工作原理：heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路和串口进行，而且支持冗余链路，它们之间相互发送报文来告诉对方自己当前的状态，如果在指定的时间内未受到对方发送的报文，那么就认为对方失效，这时需启动资源接管模块来接管运行在对方主机上的资源或者服务。

Heartbeat⾼可⽤解决⽅案Heartbeat⾼可⽤1. Heartbeat作⽤：通过heartbeat，可以将资源（ip以及程序服务等资源）从⼀台已经故障的计算机快速转移到另⼀台正常运转的机器上继续提供服务，⼀般称之为⾼可⽤服务。

heartbeat和keepalived有很多相同之处，但是也有区别。

1. ⼯作原理：通过修改heartbeat的配置⽂件，可以指定⼀台heartbeat服务器作为主服务器，另⼀台⾃动成为热备服务器。

在热备服务器上⾯配置heartbeat守护程序来监听来⾃主服务器的⼼跳信息。

如果在规定时间内，⽆法监听到⼼跳信息，那么就启动故障转移，取得主服务器上的相关资源的所有权，接替主服务器继续不间断的提供服务，从⽽达到资源以及服务⾼可⽤的⽬的。

heartbeat还⽀持主主模式，及两台服务器互为主备。

⼀般故障切换时间在5~20s之间。

另外：和keepalived的服务⼀样，heartbeat⾼可⽤是服务器级别的，不是服务级别的。

1. 服务器宕机2. heartbeat软件故障3. ⼼跳连接线故障）服务故障不会导致切换，可以通过服务宕机把heartbeat服务停掉。

1. ⼼跳连接：⾄少需要两台主机才可以实现⾼可⽤服务。

两台heartbeat服务之间通信:穿⾏电缆，所谓的串⼝（⾸先，缺点是距离不能太远）⼀根以太⽹电缆两⽹卡直连（常⽤⽅式）以太⽹电缆，通过交换机等⽹络设备连接。

（交换机可能出现问题等）1. Heartbeat裂脑（splitbrain）两台服务器在⼀定时间内，⽆法相互检测到对⽅⼼跳⽽各⾃启动故障转移功能，取得资源和服务的所有权，会导致同⼀个IP在两端同时启动服务，存在两个相同的VIP，造成冲突的严重问题。

1. 裂脑的原因：⼼跳链路故障，导致⽆法正常通信开启了防⽕墙阻挡了⼼跳信息传输⼼跳⽹卡地址等配置不正确⼼跳⽅式，⼼跳⼴播冲突，软件bug1. 防⽌裂脑⽅案：同时使⽤串⾏电缆和以太⽹电缆连接，同时使⽤两条⼼跳线检测到裂脑时，强制关闭⼀个节点。

构建Heartbeat+DRBD+NFS高可用文件共享存储DRBD的介绍：Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。

数据镜像：实时、透明、同步（所有服务器都成功后返回）、异步（本地服务器成功后返回）工具：drbdadm：高级管理工具，管理/etc/drbd.conf，向drbdsetup和drbdmeta发送指令，drbdsetup：配置装载进kernel的DRBD模块，平时很少直接用drbdmeta：管理META数据结构，平时很少直接用。

在DRBD中，资源是特指某复制的存储设备的所有方面。

包括资源名称、DRBD设备（/dev/drbdm，这里m是设备最小号，最大号可到147）、磁盘配置（使本地数据可以为DRBD所用）、网络配置（与对方通信）每个资源有个角色，是Primary或Secondary，下面简称“主”和“备” 主角色的DRBD设备可以不受限制的读和写，比如创建和映射文件系统、对于块设备的raw或直接IO访问。

备角色的DRBD设备接受来自对方的所有修改，但是不能被应用程序读写，甚至只读也不行。

角色可以改变。

DRBD功能单主模式：典型的高可靠性集群方案。

复主模式：需要采用共享cluster文件系统，如GFS和OCFS2。

用于需要从2个节点并发访问数据的场合，需要特别配置。

复制模式：3种模式：协议A：异步复制协议。

本地写成功后立即返回，数据放在发送buffer 中，可能丢失。

协议B：内存同步（半同步）复制协议。

本地写成功并将数据发送到对方后立即返回，如果双机掉电，数据可能丢失。

协议C：同步复制协议。

本地和对方写成功确认后返回。

如果双机掉电或磁盘同时损坏，则数据可能丢失。

一般用协议C。

选择协议将影响流量，从而影响网络时延。

有效的同步：按线性而不是当初写的顺序同步块。

同步损坏时间内的不一致数据。

这段时间一直在研究mysql的集群方案，前几天发了一个关于mysql+heartbeat+存储的方案，今天把mysql+drbd+heartbeat的方案也放出来吧，这个方案，我个人觉得有瑕疵，就是主机挂了通过heartbeat往备机上面切换这个没有问题，但是如果有failback的话，那么主机回切将会有一系列的问题，主要应该就是脑裂吧，遇到问题的欢迎和我讨论。

1.环境说明：2.test1：192.168.122.10 as5u33.test2：192.168.122.11 as5u34.V I P：192.168.122.125.6.7.第一部分：mysql的安装（主备机一样）8.# tar -zxvf mysql-5.0.67.tar.gz9.# cd mysql-5.0.6710.# groupaddmysql11.# useradd -g mysql -s /sbin/nologin -M mysql12.# ./configure --prefix=/usr/local/mysql --with-charset=gbk--localstatedir=/var/data --with-extra-charset=all--enable-thread-safe-client13.# make && make install14.15.# cp support-files/f /etc/f16.# cp support-files/mysql.server /etc/rc.d/init.d/mysqld17.# chmod 755 /etc/rc.d/init.d/mysqld18.加入服务队列：19.# chkconfig --add mysqld20.21.# chown -R mysql.mysql /usr/local/mysql/22.# /usr/local/mysql/bin/mysql_install_db --user=mysql（这一步可以先不用执行，放到drbd那一块执行）23.# chown -R mysql.mysql /usr/local/mysql/var24.25.# /usr/local/mysql/bin/mysqld_safe --user=mysql&26.27.*************************************************************************28.配置库文件搜索路径（有时间自己做吧）29.# echo "/usr/local/mysql/lib/mysql" >> /etc/ld.so.conf30.# ldconfig31.添加/usr/local/mysql/bin到环境变量PATH中32.#echo "export PATH=$PATH:/usr/local/mysql/bin" >> /etc/profile33.#source /etc/profile34.**************************************************************************35.36.######################################################################37.38.第二部分：DRBD的安装和设置（首先hosts做好主备解析，关闭iptables相关选项）39./drbd/40.(1)安装DRBD(主从服务器安装相同)41.# tar -zxvf drbd-8.3.0.tar.gz42.# cd drbd-8.3.043.# make KDRI=/usr/src/redhat/44.# make install45.检查是否生成了相应的文件：/etc/drbd.conf ; /etc/init.d/drbd ; 以及./drbd/drbd.ko46.加载安装drbd模块47.# modprobedrbd48.通过lsmod检查是否已经成功49.#lsmod |grepdrbd50.如果有，则表示成功了51.(2)更改drbd配置文件(主从服务器相同)52.准备drbd要使用的分区，该分区最好是干净的分区，我在虚拟机中重新划分了一个分区/dev/sdb1作为drbd使用。