Keepalived与Haproxy和LVS应用一则实例

LVS+Keepalived实现高可用集群一、基础介绍 (2)二、搭建配置LVS-NA T模式 (2)三、搭建配置LVS-DR模式 (4)四、另外一种脚本方式实现上面LVS-DR模式 (6)五、keepalived + LVS(DR模式) 高可用 (8)六、Keepalived 配置文件详细介绍 (11)一、基础介绍(一)根据业务目标分成三类：High Availability 高可用Load Balancing 负载均衡High Performance 高性能(二)实现集群产品：HA类：rhcs、heartbeat、keepalivedLB类：haproxy、lvs、nginx、f5、piranhaHPC类：/index/downfile/infor_id/42(三)LVS 负载均衡有三种模式：LVS-DR模式（direct router）直接路由模式进必须经过分发器，出就直接出LVS-NAT模式（network address translation）进出必须都经过分发器LVS-TUN模式（ip tunneling）IP隧道模式服务器可以放到全国各地二、搭建配置LVS-NAT模式1 、服务器IP规划：DR服务器添加一张网卡eth1，一个网卡做DIP，一个网口做VIP。

设置DIP、VIP IP地址:DIP的eth1和所有RIP相连同一个网段CIP和DIP的eth0(Vip)相连同一个网段Vip eth0 192.168.50.200Dip eth1 192.168.58.4客户机IP：Cip 192.168.50.32台真实服务器IP：Rip1 192.168.58.2Rip2 192.168.58.32 、R ealServer1配置：mount /dev/xvdd /media/vi /var/www/html/index.html写入：this is realserver1启动httpdvi /etc/sysconfig/network-scripts/ifcfg-eth0设置RIP,子网掩码必须设置成DIPIPADDR=192.168.58.2NETMASK=255.255.255.0GA TEWAY=192.168.58.43 、R ealServer2 配置：vi /var/www/html/index.html写入：this is realserver2启动httpdvi /etc/sysconfig/network-scripts/ifcfg-eth0设置RIP，子网掩码必须设置成DIPIPADDR=192.168.58.3NETMASK=255.255.255.0GA TEWAY=192.168.58.44 、在DR服务器上做以下设置：开启IP数据包转发vi /etc/sysctl.confnet.ipv4.ip_forward = 0 ##0改成1 ,此步很重要查看是否开启：sysctl -p5 、安装LVS服务：ipvsadmyum -y install ipvsadmlsmod |grep ip_vsTurbolinux系统没有带rpm包，必须下载源码安装：#ln -s /usr/src/kernels/2.6.18-164.el5-x86_64/ /usr/src/linux##如果不做连接，编译时会包错#tar zxvf ipvsadm-1.24.tar.gz#cd ipvsadm-1.24#make && make install运行下ipvsadm ，就加到ip_vs模块到内核了lsmod | grep ip 可以看到有ip_vs模块了6 、配置DR服务器,添加虚拟服务ipvsadm -L -n 查询信息ipvsadm -A -t 192.168.50.200:80 -s rr #添加集群服务、调度算法，rr为调度算法ipvsadm -a -t 192.168.50.200:80 -r 192.168.58.2 -m -w 1 # -m代表net模式，-w代表权重ipvsadm -a -t 192.168.50.200:80 -r 192.168.58.3 -m -w 2ipvsadm -L -n 再次查看是就有了realserverservice ipvsadm save 保存配置iptables -L 关闭或者清空防火墙watch -n 1 'ipvsadm -L -n' 查看访问记录的数显示如下：-> RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 192.168.50.200:80 rr-> 192.168.58.2:80 Masq 1 0 13-> 192.168.58.3:80 Masq 2 0 12ActiveConn是活动连接数,也就是tcp连接状态的ESTABLISHED;InActConn是指除了ESTABLISHED以外的,所有的其它状态的tcp连接.7 、测试：http://192.168.58.200配完后若想修改算法：ipvsadm -E -t 192.168.58.200:80 -s wlc修改Rip的权重：ipvsadm -e -t 192.168.58.200:80 -r 192.168.58.2 -m -w 1ipvsadm -e -t 192.168.58.200:80 -r 192.168.58.3 -m -w 5三、搭建配置LVS-DR模式lo:1 回应客户端，lo:1上的IP跟机器有关，跟网卡没有关系arp_announce 对网络接口上本地IP地址发出的ARP回应作出相应级别的限制arp_ignore 定义对目标地址为本地IP的ARP询问不同的请求一、3台服务器IP配置规划：DIP：eth0:1 192.168.58.200/32 (VIP)eth0 192.168.58.3/24 (DIP)RIP1 lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.4/24RIP2 lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.5/24 .................................................................RIP n lo:1 192.168.58.200/32 (VIP)eth0 192.168.58.N/24二、每台realserver都加上下面四个步骤配置：1 、配置每台rip的IP、http,web页面2 、关闭每台rip服务器的ARP广播：echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/lo/arp_announceecho 1 > /proc/sys/net/ipv4/conf/all/arp_ignoreecho 2 > /proc/sys/net/ipv4/conf/all/arp_announce3 、配置VIPifconfig lo:1 192.168.58.200 netmask 255.255.255.255 broadcast 192.168.58.200 up4 、配置网关route add -host 192.168.58.200 dev lo:1三、DR上的配置（DR模式下Dip不用开启转发）：1 、配置DIP，在eth0上添加一个子VIP接口：添加VIP：ifconfig eth0:1 192.168.58.200 broadcast 192.168.58.200 netmask 255.255.255.255 up2 、配置网关：route add -host 192.168.58.200 dev eth0:1route -n3 、安装ipvsadm(方法见文档上面）yum -y install ipvsadmlsmod |grep ip_vs4 、配置LVS集群：ipvsadm -A -t 192.168.58.200:80 -s rr #添加集群服务、调度算法，rr为调度算法ipvsadm -a -t 192.168.58.200:80 -r 192.168.58.3 -g -w 1 # -g代表DR模式，-w代表权重ipvsadm -a -t 192.168.58.200:80 -r 192.168.58.2 -g -w 2service ipvsadm saveipvsadm -L -n 查看信息四、测试：http://192.168.58.200四、另外一种脚本方式实现上面LVS-DR模式IP规划：Dip eth0 192.168.58.139VIP：192.168.58.200RIP1：192.168.58.2RIP2：192.168.58.31 、D R服务器上安装ipvsadm#yum -y install ipvsadm#lsmod | grep ip_vs 查看没有输出#modprobe ip_vs 安装即可2 、配置DIP服务器、LVS这里也是个写脚本为了方便vim /etc/init.d/lvsdr#!/bin/bash#lvs of DRVIP=192.168.58.200RIP1=192.168.58.2RIP2=192.168.58.3case "$1" instart)echo "start lvs of DR"/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.0 up echo "1" > /proc/sys/net/ipv4/ip_forward/sbin/iptables -C/sbin/ipvsadm -A -t $VIP:80 -s rr/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g/sbin/ipvsadm;;stop)echo "stop lvs of DR"echo "0" > /proc/sys/net/ipv4/ip_forward/sbin/ipvsadm -C/sbin/ifconfig eth0:0 down;;*)echo "Usage :$0 {start|stop}"exit1esacexit 0#chmod o+x /etc/init.d/lvsdr启动脚本：#service lvsdr start3 、2台RIP服务器都配置这里我们也都可以写成脚本开启2台RIP的httpd服务。

haproxy if 用法HAProxy是一个高性能、高可靠性的负载均衡器和反向代理服务器。

在使用HAProxy时，`if`语句用于条件判断，以实现对后端服务器的智能调度。

以下是HAProxy中`if`语句的基本用法：1. 语法：```if [条件表达式] [then] [else]```2. 条件表达式：条件表达式用于判断某个变量或表达式的值是否满足要求。

常见的条件表达式包括：- `var <值>`：判断变量`<变量名>`是否小于`<值>`。

- `var >值`：判断变量`<变量名>`是否大于`<值>`。

- `var ==值`：判断变量`<变量名>`是否等于`<值>`。

- `var !=值`：判断变量`<变量名>`是否不等于`<值>`。

3. 示例：以下是一个根据后端服务器的状态进行智能调度的示例：```backend backend1server server1 192.168.1.1:80 maxconn 10server server2 192.168.1.2:80 maxconn 10frontend frontend1bind 0.0.0.0:80default_backend backend1if var1 == 10then use backend2else use backend1```在这个示例中，当变量`var1`的值为10时，流量将转发到`backend2`，否则转发到`backend1`。

需要注意的是，HAProxy支持的条件表达式较为简单，可能无法满足复杂的需求。

在这种情况下，可以考虑使用其他负载均衡器或编写脚本来实现更丰富的逻辑。

HAProxy负载均衡原理及企业级实例部署haproxy集群⼀ HAProxy简介HAProxy是⼀种⾼效、可靠、免费的⾼可⽤及负载均衡解决⽅案，⾮常适合于⾼负载站点的七层数据请求。

客户端通过HAProxy代理服务器获得站点页⾯，⽽代理服务器收到客户请求后根据负载均衡的规则将请求数据转发给后端真实服务器。

同⼀客户端访问服务器，HAProxy保持回话的三种⽅案：1 HAProxy将客户端ip进⾏Hash计算并保存，由此确保相同IP访问时被转发到同⼀真实服务器上。

2 HAProxy依靠真实服务器发送给客户端的cookie信息进⾏回话保持。

3 HAProxy保存真实服务器的session及服务器标识，实现会话保持功能。

haproxy拓扑结构图⼆配置⽂件解析Haproxy安装后默认没有配置⽂件，需要⼿动创建/etc/haproxy.cfg。

启动haproxy时⽤-f指定配置⽂件路径。

haproxy的配置⽂件包含全局设置段与代理段，global是全局段，defaults、listen、frontend、backend为代理段。

frontend⽤来匹配客户端请求的域名或者URL；backend 定义后端服务器集群haproxy配置⽂件参数详细解析配置项描述global chroot<jail dir>将⼯作⽬录切换到<jail dir>并执⾏chrootdaemon后台⼯作模式uid进程账户id，建议设置为haproxy专⽤账户gid进程组id，建议设置为haproxy专⽤组log<address><facility>配置全局syslog，可以设置两台⽇志服务器nbproc<number>指定后台进程数量pidfile<file>指定pid⽂件ulimit-n<number>设置每个进程最⼤⽂件描述符数量maxconn<number>每个进程⽀持的最⼤并发数tune.bufsize<number>设置buffer⼤⼩，默认16384Bmode可选tcp、http、healthtimeout check<timeout>设置检查超时时间contimeout<timeout>设置连接超时时间balance roundrobin设置轮询负载bind<address>:port定义⼀个或者多个监听地址和端⼝stats auth admin:admin设置监控界⾯的⽤户名和密码stats refresh<number>统计页⾯刷新间隔时间option httplog使⽤http⽇志cookie<name>启⽤cookie的保持连接功能option forwardfor允许插⼊这种数据包头，可以让后端服务器获取客户端ip option abortonclose负载⾼时，⾃动关闭处理时间长的请求option allbackups后端服务器宕机，是否激活全部备机，默认启动第⼀个备机option dontlognull不记录空连接⽇志，主要⽤于不记录健康检查⽇志代理设置option redispatch后端某个机器宕机，强制把请求转发给健康机器monitor-uri<URi>检查uri⽂件是否存在，依次判断主机的健康状态monitor-fail if site_dead服务器宕机时，返回503代码option httpchk<uri>使⽤http协议检查服务器健康状态retries<value>服务器连接失败后的重试次数timeout client客户端最⼤超时时间，单位毫秒timeout server服务器最⼤超时时间，单位毫秒timeout connect最⼤连接超时时间，单位毫秒default_backend默认后端服务器组use_backend当条件满⾜时，指定后端服务器组acl<name><criterion>定义访问控制列表三 Haproxy实例部署本例使⽤listen定义⼀个监控端⼝；使⽤frontend定义⼀个前端80端⼝；通过backend定义名为inside_servers 和 external_servers的服务器组；使⽤default_backend定义默认服务器组external_servers;external_servers包括和 两台服务器inside_servers包含 ⼀台服务器服务器名称⽹络配置 eth0:10.10.10.10eth1:192.168.1.2 eth0:192.168.1.3 eth0:192.168.1.4 eth0:192.168.1.51 ⾸先配置web服务器在web1 web2 web3上安装httpd并配置⽹卡vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=staticIPADDR=192.168.1.3NETMASK=255.255.255.0GATEWAY=192.168.1.2ONBOOT=yesTYPE=Ethernetservice network restartyum install -y httpdiptables -Fiptables -Xservice iptables savesetenforce 0sed -i s/enforcing/disabled/g /etc/sysconfig/selinuxecho "web1 192.168.1.3" > /var/www/html/index.html service httpd restartchkconfig httpd onweb2 web3机器上执⾏与web1相同步骤，注意修改部分参数2 接着haproxy服务器配置设置两块⽹卡vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=staticIPADDR=10.10.10.10NETMASK=255.0.0.0ONBOOT=yesTYPE=Ethernetvim /etc/sysconfig/network-scripts/ifcfg-eth1DEVICE=eth1BOOTPROTO=staticIPADDR=192.168.1.2NETMASK=255.255.255.0GATEWAY=192.168.1.1ONBOOT=yesTYPE=Ethernetservice network restartservice iptables stop内核调优，修改系统⽂件vim /etc/security/limits.conf* soft nofile 65535* hard nofile 65535配置⽇志⽂件,添加三⾏vim /etc/rsyslog.conf$ModLoad imudp $UDPServerRun 514local3.* /var/log/haproxy.logyum -y install gcctar zxf haproxy-1.6.11.tar.gz -C /usr/src/ cd /usr/src/haproxy-1.6.11/make TARGET=linux2628make installmkdir /var/haproxy3 创建配置⽂件vim /etc/haproxy.cfgglobalmaxconn 4096log 127.0.0.1 local3 infochroot /var/haproxyuid 99gid 99daemonnbproc 1pidfile /var/run/haproxy.pidulimit-n 65535stats socket /var/tmp/statsdefaultslog globalmode httpmaxconn 20480option httplogoption httpcloseoption dontlognulloption forwardforoption redispatchoption abortonclosestats refresh 30retries 3balance roundrobincookie SRVtimeout check 2000mstimeout connect 5000mstimeout server 50000mstimeout client 50000mslisten admin_status #定义haproxy的监控界⾯bind 0.0.0.0:6553mode httplog 127.0.0.1 local3 infostats enablestats refresh 5s #监控页⾯⾃动刷新时间5sstats realm Haproxy\ Statistics #登录监控页⾯提⽰符stats uri /admin?stats #监控页⾯URL路径stats auth admin:123456 #监控页⾯的账户密码stats hide-version #隐藏haproxy版本frontend web_service #定义前端服务器bind 0.0.0.0:80mode httplog globaloption httplogoption httpcloseoption forwardfor#acl inside_src src 192.168.1.0/24 #定义acl#use_backend inside_servers if inside_src #判断acl的源地址，把请求转发到inside_servers组default_backend external_servers #默认服务器组backend external_serversmode httpbalance roundrobin #轮询真实服务器option httpchk GET /index.html #检查index⽂件，判断服务器是否健康##定义后端真实服务器，向cookie中插⼊web1信息，check进⾏健康检查，检查时间间隔为2000ms，##连续两次健康则认为是正常开启的，连续三次检查失败则认为宕机，服务器权重1server web1 192.168.1.3:80 cookie web1 check inter 2000 rise 2 fall 3 weight 1server web2 192.168.1.4:80 cookie web2 check inter 2000 rise 2 fall 3 weight 1#backend inside_servers#mode http#balance roundrobin #轮询真实服务器#option httpchk GET /index.html #检查index⽂件，判断服务器是否健康#server web3 192.168.1.5:80 cookie web3 check inter 2000 rise 2 fall 3 weight 14 启动haproxy服务service rsyslog restart #重启系统⽇志服务haproxy -f /etc/haproxy.cfg #启动haproxy服务echo "/usr/local/sbin/haproxy -f /etc/haproxy.cfg" >> /etc/rc.local5 测试验证浏览器访问监控页⾯多次刷新访问将得到web1和web2 不同页⾯信息。

利用LVS+Keepalived 实现高性能高可用负载均衡作者：NetSeek 网站: 背景:随着你的网站业务量的增长你网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如F5又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要的浪费？同时实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？答案是肯定的！有！我们利用LVS+Keepalived基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

一．L VS+Keepalived 介绍1.LVSLVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。

本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。

目前有三种IP负载均衡技术（VS/NA T、VS/TUN和VS/DR）；八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。

2.KeepalviedKeepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现二. 网站负载均衡拓朴图.IP信息列表：名称IPLVS-DR-Master 61.164.122.6LVS-DR-BACKUP 61.164.122.7LVS-DR-VIP 61.164.122.8WEB1-Realserver 61.164.122.9WEB2-Realserver 61.164.122.10GateWay 61.164.122.1三. 安装LVS和Keepalvied软件包1. 下载相关软件包#mkdir /usr/local/src/lvs#cd /usr/local/src/lvs#wget /software/kernel-2.6/ipvsadm-1.24.tar.gz #wget /software/keepalived-1.1.15.tar.gz2. 安装LVS和Keepalived#lsmod |grep ip_vs#uname -r2.6.18-53.el5PAE#ln -s /usr/src/kernels/2.6.18-53.el5PAE-i686/ /usr/src/linux#tar zxvf ipvsadm-1.24.tar.gz#cd ipvsadm-1.24#make && make install#find / -name ipvsadm # 查看ipvsadm的位置#tar zxvf keepalived-1.1.15.tar.gz#cd keepalived-1.1.15#./configure && make && make install#find / -name keepalived # 查看keepalived位置#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/#mkdir /etc/keepalived#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/#cp /usr/local/sbin/keepalived /usr/sbin/#service keepalived start|stop #做成系统启动服务方便管理.四. 配置LVS实现负载均衡1．LVS-DR，配置LVS脚本实现负载均衡#vi /usr/local/sbin/lvs-dr.sh#!/bin/bash# description: start LVS of DirectorServer#Written by :NetSeek GW=61.164.122.1# website director vip.SNS_VIP=61.164.122.8SNS_RIP1=61.164.122.9SNS_RIP2=61.164.122.10./etc/rc.d/init.d/functionslogger $0 called with $1case "$1" instart)# set squid vip/sbin/ipvsadm --set 30 5 60/sbin/ifconfig eth0:0 $SNS_VIP broadcast $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP up/sbin/route add -host $SNS_VIP dev eth0:0/sbin/ipvsadm -A -t $SNS_VIP:80 -s wrr -p 3/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP1:80 -g -w 1/sbin/ipvsadm -a -t $SNS_VIP:80 -r $SNS_RIP2:80 -g -w 1touch /var/lock/subsys/ipvsadm >/dev/null 2>&1;;stop)/sbin/ipvsadm -C/sbin/ipvsadm -Zifconfig eth0:0 downifconfig eth0:1 downroute del $SNS_VIProute del $SS_VIPrm -rf /var/lock/subsys/ipvsadm >/dev/null 2>&1echo "ipvsadm stoped";;status)if [ ! -e /var/lock/subsys/ipvsadm ];thenecho "ipvsadm stoped"exit 1elseecho "ipvsadm OK"fi;;*)echo "Usage: $0 {start|stop|status}"exit 1esacexit 02．配置Realserver脚本.#vi /usr/local/sbin/realserver.sh#!/bin/bash# description: Config realserver lo and apply noarp#Written by :NetSeek SNS_VIP=61.164.122.8. /etc/rc.d/init.d/functionscase "$1" instart)ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP/sbin/route add -host $SNS_VIP dev lo:0echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announcesysctl -p >/dev/null 2>&1echo "RealServer Start OK";;stop)ifconfig lo:0 downroute del $SNS_VIP >/dev/null 2>&1echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "0" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/all/arp_announceecho "RealServer Stoped";;*)echo "Usage: $0 {start|stop}"exit 1esacexit 0或者采用secondary ip address方式配置# vi /etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2#sysctl –p#ip addr add 61.164.122.8/32 dev lo#ip add list 查看是否绑定3. 启动lvs-dr脚本和realserver启本，在DR上可以查看LVS当前状态:#watch ipvsadm –ln五．利用Keepalvied实现负载均衡和和高可用性1.配置在主负载均衡服务器上配置keepalived.conf#vi /etc/keepalived/keepalived.conf! Configuration File for keepalivedglobal_defs {notification_email {cnseek@# failover@firewall.loc# sysadmin@firewall.loc}notification_email_from sns-lvs@smtp_server 127.0.0.1# smtp_connect_timeout 30router_id LVS_DEVEL}# 20081013 written by :netseek# VIP1vrrp_instance VI_1 {state MASTER #备份服务器上将MASTER改为BACKUP interface eth0virtual_router_id 51priority 100 # 备份服务上将100改为99advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {61.164.122.8#(如果有多个VIP，继续换行填写.)}}virtual_server 61.164.122.8 80 {delay_loop 6 #(每隔10秒查询realserver状态)lb_algo wrr #(lvs 算法)lb_kind DR #(Direct Route)persistence_timeout 60 #(同一IP的连接60秒内被分配到同一台realserver) protocol TCP #(用TCP协议检查realserver状态)real_server 61.164.122.9 80 {weight 3 #(权重)TCP_CHECK {connect_timeout 10 #(10秒无响应超时)nb_get_retry 3delay_before_retry 3connect_port 80}}real_server 61.164.122.10 80 {weight 3TCP_CHECK {connect_timeout 10nb_get_retry 3delay_before_retry 3connect_port 80}}}2. BACKUP服务器同上配置，先安装lvs再按装keepalived,仍后配置/etc/keepalived/keepalived.conf，只需将红色标示的部分改一下即可.3. vi /etc/rc.local#/usr/local/sbin/lvs-dr.sh 将lvs-dr.sh这个脚本注释掉。

LVS、Nginx、HAProxy适用场景及优缺点分析LVS、Nginx和HAProxy都是常用的负载均衡工具，它们各自具有不同的适用场景和优缺点。

LVS（Linux Virtual Server）的适用场景：●LVS是工作在网络4层之上仅作分发之用，没有流量的产生，因此它非常适合用作负载均衡软件。

●LVS的配置性相对较低，这减少了人为出错的几率。

●LVS自身有完整的双机热备方案，如LVS/DR+Keepalived，确保了其工作稳定。

●LVS只分发请求，而流量并不从它本身出去，保证了均衡器IO的性能不会受到大流量的影响。

●LVS不支持正则表达式处理，不能做动静分离，这是它的主要缺点。

●如果项目实施中用得最多的还是LVS/DR+Keepalived，那么对于庞大的网站来说，实施及配置过程可能会比较复杂。

Nginx的适用场景：●Nginx是一款优秀的负载均衡器/反向代理软件，同时也是功能强大的Web应用服务器。

●Nginx具有强大的正则表达式处理能力，这使得它在处理动静分离的需求上表现优秀。

●Nginx对网络的依赖非常小，理论上能ping通就能进行负载功能。

●Nginx能够承担高的负载压力且稳定，一般能支撑超过几万次的并发量。

●Nginx可以通过端口检测到服务器内部的故障，如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点。

●Nginx的Session的保持，Cookie的引导能力相对欠缺。

HAProxy的适用场景：●HAProxy能够补充Nginx的一些缺点，比如支持Session的保持，Cookie的引导；同时支持通过获取指定的url来检测后端服务器的状态。

●HAProxy也是专门的负载均衡软件，Haproxy可以负载http，还可以负载均衡mysql。

●HAProxy是支持虚拟主机的。

综上所述，LVS、Nginx和HAProxy各有其特点和优势，选择哪一种负载均衡工具取决于您的具体需求和应用场景。

Data Base Technique •数据库技术Electronic Technology & Software Engineering 电子技术与软件工程• 153【关键词】虚拟机 集群 高可用 Keepalived在生产环境和对集群运行稳定性要求较高的环境里，一般都需要进行集群的高可用和负载均衡配置。

实现负载均衡既有硬件方案也有软件方案。

硬件方案的成本较高，很多集群都采用了软件方案。

在软件方案中，很多人选择使用Keepalived 与负载均衡软件配合使用以达到集群的高可用和负载均衡。

随着虚拟化技术和云计算的发展，集群的构成也发生了变化，以前的集群一般是以服务器裸机来构建，但现在随着业务的云化，很多集群实际上构建于虚拟机之上，也称虚拟机集群。

由于虚拟机不像裸机直接运行于服务器硬件之上，它的工作必须依赖hypervisor ，因此在虚拟机环境中，某些软件的行为也发生了变化。

本文将主要研究Keepalived 在部分虚拟机环境中虚拟IP 不能自动漂移的问题。

1 研究虚拟机环境中Keepalived虚拟IP 自动漂移的背景在采用软件方案建设高可用负载均衡集群时，我们一般会考虑Keepalived 或Heartbeat 与LVS 、HAProxy 、NGNIX 等负载均衡软件配合使用，以实现集群的高可用和负载均衡。

以Keepalived 为例，Keepalived 负责负载均衡服务器的高可用，而负载均衡服务器上的负载均衡软件则根据具体的负载均衡算法将访问流量转发至后端服务器。

可以看出，Keepalived 是访问数据链中非常关键的一环，一旦Keepalived 不能正常工作，即使负载均衡服务器和后端服务器工作正常，整个集群也无法正常提供服务。

我们研究发现，在部分虚拟机集群中，Keepalived 的虚拟IP 自动漂移功能在某些情况下并不能正常工作。

如今公有云得到了大力发展，很多在公有云平台上建立的虚拟机环境中Keepalived 虚拟IP 自动漂移的研究文/盛乐标 周庆林随着云计算的发展，各行各业的业务也开始云化。

开源HA解决方案《开源HA解决方案：构建稳定可靠的高可用系统》当今互联网时代，高可用性（HA）已经成为企业建设系统的重要指标之一。

在构建高可用系统时，开源软件解决方案的优势日益凸显。

开源软件具有灵活、定制性强的特点，可以满足不同企业的需求，同时，也能够降低成本，提高系统的可靠性。

开源HA解决方案是指基于开源软件构建的高可用系统解决方案。

常见的开源HA解决方案包括Pacemaker、Keepalived、Corosync等。

这些解决方案不仅能够保证系统的稳定性和可靠性，还可以提供灵活的配置和定制，满足不同企业的需求。

Pacemaker是一个常用的开源HA解决方案，它提供了很多高可用性功能，比如故障监测、自动故障切换、资源组管理等。

通过Pacemaker可以轻松构建起一个高可用的集群系统，保证系统的稳定性和可靠性。

Keepalived则是一个轻量级的负载均衡和故障转移解决方案，它可以将多台服务器组成一个高可用的集群，同时可以实现故障自动转移，确保系统的稳定性。

Corosync是一个消息传递层软件，它可以提供高可用系统必需的集群通信功能。

通过Corosync可以实现集群节点之间的通信和协调，确保集群系统的正常运行。

同时，Corosync支持灵活的配置和定制，可以满足不同企业的需求。

总之，开源HA解决方案能够帮助企业构建稳定可靠的高可用系统。

通过灵活的配置和定制，这些解决方案可以满足不同企业的需求，同时也能够降低成本，提高系统的可靠性。

相信在未来，开源HA解决方案会越来越受到企业的青睐，成为构建高可用系统的首选方案。

lvs重要⾯试题1、集群分类有哪些及各⾃实现的⽬标？⾼可⽤：保持系统的稳定，防⽌系统出现单点故障。

负载均衡：⽐如⾼并发状态下，多个机器分摊请求，从⽽达到负载均衡⾼性能运算集群：⽐如hadoop分布式计算框架，把多个机器的cpu，硬盘资源聚合到⼀起，实现⾼性能计算。

2、常见的硬件负载均衡产品有哪些？F5，A10，Array3、常见的软件负载均衡产品有哪些？LVS,Nginx,Haproxy4、对⽐说明LVS、Nginx、Haproxy等产品的优缺点？LVS：优点：抗负载能⼒强，性能⾼，能达到F5的60%，对内存和CPU资源消耗⽐较低⼯作在⽹络4层，通过VRRP协议(仅作代理之⽤)，具体的流量是由linux内核来处理，因此没有流量的产⽣。

稳定，可靠性⾼，⾃⾝有完美的热备⽅案(Keepalived+lvs)⽀持多种负载均衡算法：rr(轮询)，wrr(带权轮询)、lc(最⼩连接)、wlc(带权最⼩连接)LVS⼯作模式有4种： (1) nat 地址转换 (2) dr 直接路由 (3) tun 隧道 (4) full-nat转发效率和稳定性⽐nginx和haproxy⾼缺点：只能做代理使⽤，只⽀持四层协议。

不⽀持正则处理，不⽀持动静分离。

Haproxy：适⽤于负载特别⼤的web⽹站，可以⽀持万的并发连接，，可以保护你的web服务器不被暴露到⽹络上。

HAProxy的优点是：1、HAProxy⽀持虚拟主机。

2、HAProxy的优点能够补充Nginx的⼀些缺点，⽐如⽀持Session的保持，Cookie的引导；同时⽀持通过获取指定的url来检测后端服务器的状态。

3、HAProxy跟LVS类似，本⾝就只是⼀款负载均衡软件；单纯从效率上来讲HAProxy会⽐Nginx有更出⾊的负载均衡速度，在并发处理上也是优于Nginx的。

4、HAProxy⽀持TCP协议的负载均衡转发，可以对MySQL读进⾏负载均衡，对后端的MySQL节点进⾏检测和负载均衡，可以⽤LVS+Keepalived对MySQL主从做负载均衡。

keepalived haproxy原理keepalived和haproxy是常用的负载均衡工具，在实际应用中经常被使用到。

keepalived主要用于实现高可用性、故障转移，而haproxy则主要用于实现负载均衡。

本文将介绍keepalived和haproxy的原理及其应用。

一、keepalived原理keepalived是一个基于VRRP协议实现的高可用性软件，主要用于实现集群的故障转移。

它的原理是通过多台服务器协同工作，将它们构建成一个高可用性的集群，当其中一台服务器发生故障时，其他节点会接管该节点的服务，从而实现服务的不间断运行。

keepalived的原理可以简单概括为以下几个步骤：1. 配置keepalived的节点信息，包括节点的IP地址、优先级等参数。

2. 将节点配置成VRRP协议中的虚拟路由器，并指定一个虚拟IP地址。

3. 当节点正常工作时，其会不断发送VRRP协议的心跳包，以表明自己的存在。

4. 当某个节点发生故障或者不再向外发送心跳包时，其他节点会检测到该节点的异常，并接管该节点的服务。

5. 故障节点恢复后，其他节点会自动将服务归还给该节点。

二、haproxy原理haproxy是一款高性能的负载均衡软件，可以将来自客户端的请求转发到多个后端服务器上，从而实现负载均衡。

haproxy的原理可以简单概括为以下几个步骤：1. 配置haproxy的监听端口和后端服务器地址。

2. 当客户端发送请求时，haproxy会接收并解析请求，然后根据预设的负载均衡算法，选择一个后端服务器进行请求转发。

3. haproxy会将请求转发给所选的后端服务器，并将响应返回给客户端。

4. 如果所选的后端服务器出现故障或者超过预设的最大连接数，haproxy会自动将该服务器从负载均衡池中剔除，并选择其他可用的服务器进行请求转发。

5. 当故障的服务器恢复或者新的服务器加入负载均衡池时，haproxy会自动将其重新加入负载均衡池中，并参与负载均衡。

三.keepalived介绍及⼯作原理⼀、keepalived的介绍Keepalived软件起初是专为LVS负载均衡软件设计的，⽤来管理并监控LVS集群系统中各个服务节点的状态，后来⼜加⼊了可以实现⾼可⽤的VRRP功能。

因此，Keepalived除了能够管理LVS软件外，还可以作为其他服务（例如：Nginx、Haproxy、MySQL等）的⾼可⽤解决⽅案软件。

Keepalived软件主要是通过VRRP协议实现⾼可⽤功能的。

VRRP是Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，VRRP出现的⽬的就是为了解决静态路由单点故障问题的，它能够保证当个别节点宕机时，整个⽹络可以不间断地运⾏。

所以，Keepalived⼀⽅⾯具有配置管理LVS的功能，同时还具有对LVS下⾯节点进⾏健康检查的功能，另⼀⽅⾯也可实现系统⽹络服务的⾼可⽤功能。

keepalived：vrrp协议：Virtual Router Redundancy Protocol术语：虚拟路由器：Virtual Router虚拟路由器标识：VRID(0-255)，唯⼀标识虚拟路由器物理路由器：master：主设备backup：备⽤设备priority：优先级VIP：Virtual IPVMAC：Virutal MAC (00-00-5e-00-01-VRID)通告：⼼跳，优先级等；周期性⼯作⽅式：抢占式，⾮抢占式安全⼯作：认证：⽆认证简单字符认证：预共享密钥MD5⼯作模式：主/备：单虚拟路径器主/主：主/备（虚拟路径器1），备/主（虚拟路径器2）⼆、Keepalived服务的重要功能1、管理LVS负载均衡软件早期的LVS软件，需要通过命令⾏或脚本实现管理，并且没有针对LVS节点的健康检查功能。

为了解决LVS的这些使⽤不便的问题，Keepalived就诞⽣了，可以说，Keepalived软件起初是专为解决LVS的问题⽽诞⽣的。

LVS,Nginx和HAProxy区别LVS优缺点LVS的优点：1、抗负载能⼒强、⼯作在第4层仅作分发之⽤，没有流量的产⽣，这个特点也决定了它在负载均衡软件⾥的性能最强的；⽆流量，同时保证了均衡器IO的性能不会受到⼤流量的影响；2、⼯作稳定，⾃⾝有完整的双机热备⽅案，如LVS+Keepalived和LVS+Heartbeat；3、应⽤范围⽐较⼴，可以对所有应⽤做负载均衡；4、配置性⽐较低，这是⼀个缺点也是⼀个优点，因为没有可太多配置的东西，所以并不需要太多接触，⼤⼤减少了⼈为出错的⼏率；LVS的缺点：1、软件本⾝不⽀持正则处理，不能做动静分离，这就凸显了Nginx/HAProxy+Keepalived的优势。

2、如果⽹站应⽤⽐较庞⼤，LVS/DR+Keepalived就⽐较复杂了，特别是后⾯有Windows Server应⽤的机器，实施及配置还有维护过程就⽐较⿇烦，相对⽽⾔，Nginx/HAProxy+Keepalived就简单多了。

Nginx优缺点Nginx的优点：1.⼯作在OSI第7层，可以针对http应⽤做⼀些分流的策略。

⽐如针对域名、⽬录结构。

它的正则⽐HAProxy更为强⼤和灵活；2.Nginx对⽹络的依赖⾮常⼩，理论上能ping通就就能进⾏负载功能，这个也是它的优势所在；3.Nginx安装和配置⽐较简单，测试起来⽐较⽅便；4.可以承担⾼的负载压⼒且稳定，⼀般能⽀撑超过⼏万次的并发量；5.Nginx可以通过端⼝检测到服务器内部的故障，⽐如根据服务器处理⽹页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另⼀个节点；6.Nginx不仅仅是⼀款优秀的负载均衡器/反向代理软件，它同时也是功能强⼤的Web应⽤服务器。

LNMP现在也是⾮常流⾏的web环境，⼤有和LAMP环境分庭抗礼之势，Nginx在处理静态页⾯、特别是抗⾼并发⽅⾯相对apache有优势；7.Nginx现在作为Web反向加速缓存越来越成熟了，速度⽐传统的Squid服务器更快，有需求的朋友可以考虑⽤其作为反向代理加速器；Nginx的缺点：1、Nginx不⽀持url来检测。

简述keepalived工作原理
keepalived是一种高可用性软件，可以实现网络服务的故障转移。

其主要工作原理如下：
1. keepalived通过心跳机制来检测系统的运行状态，如果主服务器出现故障，备份服务器将立即接管其功能。

2. keepalived的心跳机制可以使用两种方式：一种是VRRP协议，另一种是LVS+HAProxy，其中VRRP协议是更常用的方式。

VRRP 协议是一种基于互联网协议的协议，可以实现网络设备之间的故障转移。

3. keepalived的另一个重要功能是负载均衡。

通过LVS+HAProxy 技术，keepalived可以将负载分配到多个服务器上，从而避免单一服务器的过载问题。

4. keepalived还可以通过邮件、短信等方式来通知管理员系统出现故障，以便及时处理。

总之，keepalived是一种非常实用的高可用性软件，可以在网络服务出现故障时实现自动故障转移，从而保证系统的稳定性和可靠性。

- 1 -。

REDIS集群,KEEPALIVED+HAPROXY负载均衡,主备自动切换安装手册服务器环境:centos6.3机器1:redis主节点(172.16.8.21:6379)从节点(172.16.8.21:63791)从节点(172.16.8.21:63792)机器2:从节点172.16.8.22:63793从节点172.16.8.23:63794一、REDIS集群安装进入机器1:mkdir /usr/local/redismkdir /usr/local/redis/data1 下载redis,进入/usr/local/src目录2 wget http://download.redis.io/releases/redis-2.8.9.tar.gz3 tar xvf redis-2.8.9.tar.gz4 cd redis-2.8.95 make && make install6 cp redis.conf /usr/local/bin7 cd /usr/local/bin8 cp redis.conf redis-slave19 cp redis.conf redis-slave210 vi redis.conf11 搜索dind设为172.16.8.21dir 设为/usr/local/redis/datadaemonize 设为yes12 vi redis-slave113 搜索bind 设为172.16.8.21pidfile 设为/var/run/redis-slave1.piddbfilename设为dump-slave1.rdbdir设为/usr/local/redis/dataport 设为63791将slaveof前面的#号去掉，改为slaveof 172.16.8.21 6379 daemonize 设为yes14 vi redis-slave215 搜索bind 设为172.16.8.21pidfile 设为/var/run/redis-slave2.piddbfilename设为dump-slave2.rdbdir设为/usr/local/redis/dataport 设为63792将slaveof前面的#号去掉，改为slaveof 172.16.8.21 6379 daemonize 设为yes16redis-server redis.confredis-server redis-slave1redis-server redis-slave2进入机器2mkdir /usr/local/redismkdir /usr/local/redis/data1 下载redis,进入/usr/local/src目录2 wget http://download.redis.io/releases/redis-2.8.9.tar.gz3 tar xvf redis-2.8.9.tar.gz4 cd redis-2.8.95 make && make install6 cp redis.conf /usr/local/bin7 cd /usr/local/bin8 cp redis.conf redis-slave39 cp redis.conf redis-slave410 vi redis-slave311 搜索bind 设为172.16.8.22pidfile 设为/var/run/redis-slave3.piddbfilename设为dump-slave3.rdbdir设为/usr/local/redis/dataport 设为63793将slaveof前面的#号去掉，改为slaveof 172.16.8.21 6379daemonize 设为yes12 vi redis-slave413 搜索bind 设为172.16.8.22pidfile 设为/var/run/redis-slave4.piddbfilename设为dump-slave4.rdbdir设为/usr/local/redis/dataport 设为63794将slaveof前面的#号去掉，改为slaveof 172.16.8.21 6379daemonize 设为yes14 redis-server redis-slave315 redis-server redis-slave4到现在已完成redis集群配置,且只有172.16.8.21 6379可写数据，其余slave机器只能读数据redis-cli -h 172.16.8.21 -p 6379info可以看到这样子就是成功了二、安装haproxy进入机器1cd /usr/loca/srcwget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.25.tar.gztar xvf http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.25.tar.gzcd haproxy-1.4.25make TARGET=linux26 PREFIX=/usr/local/haproxymake install PREFIX=/usr/local/haproxycd /usr/local/haproxyvi haproxy.cfg添加下面内容# this config needs haproxy-1.1.28 or haproxy-1.2.1globallog 172.16.8.21 local0#log 172.16.8.21 local1 notice#log loghost local0 infomaxconn 4096chroot /usr/local/haproxyuid 99gid 99daemon#debugquietnbproc 2pidfile /usr/local/haproxy/haproxy.piddefaultslog globalmode httpoption httplogoption dontlognulllog 172.16.8.21 local3 inforetries 3redispatchmaxconn 3000contimeout 5000clitimeout 50000srvtimeout 50000listen cluster 0.0.0.0:63790mode tcpbalance roundrobinoption forwardforserver redis-slave1 172.16.8.21:63791 weight 100 check inter 2000 rise 2 fall 3 server redis-slave2 172.16.8.21:63792 weight 100 check inter 2000 rise 2 fall 3 server redis-slave3 172.16.8.22:63793 weight 100 check inter 2000 rise 2 fall 3 server redis-slave4 172.16.8.22:63794 weight 100 check inter 2000 rise 2 fall 3listen 172.16.8.21 *:8888mode http#transparentstats refresh 10sstats uri /haproxyadminstats realm Haproxy \ statisticstats auth admin:adminstats hide-version保存加上日志支持 vi /etc/rsyslog.conf在最下边增加local3.* /var/log/haproxy.loglocal0.* /var/log/haproxy.logvi /etc/sysconfig/rsyslog修改： SYSLOGD_OPTIONS="-r -m 0"重启日志服务service rsyslog restart进入机器2cd /usr/loca/srcwget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.25.tar.gz tar xvf http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.25.tar.gz cd haproxy-1.4.25make TARGET=linux26 PREFIX=/usr/local/haproxymake install PREFIX=/usr/local/haproxycd /usr/local/haproxyvi haproxy.cfg添加下面内容# this config needs haproxy-1.1.28 or haproxy-1.2.1globallog 172.16.8.22 local0#log 172.16.8.22 local1 notice#log loghost local0 infomaxconn 4096chroot /usr/local/haproxyuid 99gid 99daemon#debugquietnbproc 2pidfile /usr/local/haproxy/haproxy.piddefaultslog globalmode httpoption httplogoption dontlognulllog 172.16.8.22 local3 inforetries 3redispatchmaxconn 3000contimeout 5000clitimeout 50000srvtimeout 50000listen cluster 0.0.0.0:63790mode tcpbalance roundrobinoption forwardforserver redis-slave1 172.16.8.21:63791 weight 100 check inter 2000 rise 2 fall 3 server redis-slave2 172.16.8.21:63792 weight 100 check inter 2000 rise 2 fall 3 server redis-slave3 172.16.8.22:63793 weight 100 check inter 2000 rise 2 fall 3 server redis-slave4 172.16.8.22:63794 weight 100 check inter 2000 rise 2 fall 3 listen 172.16.8.22*:8888mode http#transparentstats refresh 10sstats uri /haproxyadminstats realm Haproxy \ statisticstats auth admin:adminstats hide-version保存加上日志支持 vi /etc/rsyslog.conf在最下边增加local3.* /var/log/haproxy.loglocal0.* /var/log/haproxy.logvi /etc/sysconfig/rsyslog修改： SYSLOGD_OPTIONS="-r -m 0"重启日志服务service rsyslog restart三、安装keepalived进入机器1cd /usr/local/srcwget /software/keepalived-1.2.12.tar.gztar xvf keepalived-1.2.12.tar.gzcd keepalived-1.2.12./configuremake&&make install注：若这里报错提示没有装openssl，则执行yum –y install openssl-devel安装，若还有其他的包没装，则执行yum命令进行安装cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/mkdir /etc/keepalivedcp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ln -s /usr/local/sbin/keepalived /usr/sbin/vi /etc/keepalived/keepalived.conf将内容改为如下! Configuration File for keepalivedvrrp_script chk_haproxy {script "/etc/keepalived/check_haproxy.sh"interval 2global_defs {router_id LVS_DEVEL}vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 51priority 150advert_int 1authentication {auth_type PASSauth_pass 1111}track_script {chk_haproxy}virtual_ipaddress {172.16.8.20}}}保存vi /etc/keepalived/check_haproxy.sh添加内容#!/bin/bash#A = `ps -C haproxy --no-header |wc -l`if [[ `ps -C haproxy --no-header |wc -l` -eq 0 ]];thenecho "haproxy not runing,attempt to start up."/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfgsleep 3if [[ `ps -C haproxy --no-header |wc -l` -eq 0 ]];then/etc/init.d/keepalived stopecho "haproxy start failure,stop keepalived"elseecho "haproxy started success"fifi注意`这个符号不是单引号,是esc下面那个键进入机器2cd /usr/local/srcwget /software/keepalived-1.2.12.tar.gztar xvf keepalived-1.2.12.tar.gzcd keepalived-1.2.12./configuremake&&make install注：若这里报错提示没有装openssl，则执行yum –y install openssl-devel安装，若还有其他的包没装，则执行yum命令进行安装cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ mkdir /etc/keepalivedcp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ ln -s /usr/local/sbin/keepalived /usr/sbin/vi /etc/keepalived/keepalived.conf将内容改为如下! Configuration File for keepalivedvrrp_script chk_haproxy {script "/etc/keepalived/check_haproxy.sh"interval 2global_defs {router_id LVS_DEVEL}vrrp_instance VI_1 {state BACKUPinterface eth0virtual_router_id 51priority 120advert_int 1authentication {auth_type PASSauth_pass 1111}track_script {chk_haproxy}virtual_ipaddress {172.16.8.20}}}保存vi /etc/keepalived/check_haproxy.sh添加内容#!/bin/bash#A = `ps -C haproxy --no-header |wc -l`if [[ `ps -C haproxy --no-header |wc -l` -eq 0 ]];thenecho "haproxy not runing,attempt to start up."/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy.cfgsleep 3if [[ `ps -C haproxy --no-header |wc -l` -eq 0 ]];then/etc/init.d/keepalived stopecho "haproxy start failure,stop keepalived"elseecho "haproxy started success"fifi注意`这个符号不是单引号,是esc下面那个键保存在机器1机器2中分别执行service keepalived start然后在浏览器上打开http://172.16.8.20:8888/haproxyadmin用户名和密码是admin只要机器1和机器2中keepalived服务没有同时挂掉，一台机器挂掉后，另一台机器就会绑定172.16.8.20地址，实现主备切换,因此都可以通过172.16.8.20:63790访问该redis 集群Vip压力测试redis-benchmark -h 172.16.8.20 -p 63790 -t get -q -r 1000 -n 100000 -c 800主机器压力测试redis-benchmark -h 172.16.8.21 -p 6379 -t get -q -r 1000 -n 100000 -c 800从节点压力测试redis-benchmark -h 172.16.8.22 -p 63793 -t get -q -r 1000 -n 100000 -c 800本文参考于百度文库地址/link?url=Wd0Z2arJ4wdspy7jw9O1mGZCy2e5GiO4hCIv36 QxoOtNGcFOMG8rPpegmRH_z72Ejc-KAP9Ld2Aieo7DPgmC_b1bXB2BZVSKPTXsoz BNNYi。

Vol.38，No.1Mar.2019第38卷第1期2019年3月《新疆师范大学学报》（自然科学版）Journal of Xinjiang Normal University（Natural Sciences Edition ）基于Haproxy+Keepalived 的Web 集群负载均衡研究与应用张奎（喀什大学计算机科学与技术学院，新疆喀什844006）摘要：针对Web 集群中硬件负载均衡存在单点故障和无法获取服务器状态的情况，在深入分析负载均衡基本原理的基础上，设计一种基于Haproxy （负载均衡软件）+Keepalived （高可用软件）结构的Web 集群负载均衡实验系统。

该系统基于主/从负载调度模式，采用轮询调度算法，并对负载均衡和高可用性进行实现。

实验结果表明，该系统能够有效均衡用户的负载请求，以及调度器角色切换，解决了硬件负载均衡的缺陷，提高了Web 集群系统的综合性能。

关键词：Web 集群；负载均衡；单点故障；高可用性中图分类号：TP393文献标识码：A 文章编号：1008-9659（2019）01-0091-06随着ICT （Information Communications Technology，即信息通信技术）的快速发展，因特网产生的数据量呈“井喷”式的增长，客户端的增加和网络请求的大容量、实时性、并发性、突发性等特征，对网络服务器提出了更高的要求。

而网络服务器在运行过程中可能会出现单点故障、过载等问题，目前主要通过集群技术来解决以上问题［1-2］。

集群的核心技术之一在于负载均衡，其实现方法分为两种：硬件负载均衡和软件负载均衡。

第一，硬件负载均衡，即不断升级服务器硬件配置使其具有更高性能，满足用户需求。

但是单纯依靠硬件升级会导致网络升级复杂以及管理成本较高，这对于侧重QoS （Quality of Service，即服务质量）的网络来说，并非最佳选择；第二，软件负载均衡，即将服务器加入到集群当中，由软件来调度实现负载均衡。

keepalived的原理Keepalived是一种用于实现高可用性的软件，它可以监控服务器的状态并在主服务器出现故障时自动切换到备用服务器上。

本文将介绍Keepalived的原理及其在实际应用中的作用。

一、Keepalived的原理Keepalived的原理基于VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）。

VRRP是一种网络协议，用于实现默认网关的冗余备份。

Keepalived将VRRP协议与实际应用场景结合起来，通过不断发送VRRP报文来监控服务器的状态，并根据报文的优先级和状态切换算法来决定服务器的角色。

在Keepalived中，主服务器和备用服务器都会发送VRRP报文，其中包含了该服务器的状态信息和优先级。

主服务器会周期性地发送VRRP广播报文，以宣告自己是活跃的路由器。

备用服务器会监听VRRP报文，并根据报文中的信息来判断主服务器是否正常工作。

一旦备用服务器检测到主服务器故障，它会立即发送一条VRRP广播报文，以宣告自己是新的活跃路由器，并接管主服务器的工作。

为了确保切换的可靠性和平稳性，Keepalived还引入了健康检查机制。

通过定期发送心跳检测报文，Keepalived可以监控服务器的健康状态，检测到服务器故障后，可以快速切换到备用服务器上，从而实现高可用性。

二、Keepalived的作用1. 提高系统的可靠性：Keepalived可以实现主备服务器之间的无缝切换，确保服务的持续可用性。

当主服务器发生故障或网络中断时，备用服务器可以立即接管主服务器的工作，保证服务不中断。

2. 负载均衡：Keepalived可以将流量分发到多个服务器上，从而实现负载均衡。

通过配置不同的服务器权重和优先级，Keepalived可以根据服务器的负载情况来智能地分配流量，提高系统的整体性能。

3. 高可扩展性：Keepalived支持多个备用服务器的配置，可以根据实际需求增加备用服务器的数量，从而提高系统的容量和可扩展性。

[原创]Haproxy+Keepalived邮件提醒一，概述 在运维当中，服务的监控是很重要的，服务器自身监控之外，就是服务状态的监控。

之前搭建的haproxy+keepalived四层负载均衡架构中，keepalived是提供了一个notify_让管理员设置，在状态发生转移之后进行什么样的提醒。

今天写一个简单的邮件通知来提醒管理员。

二，程序邮件提醒[Python实现]#-*-coding:UTF-8-*-#author:LingYunyi#email:**********************#date:2012-08-09#filename:gmail.py（注意：文件名和系统默认的模块名不能相同，报错ImportError: No module named）#当Haproxy进程启动的时候，发送提醒邮件#提醒邮件设置在keepalived的notify_ 字段上面，当状态进行转移时会自动调用程序，实现也可以用shell#import sys#sys.path.append('c:\\pytho27\\lib\\smtplib.py')#print sys.pathimport smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartimport syssmtp_server = ''msg = MIMEMultipart('alternative')msg['Subject'] = "Haproxy提醒"msg['From'] = '****************'msg['To'] = '****************'if sys.argv[1]!="master" and sys.argv[1]!="backup" and sys.argv[1]!="fault":sys.exit()else:notify_type=sys.argv[1]text = "Hi!Haproxy 进程被激活，请注意哦！"html = """\<html><head></head><body><p>请注意！</p>您好，管理员！<br><font color=red>您的Haproxy代理服务器+notify_type+进程已经被激活，请注意！</font></body></html>"""part1 = MIMEText(text, 'plain')part2 = MIMEText(html, 'html')msg.attach(part1)msg.attach(part2)#message = MIMEText('Haproxy进程被激活，请注意！')#msg['Subject'] = 'The contents of %s' % message#msg['mailContentContainer'] = 'Haproxy进程被激活，请注意！'smtp = smtplib.SMTP()smtp.connect(smtp_server)smtp.login("****************","111111")smtp.set_debuglevel(1)smtp.sendmail("****************","****************",msg.as_string())smtp.quit()print 'send mail successfully'三，使用方法在keepalived.conf中添加#状态通知notify_master "/etc/keepalived/gmail.py master"notify_backup "/etc/keepalived/gmail.py backup"notify_fault "/etc/keepalived/gmail.py fault"四，其它方法也可以。

Keepalived+HAproxy实现redis的高可用负载均衡总概：Keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。

Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。

HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。

HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。

并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。

这里我利用HAproxy对多台redis服务器进行负载，然后用Keepalived对HAproxy进行监控：（主）服务器A：192.168.4.143 （从）服务器B：192.168.4.126A上安装redis(主)、reids-slave1(从)、redis-slave2(从)、HAproxy、KeepalivedB上安装redis-slave3（从）、redis-slave4（从）、HAproxy、KeepalivedKeepalived监控A、B上的HAproxy，利用Keepalived的VIP漂移技术，若A、B上的HAprox 都工作正常，则VIP与优先级别高的服务器（主服务器）绑定，当主服务器当掉时，则与从服务器绑定，而VIP则是暴露给外部访问的ip；HAproxy利用Keepalived生产的VIP对多台redis（从）进行读负载，当某台redis当掉，则将其移除，回复后加入集群。

高性能反向代理软件HAProxy（三）之高可用一、实验目的软件负载均衡一般通过两种方式来实现：基于操作系统的软负载实现和基于第三方应用的软负载实现。

LVS是基于Linux操作系统实现的一种软负载，而HAProxy则是基于第三方应用实现的软负载。

HAProxy相比LVS的使用要简单很多，但跟LVS一样，HAProxy自己并不能实现高可用，一旦HAProxy节点故障，将会影响整个站点。

本文带来的是HAProxy 基于KeepAlived实现Web高可用及动静分离。

二、实验环境介绍是准备1、实验拓扑图2、环境介绍3、同步时间[root@proxy ~]# ntpdate 202.120.2.101[root@node1 ~]# ntpdate 202.120.2.101[root@node2 ~]# ntpdate 202.120.2.101[root@hpf-linux ~]# ntpdate 202.120.2.101root@Slave ~]# ntpdate 202.120.2.1014、node1、node2节点安装启动httpd及提供测试页[root@node1 ~]# rpm -q httpdhttpd-2.2.15-45.el6.centos.x86_64[root@node1 ~]# cat /www//htdoc/index.html &lt;h1&gt;This is node1 !&lt;/h1&gt;[root@node1 ~]# servicehttpd start[root@node2 ~]# rpm -q httpdhttpd-2.2.15-45.el6.centos.x86_64[root@node2 ~]# cat /www//htdoc/index.html &lt;h1&gt;This is node2 !&lt;/h1&gt;[root@node2 ~]# service httpd start5、安装LNMP动态站点并提供测试页如何安装LNMP这里就不列举说明了，下面提供测试页：[root@hpf-linux ~]# cat /www//index.php&lt;h1&gt;This is LNMP:node3 !&lt;/h1&gt;&lt;?php phpinfo();?&gt;6、查看各节点的服务是否启动[root@proxy htdoc]# curl http://192.168.1.9&lt;h1&gt;This is node1 !&lt;/h1&gt;[root@proxy htdoc]# curl http://192.168.1.10&lt;h1&gt;This is node2 !&lt;/h1&gt;[root@proxy htdoc]# curl http://192.168.1.6 |head % Total % Received % Xferd A verage Speed Time Time Time Current Dload Upload Total Spent Left Speed100 75128 0 75128 0 0 1044k 0 --:--:-- --:--:-- --:--:-- 1063k&lt;h1&gt;This is LNMP:node3 !&lt;/h1&gt;三、安装并配置Haproxy1、在HA1节点安装haproxy并提供配置文件[root@proxy ~]# rpm -q haproxyhaproxy-1.5.4-2.el6_7.1.x86_64[root@proxy ~]# cat /etc/haproxy/haproxy.cfgglobal log 127.0.0.1 local0 #日志配置，所有日志都记录在本地,通过local0输出log 127.0.0.1 local1 notice maxconn 25600 #最大连接数chroot /usr/share/haproxy #改变Haproxy的工作目录uid 99 #用户的UID gid 99 #用户的GID nbproc 1 #进程数据(可以设置多个) daemon #以后台守护进程方式运行Haproxy #debug #是否开启调试defaults log global mode http #默认使用协议,可以为{http|tcp|health} http:是七层协议tcp:是四层health：只返回OK option httplog #详细记录http日志option dontlognull #不记录健康检查的日志信息retries 3 #3次连接失败则认为服务不可用option redispatch #ServerID对应的服务器宕机后，强制定向到其他运行正常的服务器maxconn 30000 #默认的最大连接数# contimeout 5000 #连接超时# clitimeout 5000 #客户端超时# srvtimeout 5000 #服务器超时timeout check 1s #心跳检测超时timeout http-request 10s #默认http请求超时时间timeout queue 1m #默认队列超时时间timeout connect 10s #默认连接超时时间timeout client 1m #默认客户端超时时间timeout server 1m #默认服务器超时时间timeout http-keep-alive 10s #默认持久连接超时时间listen stats mode http bind 0.0.0.0:8090 #指定IP地址与Port stats enable #开启Haproxy统计状态stats refresh 3s #统计页面自动刷新时间间隔stats hide-version #状态页面不显示版本号stats uri /haproxyadmin?stats #统计页面的uri为”/haproxyadmin?stats” stats realm Haproxy\ Statistics #统计页面认证时提示内容信息stats auth admin:admin #统计页面的用户名与密码stats admin if TRUE #启用或禁用状态页面frontend allen #定义前端服务器bind *:80 mode http option httpclose #每次请求完成主动关闭http连接option forwardfor #后端服务器获取客户端的IP地址，可以从http header中获取acl url_static path_end -i.html .jpg .gif #定义ACL规则以如”.html”结尾的文件；-i：忽略大小写acl url_dynamic path_end -i .php default_backend webservers #客户端访问时默认调用后端服务器地址池use_backend lamp if url_dynamic #调用后端服务器并检查ACL规则是否被匹配backend webservers#定义后端服务器balance roundrobin #定义算法;基于权重进行轮询server node1 192.168.1.9:80 check rise 2 fall 1 weight 2 server node2 192.168.1.10:80 check rise 2 fall 1 weight 2backend lamp balance source #定义算法;源地址hash运算；类似于Nginx的ip_hash server lamp 192.168.1.6:80 check rise 2 fall 1#####注释：check:启动对后端server的健康状态检测；rise：离线的server转换到正常状态成功检查的次数；fall:确认server从正常状态转换为不可用状态需要检查的次数；weight：权重，数量越大，超重越高从新载入文件：[root@proxy ~]# service haproxy restart浏览器测试：2、在HA2服务器上安装Haproxy；这里就不在介绍了，安装与配置方法与在HA1服务器上安装相同。

Keepalived原理与实战精讲gotop&FinalBSD什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是保持在线了，也就是所谓的高可用或热备，用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生，那说到keepalived时不得不说的一个协议就是VRRP协议，可以说这个协议就是keepalived实现的基础，那么首先我们来看看VRRP协议注：搞运维的要有足够的耐心哦，不理解协议就很难透彻的掌握keepalived的了一，VRRP协议VRRP协议学过网络的朋友都知道，网络在设计的时候必须考虑到冗余容灾，包括线路冗余，设备冗余等，防止网络存在单点故障，那在路由器或三层交换机处实现冗余就显得尤为重要，在网络里面有个协议就是来做这事的，这个协议就是VRRP协议，Keepalived就是巧用VRRP协议来实现高可用性(HA)的VRRP协议有一篇文章写的非常好，大家可以直接看这里(记得认真看看哦，后面基本都已这个为基础的了)帖子地址：/thread-790-1-1.html只需要把服务器当作路由器即可！在《VRRP协议》里讲到了虚拟路由器的ID也就是VRID在这里比较重要keepalived完全遵守VRRP协议，包括竞选机制等等二，Keepalived原理Keepalived原理keepalived也是模块化设计，不同模块复杂不同的功能，下面是keepalived的组件core check vrrp libipfwc libipvs-2.4 libipvs-2.6core：是keepalived的核心，复杂主进程的启动和维护，全局配置文件的加载解析等check：负责healthchecker(健康检查)，包括了各种健康检查方式，以及对应的配置的解析包括LVS的配置解析vrrp：VRRPD子进程，VRRPD子进程就是来实现VRRP协议的libipfwc：iptables(ipchains)库，配置LVS会用到libipvs*：配置LVS会用到注意，keepalived和LVS完全是两码事，只不过他们各负其责相互配合而已keepalived启动后会有三个进程父进程：内存管理，子进程管理等等子进程：VRRP子进程子进程：healthchecker子进程有图可知，两个子进程都被系统WatchDog看管，两个子进程各自复杂自己的事，healthchecker子进程复杂检查各自服务器的健康程度，例如HTTP，LVS等等，如果healthchecker子进程检查到MASTER上服务不可用了，就会通知本机上的兄弟VRRP子进程，让他删除通告，并且去掉虚拟IP，转换为BACKUP状态三，Keepalived配置文件详解keepalived配置详解keepalived有三类配置区域(姑且就叫区域吧)，注意不是三种配置文件，是一个配置文件里面三种不同类别的配置区域全局配置(Global Configuration)VRRPD配置LVS配置一，全局配置全局配置又包括两个子配置：全局定义(global definition)静态路由配置(static ipaddress/routes)1，全局定义(global definition)配置范例1.global_defs2.{3.notification_email4.{5.admin@6.}7.notification_email_from admin@8.smtp_server 127.0.0.19.stmp_connect_timeout 3010.router_id node111.}复制代码全局配置解析global_defs全局配置标识，表面这个区域{}是全局配置1.notification_email2.3.{4.5.admin@6.admin@7.8.}复制代码表示keepalived在发生诸如切换操作时需要发送email通知，以及email发送给哪些邮件地址，邮件地址可以多个，每行一个notification_email_from admin@表示发送通知邮件时邮件源地址是谁smtp_server 127.0.0.1表示发送email时使用的smtp服务器地址，这里可以用本地的sendmail来实现smtp_connect_timeout 30连接smtp连接超时时间router_id node1机器标识2，静态地址和路由配置范例1.static_ipaddress2.{3.192.168.1.1/24 brd + dev eth0 scope global4.192.168.1.2/24 brd + dev eth1 scope global5.}6.static_routes7.{8.src $SRC_IP to $DST_IP dev $SRC_DEVICE9.src $SRC_IP to $DST_IP via $GW dev $SRC_DEVICE10.}复制代码这里实际上和系统里面命令配置IP地址和路由一样例如：192.168.1.1/24 brd + dev eth0 scope global 相当于: ip addr add 192.168.1.1/24 brd + dev eth0 scope global 就是给eth0配置IP地址路由同理一般这个区域不需要配置这里实际上就是给服务器配置真实的IP地址和路由的，在复杂的环境下可能需要配置，一般不会用这个来配置，我们可以直接用vi /etc/sysconfig/network-script/ifcfg-eth1来配置，切记这里可不是VIP哦，不要搞混淆了，切记切记！二，VRRPD配置VRRPD配置包括三个类VRRP同步组(synchroization group)VRRP实例(VRRP Instance)VRRP脚本1，VRRP同步组(synchroization group)配置范例1.vrrp_sync_group VG_1 {2.group {3.http4.mysql5.}6.notify_master /path/to/to_master.sh7.notify_backup /path_to/to_backup.sh8.notify_fault "/path/fault.sh VG_1"9.notify /path/to/notify.sh10.smtp_alert11.}复制代码其中：1.group {2.http3.mysql4.}复制代码http和mysql是实例名和下面的实例名一致1.notify_master /path/to/to_master.sh：表示当切换到master状态时，要执行的脚本2.3.notify_backup /path_to/to_backup.sh：表示当切换到backup状态时，要执行的脚本4.5.notify_fault "/path/fault.sh VG_1"复制代码notify /path/to/notify.sh：smtp alter表示切换时给global defs中定义的邮件地址发送右键通知2，VRRP实例(instance)配置范例1.vrrp_instance http {2.state MASTER3.interface eth04.dont_track_primary5.track_interface {6.eth07.eth18.}9.mcast_src_ip <IPADDR>10.garp_master_delay 1011.virtual_router_id 5112.priority 10013.advert_int 114.authentication {15.auth_type PASS16.autp_pass 123417.}18.virtual_ipaddress {19.#<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPT> label <LABEL>20.192.168.200.17/24 dev eth121.192.168.200.18/24 dev eth2 label eth2:122.}23.virtual_routes {24.# src <IPADDR> [to] <IPADDR>/<MASK> via|gw <IPADDR> dev <STRING> scope <SCOPE> tab25.src 192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth126.192.168.110.0/24 via 192.168.200.254 dev eth127.192.168.111.0/24 dev eth228.192.168.112.0/24 via 192.168.100.25429.}30.nopreempt31.preemtp_delay 30032.debug33.}复制代码state：state指定instance(Initial)的初始状态，就是说在配置好后，这台服务器的初始状态就是这里指定的，但这里指定的不算，还是得要通过竞选通过优先级来确定，里如果这里设置为master，但如若他的优先级不及另外一台，那么这台在发送通告时，会发送自己的优先级，另外一台发现优先级不如自己的高，那么他会就回抢占为masterinterface：实例绑定的网卡，因为在配置虚拟IP的时候必须是在已有的网卡上添加的dont track primary：忽略VRRP的interface错误track interface：跟踪接口，设置额外的监控，里面任意一块网卡出现问题，都会进入故障(FAULT)状态，例如，用nginx 做均衡器的时候，内网必须正常工作，如果内网出问题了，这个均衡器也就无法运作了，所以必须对内外网同时做健康检查mcast src ip：发送多播数据包时的源IP地址，这里注意了，这里实际上就是在那个地址上发送VRRP通告，这个非常重要，一定要选择稳定的网卡端口来发送，这里相当于heartbeat的心跳端口，如果没有设置那么就用默认的绑定的网卡的IP，也就是interface指定的IP地址garp master delay：在切换到master状态后，延迟进行免费的ARP(gratuitous ARP)请求virtual router id：这里设置VRID，这里非常重要，相同的VRID为一个组，他将决定多播的MAC地址priority 100：设置本节点的优先级，优先级高的为masteradvert int：检查间隔，默认为1秒virtual ipaddress：这里设置的就是VIP，也就是虚拟IP地址，他随着state的变化而增加删除，当state为master 的时候就添加，当state为backup的时候删除，这里主要是有优先级来决定的，和state设置的值没有多大关系，这里可以设置多个IP地址virtual routes：原理和virtual ipaddress一样，只不过这里是增加和删除路由lvs sync daemon interface：lvs syncd绑定的网卡authentication：这里设置认证auth type：认证方式，可以是PASS或AH两种认证方式auth pass：认证密码nopreempt：设置不抢占，这里只能设置在state为backup的节点上，而且这个节点的优先级必须别另外的高preempt delay：抢占延迟debug：debug级别notify master：和sync group这里设置的含义一样，可以单独设置，例如不同的实例通知不同的管理人员，http实例发给网站管理员，mysql的就发邮件给DBA3，VRRP脚本1.vrrp_script check_running {2. script "/usr/local/bin/check_running"3. interval 104. weight 105.}6.7.vrrp_instance http {8. state BACKUP9. smtp_alert10. interface eth011. virtual_router_id 10112. priority 9013. advert_int 314. authentication {15. auth_type PASS16. auth_pass whatever17. }18. virtual_ipaddress {19. 1.1.1.120. }21. track_script {22. check_running weight 2023. }24.}复制代码首先在vrrp_script区域定义脚本名字和脚本执行的间隔和脚本执行的优先级变更vrrp_script check_running {script "/usr/local/bin/check_running"interval 10 #脚本执行间隔weight 10 #脚本结果导致的优先级变更：10表示优先级+10；-10则表示优先级-10}然后在实例(vrrp_instance)里面引用，有点类似脚本里面的函数引用一样：先定义，后引用函数名track_script {check_running weight 20}注意：VRRP脚本(vrrp_script)和VRRP实例(vrrp_instance)属于同一个级别LVS配置如果你没有配置LVS+keepalived那么无需配置这段区域，里如果你用的是nginx来代替LVS，这无限配置这款，这里的LVS配置是专门为keepalived+LVS集成准备的。