一．体系架构

在Keepalived + Nginx高可用负载均衡架构中，keepalived负责实现High-availability (HA) 功能控制前端机VIP（虚拟网络地址），当有设备发生故障时，热备服务器可以瞬间将VIP自动切换过来，实际运行中体验只有2秒钟切换时间，DNS服务可以负责前端VIP的负载均衡。

nginx负责控制后端web服务器的负载均衡，将客户端的请求按照一定的算法转发给后端Real Server处理，而Real Server将响应直接返回给客户端。

应用架构拓扑图

二. 优点

1.实现了可弹性化的架构，在压力增大的时候可以临时添加web服务器添加到这个架构里面去;

2.upstream具有负载均衡能力，可以自动判断后端的机器，并且自动踢出不能正常提供服务的机器；

3.相对于lvs而言，正则分发和重定向更为灵活。而Keepalvied可保证单个nginx负载均衡器的有效性，避免单点故障；

4.用nginx做负载均衡，无需对后端的机器做任何改动。

5.nginx部署在docker容器里，即大量地节约开发、测试、部署的时间，又可以在出现故障时通过镜像快速恢复业务。

三. 系统环境

两台负载机器安装：centos7.2+docker+nginx+keepalived，分别命名为：NGINX_MASTER，NGINX_BACKUP。

后端web服务器，可以是提供web服务的任何架构，分别命名为：WEB_1，WEB_2。

后端数据库机器可任意架构，只要能提供数据库服务即可。

服务器 操作系统 IP地址 安装软件

NGINX_MASTER Centos 7.2 64位 10.141.1.32 docker+nginx+keepalived

NGINX_BACKUP Centos 7.2 64位 10.141.9.2 docker+nginx+keepalived

WEB_1 Centos 7.2 64位 10.141.3.73 docker+web

WEB_2 Centos 7.2 64位 10.141.26.218 docker+web

虚拟IP 10.141.1.33

四. 搭建环境

1. 主机准备

全部主机执行命令

setenforce 0 #关闭selinux

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

systemctl stop firewalld #关闭防火墙

systemctl stop iptables #关闭iptables

2. docker安装(全部主机执行命令)

a. 在线安装

参考: (https://docs.docker.com/install/linux/docker-ce/centos/#uninstall-old-versions)

yum install docker

b. 离线二进制安装：

参考：(https://www.jianshu.com/p/46b9a351f749)

3. 准备web服务器

a. 启动服务

web1和web2执行，这里使用python启动一个simplehttpserver

touch 123.txt #在web1执行
touch 456.txt #在web2执行
python -m SimpleHTTPserver #web1,web2都执行

b. 检查

curl 10.141.3.73:8000 #返回123.txt

curl 10.141.26.218:8000 #返回456.txt

4. 安装nginx进行负载均衡，在master和backup执行

a. 拉镜像

docker pull nginx

b. vim nginx.conf ，增加 upstream和server

user nginx;
worker_processes 1;
error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
 worker_connections 1024;
}
http {
 include /etc/nginx/mime.types;
 default_type application/octet-stream;
 log_format main '$remote_addr - $remote_user [$time_local] "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';
 access_log /var/log/nginx/access.log main;
 upstream linuxidc { 
 server 10.141.3.73:8000; 
 server 10.141.26.218:8000; 
 }
 server {
 listen 80;
 server_name localhost;
 location / {
 root html;
 index index.html index.htm;
 proxy_pass http://linuxidc;
 }
 }
 sendfile on;
 #tcp_nopush on;
 keepalive_timeout 65;
 #gzip on;
 include /etc/nginx/conf.d/*.conf;
}

c. 启动nginx

docker run -it -d -p 80:80 -v /${PWD}/nginx.conf:/etc/nginx/nginx.conf nginx

d. 验证

curl localhost #返回123.txt 或者返回456.txt

5. 搭建keepalived进行热备（在master和backup执行）

a. 安装keepalived

yum install -y keepalived
systemctl start keepalived
systemctl enable keepalived

b. 修改配置文件/etc/keepalived/keepalived.conf

这里使用的是单播模式，解决脑裂问题，云主机（比如阿里云，腾讯云。亚信云等）需要单独申请VIP并绑定主机，否则不能访问VIP

! Configuration File for keepalived

global_defs {

notification_email {

acassen@firewall.loc

failover@firewall.loc

sysadmin@firewall.loc

}

notification_email_from Alexandre.Cassen@firewall.loc

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id LVS_DEVEL

vrrp_skip_check_adv_addr

#vrrp_strict #单播模式要注释掉

vrrp_garp_interval 0

vrrp_gna_interval 0

}

vrrp_script chk_port { #检测服务是否在运行。有很多方式，比如进程，用脚本检测等等

script "/root/chk_server.sh" #这里通过脚本监测

interval 2 #脚本执行间隔，每2s检测一次

weight -10 #脚本结果导致的优先级变更，检测失败（脚本返回非0）则优先级 -10

fall 2 #检测连续2次失败才算确定是真失败。会用weight减少优先级（1-255之间）

rise 1 #检测1次成功就算成功。但不修改优先级

}

vrrp_instance VI_1 {

state MASTER #backup主机填写BACKUP

unicast_src_ip 10.141.1.32 #写本机地址

unicast_peer {

10.141.9.2 #填写另外一台keepalived主机地址

}

interface eth0 #网卡

virtual_router_id 58 #默认51，可以换一个地址，避免冲突，主备id要一样

priority 100 #权重，backup修改为95,检查失败后优先级变90，低于95会将vip转移到slave

advert_int 1

authentication {

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

10.141.1.33 #虚拟ip

}

track_script {

chk_port

}

}

chk_server.sh脚本

counter=$(netstat -na|grep "LISTEN"|grep "80"|wc -l)

if [ "${counter}" -eq 0 ]; then

exit 0

fi

c. 验证

systemctl restart keepalived

ip a查看master中绑定VIP，backup没有绑定

master上执行systemctl stop keepalived，可以发现VIP漂流到backup上

curl 10.141.1.33 #返回结果为123.txt或者456.txt