负载均衡与keepalived高可用

1. ✅负载均衡处理用户的流程处理静态资源用户 -- |bdns解析 -- 域名 --- lb ip上.通过三次握手与负载均衡80端口建立连接.发出http请求报文:GETURI,Host头信息,UA.到达负载均衡lb,80端口,http区域,server区域多个server请求的Host信息与80端口server的server_name进行匹配匹配成功对应站点处理,失败默认或按顺序处理.location/ proxy_pass转发,转发到对应的分组中或ip.proxy_pass的时候,带上Host头记录域名,XFF头,XRI记录ip.lb -- web三次握手,与web80端口.发出http请求,GETURI,Host头信息,UA,XFF头,XRI记录ip.到达web服务器,80端口,与nginx,http区域 server匹配根据请求的Host头与80端口的server中server_name 匹配匹配成功对应站点处理,失败默认或按顺序处理.对应的站点处理,静态站点目录uri直接返回给用户web --- lbIb --- 用户用户拿到http响应.处理动态资源用户 -- 负载均衡lbdns解析 -- 域名 --- 负载均衡lb ip上.三次握手与负载均衡80端口建立连接.发出http请求报文:GET/POSTURI,Host头信息,UA.到达负载均衡lb,80端口,与nginx,http区域 server匹配.根据请求的Host信息与80端口server的server_name进行匹配匹配成功对应站点处理,失败默认或按顺序处理.location/ proxy_pass转发,转发到对应的分组中或ip.proxy_pass的时候,带上Host头记录域名,XFF头,XRI记录ip.Ib -- web三次握手,与web80端口.发出http请求,GETURI,Host头信息,UA,XFF头,XRI记录ip.到达web服务器,80端口,与nginx,http区域 server匹配根据请求的Host头与80端口的server中server_name 匹配匹配成功对应站点处理,失败默认或按顺序处理.对应的站点处理转发给9000端口,带着php页面绝对路径(站点目录uri)php处理:解析运行php文件.php -- ngx:处理结果.web --- lb 请求web -- lbIb --- 用户用户拿到http响应.2. ✅负载均衡轮询算法算法说明应用轮询rr轮询nginx默认算法加权轮询wrr轮询通过修改权重让服务器增加或减少请求ip哈希ip_hash对客户端ip地址进行hash计算只要ip地址一样就会访问相同的web节点容易负载不均可以解决会话保持(登录保持)问题url哈希url_hash对客户端请求的url进行哈希访问相同的url就会访问相同的web节点缓存服务器最小连接数least_conn动态算法根据连接情况转发哪台web连接数最小就发给哪台最小连接时间least_time动态算法根据连接情况转发哪台web响应快就转发给哪台一致性哈希算法hast $remote_addr consistent;ip_hash的加强版智能版本增加或减少web节点原来的客户端还会访问相同的web节点2.1. ☀️加权轮询通过修改权重让服务器增加或减少请求upstream lb_pools { server 10.0.0.7:80 weight3; server 10.0.0.8:80 weight1; } server { listen 80; server_name lb.zbl.cn; #error_log #access_log location / { proxy_pass http://lb_pools; proxy_set_header Host $http_host; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Real-Ip $remote_addr; } }2.2. ip哈希对客户端ip地址进行hash计算只要ip地址一样就会访问相同的web节点upstream lb_pools { ip_hash; server 10.0.0.7:80 weight3; server 10.0.0.8:80 weight1; }2.3. url哈希upstream lb_pools { hash $request_uri; server 10.0.0.7:80 weight3; server 10.0.0.8:80 weight1; }3. 负载均衡模块指令补充upstream中server中指令说明weight权重max_fails认为这个节点无法访问失败次数默认是1可以设置3次左右即可fail_timeout默认是10秒失败后10s后再次测试backup备用节点其他所有节点挂了才会启动雪崩某个机器挂了导致其他机器也跟着挂了4. ✅HA高可用服务4.1. 概述高可用:HA HighAvailablity --keepalivedkeepalived生成vip虚拟ipdns解析到这个vip地址即可选型说明keepalived活着高可用软件负载使用一些不涉及数据服务起初开发出来是给lvs.heartbeat心跳 高可用软件涉及数据库存储数据相关可以用heartbeat drbd商业高可用软件RoseHA...略...4.2. 原理keepalived是基于VRRP协议实现高可用.VRRP虚拟路由冗余协议最开始是给网络设备实现高可用目前keepalive实现vrrp协议通过vrrp实现高可用.分为主备一般是2个节点主备之间通过vrrp协议发送数据包沟通.主给备定期发送数据包备收到数据包表示主还活着备无法收到数据包表示主挂了备接管用户请求流量.vrrp协议使用组播的ip 224.xx.xx.xx4.3. 急速上手指南高可用环境准备需要安装的服务lb01nginxkeepalivedlb02nginxkeepalived4.4. keepalived配置文件详解! Configuration File for keepalived #全局定义部分 global_defs { #每一个keepalived的名字,当前网络中唯一. router_id lb01 } #vrrp实例配置部分 用于配置VIP 设置主备 virtual_ipaddress #vrrp设置名字. #vrrp实例名字 在同1对主备之间要一致. 在当前keepalived软件中唯一. vrrp_instance vip_3 { #主/备 MASTER主 BACKUP备 大写 state MASTER #指定网卡网卡 interface ens33 #同1对主备之间这个id要一致. virtual_router_id 51 #优先级 数字越大优先级越高 设置建议: 主备 100 50 相差50 priority 100 #心跳间隔 多久发送一次vrrp数据包 advert_int 1 #授权与认证,保持默认即可. 对数据包加密. authentication { #简单认证 auth_type PASS #1111 auth_pass 1111 } #设置vip※※※※ virtual_ipaddress { #label 设置了别名 10.0.0.3 dev ens33 label ens33:0 } }4.5. 安装配置keepalived(主)yum -y install keepalived cp /etc/keepalived/keepalived.conf{,.bak} global_defs { router_id lb01 } vrrp_instance vip_3 { state MASTER interface ens33 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 10.0.0.3 dev ens33 label ens33:0 } }4.6. 安装配置keepalived(备)yum -y install keepalived cp /etc/keepalived/keepalived.conf{,.bak} global_defs { router_id lb02 } vrrp_instance vip_3 { state BACKUP interface ens33 virtual_router_id 51 priority 50 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 10.0.0.3 dev ens33 label ens33:0 } }4.7. 启动服务systemctl enable keepalived --now4.8. 验证keepalived每1秒发送心跳报文关闭主节点keepalived抓包看报文5. ✅nginxkeepalived高可用5.1. ✂️脑裂故障脑裂/裂脑现象主备都有vip原因备认为主挂了接管资源生成VIP实际上主没有挂仍有VIP开启防火墙selinuxkeepalived配置物理线路网络介质监控监控只要备节点有VIP就告警解决找个第三方机器在这个机器上执行ssh root10.0.0.6 hostname -I 检查是否存在VIP监控备节点只要有VIP远程控制主节点只要备节点认为主挂了就让他真的挂了只能设备监控脑裂或主备切换脚本在keepalived备节点执行监控脚本 脚本流程步骤 1.统计ip a | grep 10.0.0.3 | wc -l 2.判断如果等于1则发出警告邮件使用echo替代5.2. 案例: keepalived基于主机高可用软件问题keepalived只会在主机挂了网络断开后才会进行主备切换默认情况下keepalived不会监控某个服务项目目标某个服务关闭了keepalived就进行主备切换项目步骤书写脚本过滤服务进程数端口数量检查是否允许curl/wget然后在脚本中进行判断如果服务没有运行则关闭keepalived服务修改keepalived配置文件通过keepalived调用这个脚本监控nginx创建使用脚本函数在实例中调用5.3. 自定义监控脚本注意脚本名字不要包含要监控的服务名字#!/bin/bash ############################################################## # File Name:check_lb.sh # Version:V1.0 # Author:zbl # Organization:zhubaolin.blog.csdn.net # Desc: ############################################################## #1.vars countps -ef | grep nginx | wc -l #2.stop keepalived if [ ${count} -eq 1 ];then systemctl stop keepalived fi添加执行权限chmod x /server/scripts/check_lb.sh5.4. keepalived调用监控脚本#/etc/keepalived/keepalived.conf global_defs { router_id lb01 } vrrp_script check_lb.sh { script /server/scripts/check_lb.sh interval 2 weight 1 user root } vrrp_instance vip_3 { state MASTER interface ens33 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 10.0.0.3 dev ens33 label ens33:0 } track_script { check_lb.sh } }重启服务systemctl restart keepalived5.5. 验证关闭nginx验证是否自动关闭keepalived6. ✅wordpress接入负载均衡6.1. 将博客域名host解析到VIP地址10.0.0.3 blog.zbl.cn