Loading... <p style="text-indent: 2em"><strong>前言</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em">LVS(Linux Virtual Server)Linux虚拟服务器,是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一。通过LVS提供的负载均衡技术和Linux操作系统可实现一个高性能、高可用的服务器群集,从而以低成本实现最优的服务性能。</p> <p style="text-indent: 2em"><strong>集群基础</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em"><strong>集群简介</strong></p> <p style="text-indent: 2em">集群(Cluster)是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。集群系统的主要优点:高可扩展性、高可用性、高性能、高性价比。</p> <p style="text-indent: 2em"><strong>集群类型</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em">LB:Load Balancing 高可拓展,伸缩集群</p> <p style="text-indent: 2em">HA:High Availability 高可用集群</p> <p style="text-indent: 2em">HP:High Performance 高性能集群</p> <p style="text-indent: 2em"><strong>集群方案</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em">LB:</p> <p style="text-indent: 2em"> 硬件级:F5 BIG-IP、Citrix Netscaler、 A10 A10、Array、Redware</p> <p style="text-indent: 2em"> 软件级:lvs (传输层)、haproxy, nginx (应用层)</p> <p style="text-indent: 2em">HA:<br style="text-indent: 2em" /></p> </p> <p style="text-indent: 2em"> heartbeat 、corosync + pacemaker、 cman + rgmanager、cman + pacemaker、keepalived</p> <p style="text-indent: 2em">HP:</p> <p style="text-indent: 2em"> hadoop</p> <p style="text-indent: 2em"><strong>LVS详解</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em"><strong>LVS组成</strong><br style="text-indent: 2em" /></p> </p> <p style="text-indent: 2em">ipvsadm:用于管理集群服务的命令行工具,工作于Linux系统中的用户空间。</p> <p style="text-indent: 2em">ipvs:为lvs提供服务的内核模块,工作于内核空间 </p> <p style="text-indent: 2em"><strong>LVS术语</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em">VIP:Director用来向外部提供服务的IP地址,也就是DNS通过域名解析到的IP</p> <p style="text-indent: 2em">RIP:集群节点(后台真正提供服务的服务器)所使用的IP地址</p> <p style="text-indent: 2em">DIP:Director用来和RIP进行交互的IP地址</p> <p style="text-indent: 2em">CIP:客户端使用的IP或公网IP</p> <p style="text-indent: 2em">RS:集群节点服务器Real server</p> <p style="text-indent: 2em"><strong>LVS类型</strong></p> <p style="text-indent: 2em">LVS-NAT:Network Address Translation 网络地址转换</p> <p style="text-indent: 2em">LVS-DR:Direct Routing 直连路由</p> <p style="text-indent: 2em">LVS-TUN:Tunneling 隧道</p> <p style="text-indent: 2em"><strong>LVS各类型特性</strong><br style="text-indent: 2em" /></p> </p> <p style="text-indent: 2em">NAT类型的特性:</p> <p style="text-indent: 2em">①RS应用使用私有地址,RS的网关必须指向DIP</p> <p style="text-indent: 2em">②请求和响应都要经过Director,高负载场景中,Director易成为性能瓶颈</p> <p style="text-indent: 2em">③支持端口映射</p> <p style="text-indent: 2em">④RS可以使用任意OS</p> </p> <p style="text-indent: 2em">DR类型的特性:</p> <p style="text-indent: 2em">①保证前端路由将目标地址为VIP的报文统统发往Directory,而不能是RS</p> <p style="text-indent: 2em">解决方案:</p> <p style="text-indent: 2em">(1) 静态地址绑定:在前端路由器上操作</p> <p style="text-indent: 2em">前提:必须要有路由操作权限</p> <p style="text-indent: 2em">(2) aprtables</p> <p style="text-indent: 2em">(3) 修改RS上内核参数,将RS上的VIP配置在lo接口的别名上,并限制其不能响应对VIP地址解析请求</p> <p style="text-indent: 2em">②RS可以使用私有地址,但也可以使用公网地址,此时可通过互联网通过RIP对其直接访问</p> <p style="text-indent: 2em">③RS跟Directory必须在同一物理网络中</p> <p style="text-indent: 2em">④请求报文经由Director,但响应报文必须不能经过Director</p> <p style="text-indent: 2em">⑤不支持端口映射</p> <p style="text-indent: 2em">⑥RS可以是大多数常见的OS</p> <p style="text-indent: 2em">⑦RS的网关绝不允许指向DIP</p> </p> <p style="text-indent: 2em">TUN类型的特性:</p> <p style="text-indent: 2em">①RIP、VIP、DIP全部是公网地址</p> <p style="text-indent: 2em">②RS的网关不会也不可能指向DIP</p> <p style="text-indent: 2em">③请求报文经由Director,但响应报文必须不能经过Director</p> <p style="text-indent: 2em">④不支持端口映射</p> <p style="text-indent: 2em">⑤RS的OS必须支持隧道功能</p> <p style="text-indent: 2em"><strong>LVS调度算法</strong></p> <p style="text-indent: 2em">静态方法:仅根据调度算法本身进行调度 </p> <pre class="brush:bash;toolbar:false">rr: round robin,轮流,轮询,轮叫 wrr: weighted round robin, 加权轮询 sh:source hashing,session绑定 dh: destination hashing, 目标地址hash</pre> <p style="text-indent: 2em">动态方法:根据算法及各RS当前的负载状况进行调度</p> <pre class="brush:bash;toolbar:false">lc: least connection,最少连接 wlc: weighted lc,加权最少连接 sed: shortest expection delay,最少期望延迟 nq: never queue,永不排队 lblc: Locality-Based Least Connection,基于局部性的最少连接 lblcr:Replicated lblc,基于局部性的带复制功能的最少连接</pre> <p style="text-indent: 2em"><strong>LVS配置(ipvsadm)</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em">命令格式<br style="text-indent: 2em" /></p> <pre class="brush:bash;toolbar:false">ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] ipvsadm -D -t|u|f service-address ipvsadm -C ipvsadm -R ipvsadm -S [-n] ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] [-x upper] [-y lower] ipvsadm -d -t|u|f service-address -r server-address ipvsadm -L|l [options] ipvsadm -Z [-t|u|f service-address] ipvsadm --set tcp tcpfin udp ipvsadm --start-daemon state [--mcast-interface interface] [--syncid syncid] ipvsadm --stop-daemon state ipvsadm -h</pre> <p style="text-indent: 2em">命令详解</p> <pre class="brush:bash;toolbar:false">定义集群服务: -A 添加一个集群服务 -D 删除一个集群服务 -E 修改一个集群服务 -t VIP:端口 定义集群服务的类型为TCP的某个端口 -u VIP:端口 定义集群服务的类型为UDP的某个端口 -f 防火墙标记 定义集群服务的类型为防火墙标记 -s 调度算法 指定集群服务的调度算法 定义集群节点: -a 添加一个节点到集群服务 -d 从集群服务中删除一个节点 -e 修改集群服务器中的节点 -r 节点IP:端口 定义节点的IP及类型 -m 定义为NAT模型 -g 定义为DR模型 -i 定义为TUN模型 -w 权重 定义服务器的权重 查看已经定义的集群服务及RS: ipvsadm -L -n -c: 查看各连接 --stats: 统计数据 --rate: 速率 --exact: 精确值 从集群服务中删除RS: ipvsadm -d -t|u|f service-address -r server-address 删除集群服务: ipvsadm -D -t|u|f service-address 清空所有的集群服务: ipvsadm -C 保存集群服务定义: ipvsadm -S > /path/to/some_rule_file ipvsadm-save > /path/to/some_rule_file 让规则文件中的规则生效: ipvsadm -R < /path/from/some_rule_file ipvsadm-restore < /path/from/some_rule_file</pre> <p style="text-indent: 2em"><strong>LVS-NAT模型</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180310-64.jpg" title="1432806434701926.jpg" alt="LVS-NAT.jpg" /></p> <p style="text-indent: 2em">配置过程<br style="text-indent: 2em" /></p> <pre class="brush:bash;toolbar:false">#以下实验都是临时性配置,若要永久生效,请自行配置 Real Server 1 #ifconfig eth0 172.16.10.100/16 up #route add default gw 172.16.10.12 Real Server 2 #ifconfig eth0 172.16.10.212/16 up #route add default gw 172.16.10.12 Director Server #ifconfig eth0 192.168.1.10/24 up #ifconfig eth1 172.16.10.12/16 up #yum -y install ipvsadm #echo 1 > /proc/sys/net/ipv4/ip_forward #ipvsadm -A -t 192.168.1.10:80 -s rr #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.100 -m #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.212 -m</pre> <p style="text-indent: 2em"><strong>LVS-DR模型</strong><br style="text-indent: 2em" /></p> <p style="text-indent: 2em">上面说了NAT模型的实现方式,但NAT模型有个缺陷,因为进出的每个数据包都要经过Director Server,当集群系统负载过大的时候Director Server将会成为整个集群系统的瓶颈,而DR模型就避免了这样的情况发生,DR模型在只有请求的时候才会经过Director Server, 回应的数据包由Real Server 直接响应用户不需要经过Director Server。<br style="text-indent: 2em" /></p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180310-63.jpg" title="1432806463110648.jpg" alt="LVS-DR.jpg" /></p> <p style="text-indent: 2em">配置过程</p> <pre class="brush:bash;toolbar:false">内核参数: arp_ignore: 定义接收到ARP请求时的响应级别 0:只要本地配置的有相应地址,就给予响应 1:仅在请求的目标地址配置请求到达的接口上的时候,才给予响应 arp_announce:定义将自己地址向外通告时的通告级别 0:将本地任何接口上的任何地址向外通告 1:试图仅向目标网络通告与其网络匹配的地址 2:仅向与本地接口上地址匹配的网络进行通告</pre> <pre class="brush:bash;toolbar:false">Real Server 1 #ifconfig eth0 172.16.10.100/16 up #echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce #ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up #route add -host 192.168.1.10 dev lo:0 Real Server 2 #ifconfig eth0 172.16.10.212/16 up #echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore #echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore #echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce #echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce #ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up #route add -host 192.168.1.10 dev lo:0 Director Server #ifconfig eth0 172.16.10.12/16 up #ifconfig eth0:0 192.168.1.10 netmask 255.255.255.255 broadcast 192.168.1.10 up #echo 1 > /proc/sys/net/ipv4/ip_forward #route add -host 192.168.1.10 dev eth0:0 #yum install ipvsadm -y #ipvsadm -A -t 192.168.1.10:80 -s rr #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.100 -g #ipvsadm -a -t 192.168.1.10:80 -r 172.16.10.212 -g</pre> <p style="text-indent: 2em"><strong>基于LVS实现web服务器负载均衡</strong></p> <p style="text-indent: 2em">实验拓扑</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-38.jpg" title="1432806487139117.jpg" alt="基于LVS实现web负载均衡.jpg" /></p> <p style="text-indent: 2em">环境介绍</p> <p style="text-indent: 2em">系统环境:CentOS6.6</p> <p style="text-indent: 2em">Director Server:192.168.1.10(VIP) 172.16.10.12(DIP) </p> <p style="text-indent: 2em">Real Server 1:192.168.1.10(VIP) 172.16.10.100(RIP )</p> <p style="text-indent: 2em">Real Server 2:192.168.1.10(VIP) 172.16.10.212(RIP ) </p> <p style="text-indent: 2em">PHP服务器:172.16.10.110 </p> <p style="text-indent: 2em">NFS服务器:172.16.10.110</p> <p style="text-indent: 2em">数据库服务器:172.16.10.211</p> <p style="text-indent: 2em">要求:web服务器上部署discuz,基于LVS实现负载均衡</p> <p style="text-indent: 2em">NFS服务器配置</p> <p style="text-indent: 2em">创建共享目录,并设置权限</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-89.jpg" title="1432806508793147.jpg" alt="1.jpg" /></p> <p style="text-indent: 2em">编辑配置文件,设置共享目录及客户端</p> <pre class="brush:bash;toolbar:false">[root@scholar ~]# vim /etc/exports /web/discuz 172.16.10.100(rw,sync) 172.16.10.212(rw,sync)</pre> <p style="text-indent: 2em">站点文件准备</p> <pre class="brush:bash;toolbar:false">[root@scholar ~]# unzip Discuz_7.2_FULL_SC_GBK.zip [root@scholar ~]# chmod -R 777 upload [root@scholar ~]# mv upload/* /web/discuz/ [root@scholar ~]# chown -R apache.apache /web/discuz</pre> <p style="text-indent: 2em">启动服务,设置开机自启</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-98.jpg" title="1432806526132592.jpg" alt="2.jpg" /></p> <p style="text-indent: 2em">数据库服务器配置</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-59.jpg" title="1432806544460922.jpg" alt="3.jpg" /></p> <p style="text-indent: 2em">RS1和RS2配置</p> <p style="text-indent: 2em">配置VIP</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-7.jpg" title="1432806562645699.jpg" alt="4.jpg" /></p> <p style="text-indent: 2em">配置虚拟主机</p> <pre class="brush:bash;toolbar:false">[root@RS1 ~]# vim /etc/httpd24/extra/httpd-vhosts.conf <VirtualHost *:80> DocumentRoot "/web/discuz" ProxyRequests Off ProxyPassMatch ^/(.*\.php)$ fcgi://172.16.10.110:9000/web/discuz/$1 </VirtualHost></pre> <p style="text-indent: 2em">挂载共享目录</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-83.jpg" title="1432806581395256.jpg" alt="5.jpg" /></p> <pre class="brush:bash;toolbar:false">#可设置开机自动挂载 [root@scholar ~]# vim /etc/fstab 172.16.10.110:/web/discuz /web/discuz nfs defaults,_netdev 0 0</pre> <p style="text-indent: 2em">检查语法,启动服务<br style="text-indent: 2em" /></p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-100.jpg" title="1432806606253427.jpg" alt="6.jpg" /></p> <p style="text-indent: 2em">Director Server配置</p> <p style="text-indent: 2em">配置VIP</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-16.jpg" title="1432806624661613.jpg" alt="7.jpg" /></p> <p style="text-indent: 2em">定义集群</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-73.jpg" title="1432806647989976.jpg" alt="8.jpg" /></p> <p style="text-indent: 2em">安装测试及访问测试<br style="text-indent: 2em" /></p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-15.jpg" title="1432806668219777.jpg" alt="9.jpg" /></p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-66.jpg" title="1432806701654411.jpg" alt="10.jpg" /></p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-66-1.jpg" title="1432806721619783.jpg" alt="11.jpg" /></p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-17.png" title="1432806867784333.png" alt="12.png" /></p> <p style="text-indent: 2em">安装完成,我们来发一个帖子测试一下</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-9.jpg" title="1432806895115638.jpg" alt="13.jpg" /></p> <p style="text-indent: 2em">过一会儿,刷新一下页面</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-16-1.jpg" title="1432806917592168.jpg" alt="14.jpg" /></p> <p style="text-indent: 2em">此过程中是否实现了负载均衡,我们在Director Server上查看一下是哪台服务器响应的请求就知道了</p> <p style="text-indent: 2em"><img src="//cto.wang/usr/uploads/2016/07/20160703180311-86.jpg" title="1432806954981906.jpg" alt="15.jpg" /></p> <p style="text-indent: 2em">由此可见,基于LVS实现web服务器的负载均衡功能已完成</p> <p style="text-indent: 2em"><strong>The end</strong></p> <p style="text-indent: 2em">OK,基于LVS的负载均衡就说到这里了,负载均衡集群的配置还是比较简单的,几条命令就搞定了,不要因为简单看一眼就略过,只有理解原理结合实践才能真正掌握知识,配置过程中遇到问题可留言呦。以上仅为个人学习整理,如有错漏,大神勿喷~~~</p> <p></p> 最后修改:2021 年 12 月 10 日 10 : 53 AM © 允许规范转载 赞赏 如果觉得我的文章对你有用,请随意赞赏 赞赏作者 支付宝微信