配置HAProxy负载平衡集群

1.1 问题

准备三台Linux服务器,两台做Web服务器,一台安装HAProxy,实现如下功能:

  • 客户端访问HAProxy,HAProxy分发请求到后端Real Server
  • 要求HAProxy可以根据Cookie为客户端分配固定后端服务器
  • 开启HAProxy监控页面,及时查看调度器状态
  • 设置HAProxy为开机启动

1.2 方案

使用3台虚拟机,1台作为HAProxy调度器、2台作为Real Server、物理机作为客户端,拓扑结构如图-1所示。

图-1

1.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:配置后端Web服务器

1)配置两台Web服务器网络参数

[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.10
[root@web1 ~]# service network restart
[root@web1 ~]# iptables -F
[root@web1 ~]# service iptables save
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.2
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.10
[root@web2 ~]# service network restart
[root@web2 ~]# iptables -F
[root@web2 ~]# service iptables save

2)设置后端Web服务

[root@web1 ~]# yum -y install httpd
[root@web1 ~]# service httpd start
[root@web1 ~]# echo “192.168.0.1” > /var/www/html/index.html
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# service httpd start
[root@web2 ~]# echo “192.168.0.2” > /var/www/html/index.html

步骤二:部署HAProxy服务器

1)配置网络,安装软件

[root@haproxy ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=202.114.106.20
[root@haproxy ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.254
NETMASK=255.255.255.0
DNS1=202.106.0.20
[root@haproxy ~]# service network restart
[root@haproxy ~]# sed -i '/ip_forward/s/0/1/' sysctl.conf //开启路由转发
[root@haproxy ~]# sysctl -p
[root@haproxy ~]# yum -y install pcre pcre-devel
[root@haproxy ~]# tar xvzf haproxy-1.4..tar.gz
[root@haproxy ~]# cd haproxy-1.4.
[root@haproxy haproxy-1.4.]# uname -r
[root@haproxy haproxy-1.4.]# make TARGET=linux2628 \
> USE_PCRE= PREFIX=/usr/local/haproxy install
[root@haproxy haproxy-1.4.]# ln -s /usr/local/haproxy/sbin/haproxy \
> /usr/local/sbin/
[root@haproxy haproxy-1.4.]# cp examples/haproxy.cfg /etc/haproxy/haproxy.cfg
[root@haproxy haproxy-1.4.]# cp examples/haproxy.init /etc/init.d/haproxy
[root@haproxy haproxy-1.4.]# chmod +x /etc/init.d/haproxy

2)修改配置文件

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
global //全局设置
  log 127.0.0.1 local0 //日志输出配置
  maxconn //最大连接数
  chroot /usr/local/haproxy
  uid //所属运行的用户uid
  gid //所属运行的用户组
  daemon //以后台形式运行
  nbproc //启动2个haproxy实例
  pidfile /var/run/haproxy.pid
defaults //默认设置
  log global
  mode http //默认采用http模式
  option httplog //日志类别
  retries //3次连接失败认为服务器不可用
  option redispatch //当serverid对应的服务器挂掉后,
//强制定向到其他健康服务器
  stats uri /haproxy-admin //设置监控,用于打开状态的url
  stats hide-version                    //隐藏haproxy版本号
  contimeout //连接超时时间
  clitimeout //客户端连接超时时间
  srvtimeout //服务器端连接超时时间
listen websrv-rewrite 0.0.0.0:80  //把frontend和backend结合到一起的完整声明
  cookie SERVERID rewrite
  balance roundrobin
  server app1_1 192.168.0.1: cookie app1inst1 check inter rise fall
  server app1_2 192.168.0.2: cookie app1inst2 check inter rise fall

3)启动服务器并设置开机启动

[root@haproxy ~]# haproxy -f /etc/haproxy/haproxy.cfg
[root@haproxy ~]# chkconfig --add haproxy
[root@haproxy ~]# chkconfig haproxy on

步骤三:客户端验证

客户端配置与HAProxy相同网络的IP地址,并使用火狐浏览器访问http://202.114.106.20,测试调度器是否正常工作,客户端访问http://202.114.106.20/haproxy-admin测试状态监控页面是否正常。

2 Keepalived高可用服务器

2.1 问题

准备三台Linux服务器,两台做Web服务器,并部署Keepalived高可用软件,一台作为客户端主机,实现如下功能:

  • 使用Keepalived实现web服务器的高可用
  • Web服务器IP地址分别为172.16.0.10和172.16.0.20
  • Web服务器的漂移VIP地址为172.16.0.1
  • 客户端通过访问VIP地址访问Web页面

2.2 方案

使用3台虚拟机,2台作为Web服务器,并部署Keepalived、1台作为客户端,拓扑结构如图-2所示。

图-2

2.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:配置网络环境

1)设置Web服务器网络参数

[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.16.0.10
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web1 ~]# service NetworkManager stop
[root@web1 ~]# chkconfig NetworkManager off
[root@web1 ~]# service network restart
[root@web1 ~]# iptables -F;service iptables save
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.16.0.20
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web2 ~]# service NetworkManager stop
[root@web2 ~]# chkconfig NetworkManager off
[root@web2 ~]# service network restart
[root@web2 ~]# iptables -F;service iptables save

2)自定义Web页面

[root@web1 ~]# echo “172.16.0.10” > /var/www/html/index.html
[root@web2 ~]# echo “172.16.0.20” > /var/www/html/index.html

3)启动Web服务器软件

[root@web1 ~]# service httpd start
[root@web2 ~]# service httpd start

步骤二:安装Keepalived软件

注意:两台Web服务器做相同的操作。

[root@web1 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@web1 ~]# tar -xzf keepalived-1.2..tar.gz
[root@web1 ~]# cd keepalived-1.2.
[root@web1 keepalived-1.2.]# ./configure --sysconf=/etc
[root@web1 keepalived-1.2.]# make && make install
[root@web1 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@web1 keepalived-1.2.]# chkconfig keepalived on
[root@web2 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@web2 ~]# tar -xzf keepalived-1.2..tar.gz
[root@web2 ~]# cd keepalived-1.2.
[root@web2 keepalived-1.2.]# ./configure --sysconf=/etc
[root@web2 keepalived-1.2.]# make && make install
[root@web2 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@web2 keepalived-1.2.]# chkconfig keepalived on

步骤三:部署Keepalived服务

1)修改web1服务器Keepalived配置文件

[root@web1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
  notification_email {
    admin@linyouyi.com //设置报警收件人邮箱
  }
  notification_email_from ka@localhost //设置发件人
  smtp_server 127.0.0.1 //定义邮件服务器
  smtp_connect_timeout
  router_id web1 //设置路由ID号
}
vrrp_instance VI_1 {
  state MASTER //主服务器为MASTER
  interface eth0 //定义网络接口
  virtual_router_id //主辅VRID号必须一致
  priority //服务器优先级
  advert_int
  authentication {
    auth_type pass
    auth_pass forlvs //主辅服务器密码必须一致
  }
  virtual_ipaddress { 172.16.0.1 }
}

2)修改web2服务器Keepalived配置文件

[root@web1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
  notification_email {
    admin@linyouyi.com //设置报警收件人邮箱
  }
  notification_email_from ka@localhost //设置发件人
  smtp_server 127.0.0.1 //定义邮件服务器
  smtp_connect_timeout
  router_id web2 //设置路由ID号
}
vrrp_instance VI_1 {
  state SLAVE //从服务器为SLAVE
  interface eth0 //定义网络接口
  virtual_router_id //主辅VRID号必须一致
  priority //服务器优先级
  advert_int
  authentication {
    auth_type pass
    auth_pass forlvs //主辅服务器密码必须一致
  }
  virtual_ipaddress { 172.16.0.1 }
}

3)启动服务

[root@web1 ~]# service keepalived start
[root@web2 ~]# service keepalived start

步骤四:测试

1)登录两台Web服务器查看VIP信息

[root@web1 ~]# ip addr show
[root@web2 ~]# ip addr show

2) 客户端访问

客户端使用curl命令连接http://172.16.0.1,查看Web页面;关闭Web1服务器的网卡,客户端再次访问http://172.16.0.1,验证是否可以正常访问服务。

3 Keepalived+LVS服务器

3.1 问题

使用Keepalived为LVS调度器提供高可用功能,防止调度器单点故障,为用户提供Web服务:

  • 路由器对外公网IP地址为202.114.106.20
  • 路由器内网IP地址为192.168.0.254
  • 路由是需要设置SNAT及DNAT功能
  • LVS1调度器真实IP地址为192.168.0.10
  • LVS2调度器真实IP地址为192.168.0.20
  • 服务器VIP地址设置为192.168.0.253
  • 真实Web服务器地址分别为192.168.0.1、192.168.0.2
  • 使用加权轮询调度算法,真实服务器权重与其IP地址末尾数一致

3.2 方案

使用5台虚拟机,1台作为Linux路由器、2台作为LVS调度器、2台作为Real Server、物理机作为客户端,拓扑结构如图-2所示。

图-3

3.3 步骤

实现此案例需要按照如下步骤进行。

步骤一:配置网络环境

1)设置Web服务器网络参数

[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.1
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:
DEVICE=lo:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.253
NETMASK=255.255.255.255
[root@web1 ~]# vim /etc/sysctl.conf
.. ..
net.ipv4.conf.all.arp_ignore =
net.ipv4.conf.lo.arp_ignore =
net.ipv4.conf.lo.arp_announce =
net.ipv4.conf.all.arp_announce =
[root@web1 ~]# sysctl -p
[root@web1 ~]# service NetworkManager stop
[root@web1 ~]# chkconfig NetworkManager off
[root@web1 ~]# service network restart
[root@web1 ~]# iptables -F;service iptables save
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.2
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@web2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-lo:
DEVICE=lo:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.253
NETMASK=255.255.255.255
[root@web2 ~]# vim /etc/sysctl.conf
.. ..
net.ipv4.conf.all.arp_ignore =
net.ipv4.conf.lo.arp_ignore =
net.ipv4.conf.lo.arp_announce =
net.ipv4.conf.all.arp_announce =
[root@web2 ~]# sysctl -p
[root@web2 ~]# service NetworkManager stop
[root@web2 ~]# chkconfig NetworkManager off
[root@web2 ~]# service network restart
[root@web2 ~]# iptables -F;service iptables save

2)自定义Web页面

[root@web1 ~]# echo “192.168.0.1” > /var/www/html/index.html
[root@web2 ~]# echo “192.168.0.2” > /var/www/html/index.html

3)启动Web服务器软件

[root@web1 ~]# service httpd start;chkconfig httpd on
[root@web2 ~]# service httpd start;chkconfig httpd on

4)设置LVS调度器网络参数

[root@lvs1 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.10
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@lvs1 ~]# service NetworkManager stop
[root@lvs1 ~]# chkconfig NetworkManager off
[root@lvs1 ~]# service network restart
[root@lvs1 ~]# iptables -F;service iptables save
[root@lvs2 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.20
NETMASK=255.255.255.0
GATEWAY=192.168.0.254
DNS1=202.106.0.20
[root@lvs2 ~]# service NetworkManager stop
[root@lvs2 ~]# chkconfig NetworkManager off
[root@lvs2 ~]# service network restart
[root@lvs2 ~]# iptables -F;service iptables save

5)设置Linux路由器网络参数

[root@router ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=202.114.106.20
DNS1=202.106.0.20
[root@router ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.254
NETMASK=255.255.255.0
DNS1=202.106.0.20
[root@router ~]# service NetworkManager stop
[root@router ~]# chkconfig NetworkManager off
[root@router ~]# service network restart
[root@router ~]# iptables -F;service iptables save

6)设置Linux路由器的SNAT、DNAT功能

[root@router ~]# sed -i '/ip_forward/s/0/1/' sysctl.conf //开启路由转发
[root@router ~]# sysctl -p
[root@router ~]# iptables -t nat -A POSTROUTING -s 192.168.0.0/ -p tcp –j SNAT --to-source 202.114.106.20
[root@router ~]# iptables -t nat -A PREROUTING -d 202.114.106.20 -p tcp --dport –j DNAT --to-destination 192.168.0.253:
[root@router ~]# service iptables save

步骤二:调度器安装Keepalived与ipvsadm软件

注意:两台LVS调度器执行相同的操作。

安装软件

[root@lvs1 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@lvs1 ~]# tar -xzf keepalived-1.2..tar.gz
[root@lvs1 ~]# cd keepalived-1.2.
[root@lvs1 keepalived-1.2.]# ./configure --sysconf=/etc
[root@lvs1 keepalived-1.2.]# make && make install
[root@lvs1 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@lvs1 keepalived-1.2.]# chkconfig keepalived on
[root@lvs1 Pacages]# rpm –ihv ipvsadm-1.25-.el6.x86_64.rpm
[root@lvs2 ~]# yum install -y gcc kernel-devel openssl-devel popt-devel
[root@lvs2 ~]# tar -xzf keepalived-1.2..tar.gz
[root@lvs2 ~]# cd keepalived-1.2.
[root@lvs2 keepalived-1.2.]# ./configure --sysconf=/etc
[root@lvs2 keepalived-1.2.]# make && make install
[root@lvs2 keepalived-1.2.]# ln -s /usr/local/sbin/keepalived /sbin/
[root@lvs2 keepalived-1.2.]# chkconfig keepalived on
[root@lvs2 Pacages]# rpm –ihv ipvsadm-1.25-.el6.x86_64.rpm

步骤三:部署Keepalived实现LVS-DR模式调度器的高可用

1)LVS1调度器设置Keepalived,并启动服务

[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
  notification_email {
    admin@linyouyi.com //设置报警收件人邮箱
  }
  notification_email_from ka@localhost //设置发件人
  smtp_server 127.0.0.1 //定义邮件服务器
  smtp_connect_timeout
  router_id lvs1 //设置路由ID号
}
vrrp_instance VI_1 {
  state MASTER //主服务器为MASTER
  interface eth0 //定义网络接口
  virtual_router_id //主辅VRID号必须一致
  priority //服务器优先级
  advert_int
  authentication {
    auth_type pass
    auth_pass forlvs //主辅服务器密码必须一致
  }
  virtual_ipaddress { 192.168.0.253 }
}
virtual_server 192.168.0.253 { //设置VIP为192.168.0.253
  delay_loop
  lb_algo wrr //设置LVS调度算法为RR
  lb_kind DR //设置LVS的模式为DR
  persistence_timeout
  protocol TCP
  real_server 192.168.0.1 {
    weight //设置权重为1
    TCP_CHECK {
    connect_timeout
    nb_get_retry
    delay_before_retry
    }
  }
  real_server 192.168.0.2 {
    weight //设置权重为2
    TCP_CHECK {
    connect_timeout
    nb_get_retry
    delay_before_retry
    }
  }
}
[root@lvs1 ~]# service keepalived start
[root@lvs1 ~]# ipvsadm -Ln

2)LVS2调度器设置Keepalived

[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
global_defs {
  notification_email {
    admin@linyouyi.com //设置报警收件人邮箱
  }
  notification_email_from ka@localhost //设置发件人
  smtp_server 127.0.0.1 //定义邮件服务器
  smtp_connect_timeout
  router_id lvs2 //设置路由ID号
}
vrrp_instance VI_1 {
  state SLAVE //从服务器为SLAVE
  interface eth0 //定义网络接口
  virtual_router_id //主辅VRID号必须一致
  priority //服务器优先级
  advert_int
  authentication {
    auth_type pass
    auth_pass forlvs //主辅服务器密码必须一致
  }
  virtual_ipaddress { 192.168.0.253 }
}
virtual_server 192.168.0.253 { //设置VIP为192.168.0.253
  delay_loop
  lb_algo wrr //设置LVS调度算法为RR
  lb_kind DR //设置LVS的模式为DR
  persistence_timeout
  protocol TCP
  real_server 192.168.0.1 {
    weight //设置权重为1
    TCP_CHECK {
    connect_timeout
     nb_get_retry
    delay_before_retry
    }
  }
  real_server 192.168.0.2 {
    weight //设置权重为2
    TCP_CHECK {
    connect_timeout
    nb_get_retry
    delay_before_retry
    }
  }
}
[root@lvs2 ~]# service keepalived start
[root@lvs2 ~]# ipvsadm -Ln

步骤四:客户端测试

客户端使用curl命令反复连接http://202.114.106.20,查看访问的页面是否会轮询到不同的后端真实服务器。

HAProxy服务器 、Keepalived热备 、Keepalived+LVS的更多相关文章

  1. 二十七. Keepalived热备 Keepalived+LVS 、 HAProxy服务器

    1.Keepalived高可用服务器 proxy:192.168.4.5(客户端主机) web1:192.168.4.100(Web服务器,部署Keepalived高可用软件) web2:192.16 ...

  2. linux HAProxy及Keepalived热备

    HAProxy 它是免费,快速且可靠的一种解决方案没,适用于那些负载特大的web站点这些站点通常又需要会话保持或七层处理提供高可用性,负载均衡及基于tcp和http应用的代理 衡量负载均衡器性能的因素 ...

  3. 基于主主复制的mysql双机热备+keepalived实现高可用性

  4. 物联网架构成长之路(9)-双机热备Keepalived了解

    1. 前言 负载均衡LB,高可用HA,这一小结主要讲双机热备方案保证高可用.这里选择Keepalived作为双机热备方案,下面就对具体的配置进行了解.2. 下载Keepalived wget http ...

  5. keepalived 热备

    概述 keepalived高可用集群      keepalived最初是为了LVS的,因为LVS无法进行自动检测服务器的节点状态(可以自动部署LVS)     keeplived后来加入VRRP给功 ...

  6. CentOS下安装keepalived 进行服务器热备

    一.准备: 1.1 安装依赖软件 如果系统为基本文本安装,需要安装一下软件  yum -y install ipvsadm yum -y install kernel kernel-devel reb ...

  7. mysql+keepalived 双主热备高可用

    理论介绍:我们通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务.当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短.MySQL双主复制,即互 ...

  8. 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备

    在上一篇 分布式文件系统FastDFS如何做到高可用 中已经介绍了FastDFS的原理和怎么搭建一个简单的高可用的分布式文件系统及怎么访问. 高可用是实现了,但由于我们只设置了一个group,如果现在 ...

  9. Mysql+Keepalived双主热备高可用操作记录

    我们通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务.当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短.MySQL双主复制,即互为Mast ...

随机推荐

  1. pip install RISE报错解决

    ERROR: Cannot uninstall 'tornado' ERROR: Cannot uninstall 'tornado'. It is a distutils installed pro ...

  2. leetcode-160周赛-5240-串联字符串的最大长度

    题目描述: 自己的提交:O(2**n∗n∗m),m 为字符串长度 class Solution: def maxLength(self, arr: List[str]) -> int: from ...

  3. 【LeetCode 6】Z 字形变换

    题目链接 [题解] 还想着模拟这个过程.然后发现只有行有用啊!... 那就建个rows大小的字符串数组存每行从左到右的字符就行啦.. 然后就是i从1变到n然后又变回1反复就好了. 最后把1..rows ...

  4. Python 生成json文件

    1.数据准备 数据下载 2.python代码 import datetime import os import mssqlhelper ms = mssqlhelper.MSSQL(host=&quo ...

  5. input限制字符长度 - composition

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title> ...

  6. H5项目(基于vue框架)常见问题及注意事项

    参考: https://blog.csdn.net/u012377333/article/details/52326158 1.前端中所有的按钮,点击后发送报文的标签,都必须加上 去重功能.防止重复发 ...

  7. XSS漏洞的渗透利用另类玩法

    XSS漏洞的渗透利用另类玩法 2017-08-08 18:20程序设计/微软/手机 作者:色豹 i春秋社区 今天就来讲一下大家都熟悉的 xss漏洞的渗透利用.相信大家对xss已经很熟悉了,但是很多安全 ...

  8. Machine Learning 之一,什么是机器学习。

    Machine Learning 机器学习,什么是机器学习.我觉得尚学堂的培训老师讲的很不错,就是两个字来介绍.------拟人. 就是模拟人类的思维方式. 老师举的例子: 和女朋友约会,第一次约会, ...

  9. openSSL实现AES加密

    Openssl是很常见的C接口的库,个人觉得易用.以下是AES加密的使用备忘.如果你有一定的密码学基础,那么就很好理解.代码是从网上弄下来的(原始地址已经忘记了),然后在尝试的过程中改了一点东西.其它 ...

  10. Java-Class-@I:io.swagger.annotation.ApiParam

    ylbtech-Java-Class-@I:io.swagger.annotation.ApiParam 1.返回顶部   2.返回顶部 1. package com.ylbtech.api.cont ...