Linux（9）：期中架构（1）--- 集群构架 & 备份服务

01. 了解集群架构服务器组成

基本架构组成：（用于让用户进行访问）

# 前端服务部分：
1）顾客-用户
   是一个访问者，请求访问网站页面

2）保安-防火墙设备
   对访问架构用户进行策略控制，正常访问网站用户，可以放行进入；非法人员（黑客）访问网站，禁止进入

3）对讲机-交换机（外网）
   提供架构中服务器相互通讯交流的需求（提供外部人员访问）

4）迎宾人员-负载均衡服务器
   对用户的访问请求进行调度处理

5）服务员-网站web服务器
   对用户的请求进行响应处理

# 后端服务部分：
1）对讲机-交互机（内网）
   提供架构中服务器相互通讯交流的需求（提供内部局域网服务器通讯交流）

2）厨师-数据库服务器
   主要用于存储用户提交文字（字符串）数据信息

3）厨师-存储服务器
   主要用于存储用户上传视频 音频 图片 附件等数据资料

4）厨师-备份服务器
   主要用于对用户存储（上传）数据信息进行统一备份管理

5）厨师-缓存服务器
   主要用于存储用户经常访问的数据信息，提升请求数据信息的响应效率

扩展架构组成：（用于让运维人员远程管理架构中的服务器）

1）员工-运维人员
   可以远程管理架构中服务器

2）审计-跳板机服务器
   用于监管内部运维人员操作记录信息，一旦出现架构问题，可以快速定位问题原因，进行相应人员失误问责

3）经理-批量管理服务器
   通过批量管理服务器可以批量管理架构中多台服务器，提升工作效率

4）监控-监控服务器
   用于监控管理架构中的服务器运行情况，一旦出现问题进行发送告警给相关运维管理人员

基本架构结构：

基本架构组成、作用及软件实现

扩展架构结构：

扩展架构组成、作用及软件实现

02. 集群架构环境统一规划说明

1. 服务器及服务规划说明
2. 主机地址及主机名规划
3. 安装及配置路径等规划 

1. 服务器及服务规划说明

2. 主机地址及主机名规划

2.1 前端服务

2.2 后端服务

3. 安装及配置路径等规划

虚拟软件网络配置 --- 配置虚拟网络信息

# 第一步：在虚拟软件中配置虚拟局域网：
          配置虚拟网段信息，以及虚拟网关信息

# 第二步：在虚拟机软件中虚拟机添加网卡
          虚拟主机中设置了两块网卡：
            eth0: nat塔式网卡
            eth1: LAN区段网卡（区段名称为 172.16.1.0/24 ）

# 第三步： 在虚拟软件中虚拟机网卡配置

# 第四步： 在虚拟软件中虚拟机系统优化：
    4.1 模板机优化配置 --- hosts 文件配置：（IP地址与主机名的解析关系）
        cp /etc/hosts{,.bak}
        cat >/etc/hosts<<EOF
        127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
        ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
        172.16.1.5      lb01
        172.16.1.6      lb02
        172.16.1.7      web01
        172.16.1.8      web02
        172.16.1.9      web03
        172.16.1.51     db01
        172.16.1.31     nfs01
        172.16.1.41     backup
        172.16.1.61     m01
        EOF

    4.2 模板机优化配置 --- 更改 yum 源 ：
        #更改yum源 （系统默认的 yum 源在 /etc/yum.repos.d/ 目录下）
        wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo        # Base 源更改为 阿里云的 yum 源
        wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo                # epel 源更改为    阿里云的 yum 源
        #PS：yum repolist 列出yum源信息；epel源：扩展 yum 源

    4.3 模板机优化配置---关闭selinux
        #关闭selinux
        sed -i.bak 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
        grep SELINUX=disabled /etc/selinux/config
        setenforce 0
        getenforce 

    4.4 模板机优化配置---关闭iptables
        #关闭iptables
        /etc/init.d/iptables stop
        /etc/init.d/iptables stop
        chkconfig iptables off

    4.5 模板机优化配置---精简开机自启动服务
        #精简开机自启动服务
        export LANG=en
        chkconfig|egrep -v "crond|sshd|network|rsyslog|sysstat"|awk '{print "chkconfig",$1,"off"}'|bash
        chkconfig --list|grep 3:on

    4.6 模板机优化配置---授权oldboy可以sudo
        #提权oldboy可以sudo(可选配置)
        useradd oldboy
        echo 123456|passwd --stdin oldboy
        cp /etc/sudoers /etc/sudoers.ori
        echo "oldboy  ALL=(ALL) NOPASSWD: ALL " >>/etc/sudoers
        tail -1 /etc/sudoers
        visudo -c

    4.7 模板机优化配置---英文字符集
        #英文字符集
        cp /etc/sysconfig/i18n /etc/sysconfig/i18n.ori
        echo 'LANG="en_US.UTF-8"'  >/etc/sysconfig/i18n
        source /etc/sysconfig/i18n
        echo $LANG

    4.8 模板机优化配置---时间同步
        #时间同步
        echo '#time sync by lidao at 2017-03-08' >>/var/spool/cron/root
        echo '*/5 * * * * /usr/sbin/ntpdate pool.ntp.org >/dev/null 2>&1' >>/var/spool/cron/root
        crontab -l

    4.9 模板机优化配置---加大文件描述
        #加大文件描述
        echo '*               -       nofile          65535 ' >>/etc/security/limits.conf
        tail -1 /etc/security/limits.conf 

    4.10 模板机优化配置---内核优化
        #内核优化
        cat >>/etc/sysctl.conf<<EOF
        net.ipv4.tcp_fin_timeout = 2
        net.ipv4.tcp_tw_reuse = 1
        net.ipv4.tcp_tw_recycle = 1
        net.ipv4.tcp_syncookies = 1
        net.ipv4.tcp_keepalive_time = 600
        net.ipv4.ip_local_port_range = 4000    65000
        net.ipv4.tcp_max_syn_backlog = 16384
        net.ipv4.tcp_max_tw_buckets = 36000
        net.ipv4.route.gc_timeout = 100
        net.ipv4.tcp_syn_retries = 1
        net.ipv4.tcp_synack_retries = 1
        net.core.somaxconn = 16384
        net.core.netdev_max_backlog = 16384
        net.ipv4.tcp_max_orphans = 16384
        #以下参数是对iptables防火墙的优化，防火墙不开会提示，可以忽略不理。
        net.nf_conntrack_max = 25000000
        net.netfilter.nf_conntrack_max = 25000000
        net.netfilter.nf_conntrack_tcp_timeout_established = 180
        net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
        net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
        net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
        EOF
        sysctl -p

    4.11 模板机优化配置---安装其他小软件
        #安装其他小软件
        yum install lrzsz nmap tree dos2unix nc telnet sl -y

    4.12 模板机优化配置---ssh连接速度慢优化
        #ssh连接速度慢优化
        sed -i.bak 's@#UseDNS yes@UseDNS no@g;s@^GSSAPIAuthentication yes@GSSAPIAuthentication no@g'  /etc/ssh/sshd_config
        /etc/init.d/sshd reload

虚拟主机克隆操作

# 第一步：调整虚拟主机网络配置信息：
          # 一清空 两删除
          # 两删除：删除网卡（eth0 eth1）中的 UUID（硬件标识信息）和 HWADDR（网络mac地址）
          # 一清空：清空网络规则配置文件

# 两删除：
[root@NEO ~]# sed -ri '/UUID|HWADDR/d' /etc/sysconfig/network-scripts/ifcfg-eth[01]        # ifcfg-eth[01] ---> 删除 eth0 和 eth1 中的 UUID 和 HWADDR
[root@NEO ~]# grep -E 'UUID|HWADDR' /etc/sysconfig/network-scripts/ifcfg-eth[01]
[root@NEO ~]# 

# 一清空：
[root@NEO ~]# >/etc/udev/rules.d/70-persistent-net.rules     # 清空网络规则配置文件；每次系统重新启动时，这个文件都会重新生成，所以要把这个命令追加到系统的启动文件中
[root@NEO ~]# echo '>/etc/udev/rules.d/70-persistent-net.rules' >>/etc/rc.local     # 追加到系统启动文件中
[root@NEO ~]# tail -1 /etc/rc.local
>/etc/udev/rules.d/70-persistent-net.rules
[root@NEO ~]# 

# 第二步：关闭虚拟模板机
    shutdown -h now

# 第三步：虚拟机的克隆操作
    链接克隆：
        优势：节省系统资源，克隆效率高
        劣势：模板主机一旦出现问题，所有克隆主机也无法正常工作
    完整克隆：
        优势：模板主机和克隆主机相互独立，模板主机出现问题，克隆主机依旧可以正常使用
        劣势：占用系统资源，克隆效率低

# 第四步：开启克隆虚拟主机（如果一下克隆了多台虚拟主机，要一台一台开启，并且要确认模板主机关闭），设置虚拟主机地址和网卡信息
# 修改主机名称：
[root@NEO ~]# hostname backup
[root@NEO ~]# sed 's#NEO#backup#g' /etc/sysconfig/network -i
[root@NEO ~]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=backup
[root@NEO ~]#         

# 修改主机IP地址信息：
[root@NEO ~]# sed -i "s#200#41#g" /etc/sysconfig/network-scripts/ifcfg-eth[01]        # 把 eth0 和 eth1 这两个虚拟网卡中的IP地址的 200 改为 41
[root@NEO ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth[01]
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=none
IPADDR=10.0.0.41        # 此处的 200 改成了 41
NETMASK=255.255.255.0
GATEWAY=10.0.0.254
USERCTL=no
PEERDNS=yes
IPV6INIT=no
DNS1=223.5.5.5
DNS2=223.6.6.6
# Please read /usr/share/doc/initscripts-*/sysconfig.txt
# for the documentation of these parameters.
DEVICE=eth1
BOOTPROTO=none
NETMASK=255.255.255.0
TYPE=Ethernet
IPADDR=172.16.1.41        # 此处的 200 改成了 41
NM_CONTROLLED=no
PEERDNS=yes
ONBOOT=yes
IPV6INIT=no
USERCTL=no
[root@NEO ~]#
# 重启网络服务，重新连接虚拟主机
[root@NEO ~]# /etc/init.d/network restart

备份服务实践

# Rsync服务概念特性介绍：
# Rsync属于一款实现全量及增量复制同步的软件工具

# Rsync 服务命令在就用时，属于一个非常强大的命令，可以通过 rsync 一个命令，替换下面4个命令的操作：
    1. 实现本场数据同步复制（等价命令cp）
    2. 实现远程数据同步复制（等价命令scp：远程复制命令）
    3. 实现数据信息删除功能（等价命令rm）
    4. 实现数据信息查看功能（等价命令ls）

# 1. rsync === cp
[root@backup ~]# cp -a /etc/hosts /tmp/
[root@backup ~]# ll /tmp/
total 184
-rw-r--r--  1 root root  43252 May  1 00:46 date.log
-rw-r--r--. 1 root root    352 Apr 30 16:36 hosts
-rw-r--r--  1 root root 129368 May  1 00:46 ip.log
[root@backup ~]# rsync -a /etc/sysconfig/network /tmp/        # rsync 的 cp 复制 功能
[root@backup ~]# ll /tmp/
total 188
-rw-r--r--  1 root root  43253 May  1 00:47 date.log
-rw-r--r--. 1 root root    352 Apr 30 16:36 hosts
-rw-r--r--  1 root root 129378 May  1 00:47 ip.log
-rw-r--r--  1 root root     31 May  1 00:32 network
[root@backup ~]# 

# 2. rsync === scp  # 远程复制命令
# scp -rp ---> r 参数表示递归，复制目录的时候要加上这个参数； p 参数表示保持复制数据的属性信息
# 当前主机（备份服务器）上的scp操作：
[root@backup ~]# scp -rp /tmp/ 172.16.1.31:/tmp/  # 把当前主机的 /tmp/ 目录 复制到 远端 172.16.1.31 主机的 /tmp/ 下
The authenticity of host '172.16.1.31 (172.16.1.31)' can't be established.
RSA key fingerprint is 22:07:4d:36:3c:5e:eb:46:80:a2:ef:40:45:8c:93:46.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '172.16.1.31' (RSA) to the list of known hosts.
root@172.16.1.31's password:
date.log                                                                               100%   42KB  42.3KB/s   00:00
hosts                                                                                  100%  352     0.3KB/s   00:00
ip.log                                                                                 100%  127KB 126.5KB/s   00:00
network                                                                                100%   31     0.0KB/s   00:00
[root@backup ~]# 

# 远程主机（存储服务器） 172.16.1.31 上的操作：
[root@nfs01 ~]# ll /tmp/
total 184
-rw-r--r-- 1 root root  43267 May  1 01:06 date.log
-rw-r--r-- 1 root root 129520 May  1 01:06 ip.log
drwxrwxrwx 3 root root   4096 May  1 00:47 tmp            # 已经复制到了该远程主机
[root@nfs01 ~]# tree /tmp/
/tmp/
├── date.log
├── ip.log
└── tmp
    ├── date.log
    ├── hosts
    ├── ip.log
    └── network

1 directory, 6 files
[root@nfs01 ~]# cd /tmp/
[root@nfs01 tmp]# \rm -rf tmp/
[root@nfs01 ~]# 

# 当前主机（备份服务器）上的rsync操作：
[root@backup ~]# rsync -rp /tmp/ 172.16.1.31:/tmp/    # 复制到远程服务器
root@172.16.1.31's password:
[root@backup ~]# 

# 远程主机（存储服务器） 172.16.1.31 上的操作：
[root@nfs01 ~]# ll /tmp/
total 180
-rw-r--r-- 1 root root  43285 May  1 01:19 date.log
-rw-r--r-- 1 root root    352 May  1 01:18 hosts        # 此时 rsync 复制到远程服务器时，是把 源目录 /tmp/ 中的内容复制到了远程服务器中
-rw-r--r-- 1 root root 129698 May  1 01:19 ip.log
-rw-r--r-- 1 root root     31 May  1 01:18 network
[root@nfs01 ~]# \rm -f /tmp/hosts /tmp/network
[root@nfs01 ~]# ll /tmp/
total 172
-rw-r--r-- 1 root root  43291 May  1 01:25 date.log
-rw-r--r-- 1 root root 129758 May  1 01:25 ip.log
[root@nfs01 ~]# 

# 注意：同步数据时， 源目录（如：/tmp/目录）后面要是有 / ，则表示将目录下面的数据内容备份到远程服务器；
#      同步数据时， 源目录（如：/tmp/目录）后面要是没有 / ，表示将目录及目录下面的数据内容备份到远程服务器

# 当前主机（备份服务器）上的rsync操作（源目录后面没有 / ）：
[root@backup ~]# rsync -rp /tmp 172.16.1.31:/tmp/    # /tmp 后面没有 /
root@172.16.1.31's password:
[root@backup ~]#
# 远程主机（存储服务器） 172.16.1.31 上的操作：
[root@nfs01 ~]# ll /tmp/
total 176
-rw-r--r-- 1 root root  43292 May  1 01:26 date.log
-rw-r--r-- 1 root root 129768 May  1 01:26 ip.log
drwxrwxrwt 3 root root   4096 May  1 01:26 tmp
[root@nfs01 ~]# tree /tmp
/tmp
├── date.log
├── ip.log
└── tmp
    ├── date.log
    ├── hosts
    ├── ip.log
    └── network

1 directory, 6 files
[root@nfs01 ~]# 

# 3. rsync === rm
# 原理：rsync 实现删除目录中数据内容过程，就是将一个空目录和一个有数据的目录进行同步，从而实现将有数据的目录中的文件进行清空
[root@backup ~]#ll /alexdir/
total 4
drwxr-xr-x 2 root root 4096 Apr  2 03:15 test
[root@backup ~]# mkdir /null                                # 先创建一个空目录
[root@backup ~]# rsync -r --delete /null/ /alexdir/            # 用/null 这个空目录去清空 /alexdir/ 这个目录中的数据；rsync 命令在删除目录时，要加上 -r 参数 和 --delete 参数
[root@backup ~]# ll /alexdir/
total 0
[root@backup ~]# 

# 4. rsync === ls
[root@backup ~]# ls -l /etc/hosts
-rw-r--r--. 2 root root 352 Apr 30 16:36 /etc/hosts
[root@backup ~]# rsync /etc/hosts
-rw-r--r--         352 2019/04/30 16:36:02 hosts
[root@backup ~]# 

Rsync备份软件7大特性：

# 1. 支持干拷贝普通文件与特殊文件如链接文件、设备等
# 2. 支持排除指定文件或目录同步的功能，类似tar命令排除功能
# 3. 支持保持原文件或目录的所有属性信息不变
# 4. 支持增量同步，既只同步变化数据，提升数据传输效率
# 5. 支持使用rcp、 rsh、 ssh 等方式来配合进行隧道加密传输文件
# 6. 支持使用通过socket（守护进程方式）传输文件或目录数据信息
# 7. 支持用户认证方式传输数据，提升数据同步安全性

Rsync服务工作方式介绍：

# 1. 本地数据传输模式：
    采用此种方式进行数据同步复制，类似于上文中所提到的cp本地复制命令功能。
    采用本地数据传输模式语法格式信息为：
        Local:
        rsync [OPTION...] SRC... [DEST]

        rsync    --- 数据备份传输命令
        option   --- 可以输入一下和rsync传输数据有关的参数
        src      --- 要进行备份的数据（文件/目录）
        dest     --- 将数据信息备份到什么位置（相应路径中）

# 2. 远程数据备份方式：
    采用此种方式进行数据同步复制，类似于上文中所提到的scp远程复制命令功能。
    采用远程数据传输模式语法格式信息为：
    Access via remote shell:
    Pull:   rsync  [OPTION...]    [USER@]HOST:SRC...      [DEST]                # 把数据从远程服务器拉到本地服务器
    Push:   rsync  [OPTION...]    SRC...                [USER@]HOST:DEST    # 把数据从本地服务器备份到远程服务器

    pull方式语法说明：
    rsync    --- 数据备份传输命令
    option   --- 可以输入一下和rsync传输数据有关的参数
    [USER@]HOST:  --- USER：指定以什么用户身份登陆到远程主机，如果省略USER信息，表示以当前用户身份进行登陆
                  --- HOST：登陆主机地址或域名信息
    SRC      --- 指定远程主机要传输到本地的数据信息
    DEST     --- 将数据保存到本地的什么路径中

# PULL 方式：
[root@backup ~]# ll /alexdir/
total 0
[root@backup ~]# rsync -a root@172.16.1.31:/etc/sysconfig/network /alexdir/
root@172.16.1.31's password:
[root@backup ~]# ll /alexdir/
total 4
-rw-r--r-- 1 root root 30 May  1 00:40 network
[root@backup ~]# 

    push方式语法说明：
    rsync    --- 数据备份传输命令
    option   --- 可以输入一下和rsync传输数据有关的参数
    [USER@]HOST:     --- 需要指定以什么用户身份登录到远程主机，
                         如果省略USER信息，表示以当前用户身份进行登录
                         登录主机地址或域名信息
    SRC      --- 指定本地主机要传输到远程主机的数据
    dest     --- 将本地数据保存到远端的什么路径中

# 守护进程传输方式：
    采用此种方式进行数据同步复制，是采用客户端与服务端的数据同步方式。
    采用守护进程传输模式语法格式信息为：
    Access via rsync daemon:
    Pull：  rsync  [OPTION...]  [USER@]HOST::SRC...                 [DEST]        # 语法一： HOST 和 SRC 之间是双冒号
            rsync  [OPTION...]  rsync://[USER@]HOST[:PORT]/SRC...   [DEST]        # 语法二
    Push：  rsync  [OPTION...]  SRC...      [USER@]HOST::DEST                    # 语法一： 也是双冒号
            rsync  [OPTION...]  SRC...      rsync://[USER@]HOST[:PORT]/DEST        # 语法二

    pull模式：rsync [OPTION...] [USER@]HOST::SRC... [DEST]
    [USER@]HOST::       --- 指定远程连接的认证用户
    SRC                 --- 指定相应的模块信息
    [DEST]              --- 将远程数据保存到本地的路径信息

    Push模式: rsync [OPTION...] SRC... [USER@]HOST::DEST
    [USER@]HOST::       --- 指定远程连接的认证用户
    SRC                 --- 指定本地要进行推送的数据信息
    [DEST]              --- 远程进行保存数据的模块信息

数据传输参数说明：

守护进程部署过程：

1. 服务端部署：

1.1 Rsync服务端部署流程：

# 第一步：检查软件是否安装
[root@backup ~]# rpm -qa rsync
rsync-3.0.6-12.el6.x86_64

# 第二步：编写配置文件  # /etc/rsyncd.conf 是 rsync 默认配置文件的固定写法
[root@backup ~]# vim /etc/rsyncd.conf
[root@backup ~]# cat /etc/rsyncd.conf
#rsync_config
#created by NEO at 2019
##rsyncd.conf start##

uid = rsync            # 备份目录管理用户
gid = rsync
use chroot = no
max connections = 200
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log　　　　# 错误日志
ignore errors
read only = false
list = false
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup                # 认证用户
secrets file = /etc/rsync.password        # 认证文件
[backup]　　　　# [backup] 是一个模块，模块之上的配置是全局配置
comment = "backup dir by NEO"
path = /backup                    # 备份目录
[root@backup ~]# 

# 也可以再加一个nfs模块
[nfs]
comment = "backup dir by NEO"
path = /nfs

# 第三步：创建备份目录管理用户
[root@backup ~]# useradd rsync -M -s /sbin/nologin
[root@backup ~]# 

# 第四步：创建备份目录
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup
[root@backup ~]# 

# 第五步：创建认证文件
[root@backup ~]# echo "rsync_backup:oldboy123"  >>/etc/rsync.password    # rsync_backup:oldboy123 ---> 认证用户:密码  ； /etc/rsync.password ---> 认证文件
[root@backup ~]# chmod 600 /etc/rsync.password    # 把认证文件的权限改成 600

# 第六步：启动rsync守护进程服务
[root@backup ~]# rsync --daemon        # 启动rsync守护进程服务
[root@backup ~]# ps -ef|grep rsync    # 检测 rsync 服务是否已经启动
root       2921      1  0 11:40 ?        00:00:00 rsync --daemon
root       2923   2837  0 11:40 pts/1    00:00:00 grep --color=auto rsync
[root@backup ~]# netstat -lntup |grep rsync        # 查看 rsync 默认的端口号：873
tcp        0      0 0.0.0.0:873                 0.0.0.0:*                   LISTEN      2921/rsync
tcp        0      0 :::873                      :::*                        LISTEN      2921/rsync
[root@backup ~]# 

1.2 守护进程部署过程 --- 配置文件详述：

2. 客户端部署（存储服务器）：

# Rsync客户端部署流程：
# 第一步：确认软件是否安装
[root@nfs01 ~]# rpm -qa rsync
rsync-3.0.6-12.el6.x86_64
[root@nfs01 ~]# 

# 第二步：创建认证密码文件（创建认证用户授权密码文件，并对密码文件进行授权）
[root@nfs01 ~]# echo "oldboy123" >>/etc/rsync.password
[root@nfs01 ~]# chmod 600 /etc/rsync.password
[root@nfs01 ~]# 

# 第三步：进行数据备份测试
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password     # rsync 命令常用的参数： -avz ；rsync_backup@172.16.1.41::backup ---> rsync_backup 为远端认证用户，172.16.1.41 为远端地址， backup 为模块名称（不是目录名）；--password-file=/etc/rsync.password  ---> 指定密码文件
sending incremental file list
hosts

sent 189 bytes  received 27 bytes  432.00 bytes/sec
total size is 352  speedup is 1.63
[root@nfs01 ~]# 

# 查看服务端是否已经收到数据
[root@backup ~]# ll /backup/
total 4
-rw-r--r-- 1 rsync rsync 352 Apr 30 16:36 hosts
[root@backup ~]# 

备份服务报错总结：

rsync 服务错误排查方法：

# 1. 检查错误日志：
    # 在服务端（备份服务器）实时查看日志的内容：
    tail -f /var/log/rsyncd.log   # /var/log/rsyncd.log ---> rsync 配置文件中的日志路径 

# 2. 可以在模拟环境下，模拟练习一些错误

Rsync服务常见问题汇总讲解：

1. rsync服务端开启的iptables防火墙
  【客户端的错误】
   No route to host        # ---> 这个错误就表明是 防火墙没有关闭
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   rsync: failed to connect to 172.16.1.41: No route to host (113)
   rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]
  【异常问题解决】
   关闭rsync服务端的防火墙服务（iptables）
   [root@backup mnt]# /etc/init.d/iptables stop
   iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
   iptables: Flushing firewall rules:                         [  OK  ]
   iptables: Unloading modules:                               [  OK  ]
   [root@backup mnt]# /etc/init.d/iptables status
   iptables: Firewall is not running.

2. rsync客户端执行rsync命令错误
  【客户端的错误】
   The remote path must start with a module name not a /     # ---> 这个错误表明 是把 模块名称 backup 写成了 路径 /backup
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::/backup
   ERROR: The remote path must start with a module name not a /
   rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
  【异常问题解决】
   rsync命令语法理解错误，::/backup是错误的语法，应该为::backup(rsync模块)

3. rsync服务认证用户失败*****
  【客户端的错误】
   auth failed on module oldboy
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   Password:
   @ERROR: auth failed on module backup
   rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
  【异常问题解决】
   1. 密码真的输入错误，用户名真的错误
   2. secrets file = /etc/rsync.password指定的密码文件和实际密码文件名称不一致
   3. /etc/rsync.password文件权限不是600 (在服务端修改)
   4. rsync_backup:123456密码配置文件后面注意不要有空格
   5. rsync客户端密码文件中只输入密码信息即可，不要输入虚拟认证用户名称

4. rsync服务位置模块错误
  【客户端的错误】
   Unknown module 'backup'
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   @ERROR: Unknown module 'backup'
   rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
  【异常问题解决】
   1. /etc/rsyncd.conf配置文件模块名称书写错误

5. rsync服务权限阻止问题
  【客户端的错误】
   Permission denied
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   Password:
   sending incremental file list
   hosts
   rsync: mkstemp ".hosts.5z3AOA" (in backup) failed: Permission denied (13)
   sent 196 bytes  received 27 bytes  63.71 bytes/sec
   total size is 349  speedup is 1.57
   rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1039) [sender=3.0.6]
  【异常问题解决】
   1. 备份目录的属主和属组不正确，不是rsync
   2. 备份目录的权限不正确，不是755

6. rsync服务备份目录异常
  【客户端的错误】
   chdir failed
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   Password:
   @ERROR: chdir failed
   rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
  【异常问题解决】
   1. 备份存储目录没有建立
   2. 建立的备份存储目录和配置文件定义不一致
   说明：如果没有备份存储目录

7. rsync服务无效用户信息
  【客户端的错误】
   invalid uid rsync
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   Password:
   @ERROR: invalid uid rsync
   rsync error: error starting client-server protocol (code 5) at main.c(1503) [sender=3.0.6]
  【异常问题解决】
   rsync服务对应rsync虚拟用户不存在了

8. 客户端已经配置了密码文件，但免秘钥登录方式，依旧需要输入密码
  【客户端的错误】
   password file must not be other-accessible
  【错误演示过程】
   [root@nfs01 tmp]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
   password file must not be other-accessible
   continuing without password file
   Password:
   sending incremental file list
   sent 26 bytes  received 8 bytes  5.23 bytes/sec
   total size is 349  speedup is 10.26
  【异常问题解决】
   rsync客户端的秘钥文件也必须是600权限

9. rsync客户端连接慢问题
   IP   ===>  域名   # 反向DNS解析
  【错误日志信息】
   错误日志输出
   2017/03/08 20:14:43 [3422] params.c:Parameter() - Ignoring badly formed line in configuration file: ignore errors
   2017/03/08 20:14:43 [3422] name lookup failed for 172.16.1.31: Name or service not known
   2017/03/08 20:14:43 [3422] connect from UNKNOWN (172.16.1.31)
   2017/03/08 20:14:43 [3422] rsync to backup/ from rsync_backup@unknown (172.16.1.31)
   2017/03/08 20:14:43 [3422] receiving file list
   2017/03/08 20:14:43 [3422] sent 76 bytes  received 83 bytes  total size 349
   正确日志输出
   2017/03/08 20:16:45 [3443] params.c:Parameter() - Ignoring badly formed line in configuration file: ignore errors
   2017/03/08 20:16:45 [3443] connect from nfs02 (172.16.1.31)
   2017/03/08 20:16:45 [3443] rsync to backup/ from rsync_backup@nfs02 (172.16.1.31)
   2017/03/08 20:16:45 [3443] receiving file list
   2017/03/08 20:16:45 [3443] sent 76 bytes  received 83 bytes  total size 349
  【异常问题解决】
   查看日志进行分析，编写rsync服务端hosts解析文件

10 rsync服务没有正确启动
  【错误日志信息】
   Connection refused (111)
  【错误演示过程】
   [root@oldboy-muban ~]#  rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   rsync: failed to connect to 172.16.1.41: Connection refused (111)
   rsync error: error in socket IO (code 10) at clientserver.c(124) [sender=3.0.6]
  【异常问题解决】
   [root@oldboy-muban ~]# rsync --daemon
   [root@oldboy-muban ~]# ss -lntup |grep rsync
   tcp    LISTEN     0      5                     :::873                  :::*      users:(("rsync",1434,5))
   tcp    LISTEN     0      5                      *:873                   *:*      users:(("rsync",1434,4))
   [root@oldboy-muban ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup
   Password:
   sending incremental file list
   hosts
   sent 196 bytes  received 27 bytes  49.56 bytes/sec
   total size is 349  speedup is 1.57

# 改变 rsync 的端口号的方法：
killall rsync  # 停掉 rsync 服务
rsync --daemon --port 8730  # 启动 rsync 守护进程，并把端口号改成 8730
netstat -lntup   # 查看端口号

# 启动rsync守护进程服务时，指定 配置文件（如，rsync 配置文件没有放在 /etc/ 目录下）
rsync --daemon --config=/alexdir/rsyncd.conf

备份扩展功能

# 1. 守护进程多模块功能配置
#第一步：修改配置文件
vim /etc/rsyncd.conf
[backup01]
comment = "backup dir by oldboy"
path = /backup
[backup02]
comment = "backup dir by oldboy"
path = /backup02

# 第二步：创建多模块目录
[root@backup ~]# mkdir /backup02                    # 创建新目录 /backup02
[root@backup ~]# chown -R rsync.rsync /backup02        # 给新目录授权

# 第三步：重启服务程序
[root@backup ~]# killall rsync
[root@backup ~]# killall rsync
rsync: no process killed
[root@backup ~]# rsync --daemon

# 第四步：进行测试检查
[root@nfs01 ~]# rsync -avz /etc/hosts rsync_backup@172.16.1.41::backup02 --password-file=/etc/rsync.password
sending incremental file list
hosts

sent 189 bytes  received 27 bytes  432.00 bytes/sec
total size is 352  speedup is 1.63
[root@nfs01 ~]# 

[root@backup ~]# ll /backup02/
total 4
-rw-r--r-- 1 rsync rsync 352 Apr 30 16:36 hosts        # /backup02/ 目录中已经有了备份的 hosts 文件
[root@backup ~]# 

2. 守护进程的排除功能实践
# 第一种数据备份排除方式：--exclude 

[root@nfs01 ~]# mkdir /test_dir
[root@nfs01 ~]# touch /test_dir/{a..d}
[root@nfs01 ~]# rsync -avz /test_dir/ --exclude=b --exclude=d rsync_backup@172.16.1.41::backup01 --password-file=/etc/rsy
nc.password
sending incremental file list
./
a
c

sent 113 bytes  received 49 bytes  324.00 bytes/sec
total size is 0  speedup is 0.00
[root@nfs01 ~]# 

# rsync -avz /test_dir/ --exclude=b --exclude=d rsync_backup@172.16.1.41::backup01 --password-file=/etc/rsync.password
# rsync -avz /test_dir/ --exclude={b，d} rsync_backup@172.16.1.41::backup01 --password-file=/etc/rsync.password
# rsync -avz /test_dir/ --exclude={b..d} rsync_backup@172.16.1.41::backup01 --password-file=/etc/rsync.password  

# 第二种数据备份排除方式：--exclude-from=file
[root@nfs01 ~]# vim /test_dir/exclude_file.txt
[root@nfs01 ~]# cat /test_dir/exclude_file.txt
b                        # 排除文件中的文件或目录要用相对路径 （这个相对路径会和 /test_dir/ 路径自动拼接 ）
d                        # 排除文件中，每一行代表一个要排除的文件或目录
exclude_file.txt
[root@nfs01 ~]# rsync -avz /test_dir/ --exclude-from=/test_dir/exclude_file.txt rsync_backup@172.16.1.41::backup01 --password-file=/etc/rsync.password
sending incremental file list
./
a
c

sent 117 bytes  received 49 bytes  332.00 bytes/sec
total size is 0  speedup is 0.00
[root@nfs01 ~]# 

3. 守护进程来创建备份目录
[root@nfs01 ~]# rsync -avz /etc/hosts --exclude-from=/test_dir/exclude_file.txt rsync_backup@172.16.1.41::backup01/sa/ --password-file=/etc/rsync.password        # sa 后面要加上 / ，表示一个目录；备份到 backup01 模块下的 /sa/ 目录（/sa/目录有就备份，没有则先创建再备份）
sending incremental file list
created directory sa
hosts

sent 189 bytes  received 27 bytes  432.00 bytes/sec
total size is 352  speedup is 1.63
[root@nfs01 ~]# rsync -avz /etc/hosts --exclude-from=/test_dir/exclude_file.txt rsync_backup@172.16.1.41::backup01/dev/ --password-file=/etc/rsync.password
sending incremental file list
created directory dev
hosts

sent 189 bytes  received 27 bytes  144.00 bytes/sec
total size is 352  speedup is 1.63
[root@nfs01 ~]# 

# 在备份服务器中检测
[root@backup ~]# tree /backup
/backup
├── a
├── c
├── dev
│   └── hosts
└── sa
    └── hosts

2 directories, 4 files
[root@backup ~]# 

4. 守护进程的访问控制配置
    三种情况：
    1. rsync配置文件中，只有白名单，白名单网段或主机信息允许。其余阻止
    2. rsync配置文件中，只有黑名单，黑名单网段或主机信息阻止，其余允许
    3. rsync配置文件中，有黑名单也要白名单，白名单网段或主机信息允许，黑名单网段或主机信息阻止，其余允许
    建议只选择前两种方式配置
    hosts allow = 172.16.1.0/24
    hosts deny = 0.0.0./32

5. 守护进程无差异同步配置
    # rsync 的 --delete 参数
    我有的，你也有；我没有的，你也不能有
    rsync -avz /test_dir/ --delete rsync_backup@172.16.1.41::backup01 --password-file=/etc/rsync.password
    说明：一定要谨慎使用，否则可能会清空备份目录；
          如果要快速清空目录数据，也可以使用无差异同步清空

6. 守护进程的列表功能配置
    list = false
    说明：表示是否列表显示rsync服务端所有模块信息
    [root@nfs01 test_dir]# rsync rsync_backup@172.16.1.41::
    backup01           "backup dir by oldboy"
    backup02           "backup dir by oldboy"