集群腳本分發(fā)

在處理 Linux 集群的時候，常常會涉及到集群內(nèi)文件的同步。文件數(shù)量多，且需要頻繁同步的情況下，運用 一些 Linux 命令能很大程度上的幫助我們節(jié)省時間和精力。

本文將介紹 scp 和 rsync 兩個命令

1. scp(secure copy) 安全拷貝：可以實現(xiàn)服務(wù)器與服務(wù)器之間的數(shù)據(jù)拷貝。rsync 遠(yuǎn)程同步工具：主要用于備份和鏡像。具有速度快、避免復(fù)制相同內(nèi)容和支持符號鏈接的優(yōu)點。
2. 區(qū)別：用 rsync 做文件的復(fù)制要比 scp 的速度快，rsync 只對差異文件做更新。scp 是把所有文件都復(fù)制過去。

scp

基本語法

scp -r $pdir/$fname $user@$host:$pdir/$fname

scp：命令

-r：遞歸

p d i r / pdir/ pdir/fname：要拷貝的文件路徑/名稱

u s e r @ user@ user@host: p d i r / pdir/ pdir/fname：目的地用戶@主機(jī):目的地路徑/名稱

簡單操作

在 ndmiao 用戶目錄下，創(chuàng)建一個 test 文件夾, 并創(chuàng)建一些文件。修改 test 文件目錄權(quán)限歸屬為 ndmiao:ndmiao

[ndmiao@centos01 ~]$ sudo chown ndmiao:ndmiao -R test

在 centos01 上將 test 文件目錄拷貝到 centos02 上，回車后會提示是否確認(rèn)連接，確認(rèn)連接后輸入 centos02 的密碼即可

[ndmiao@centos01 ~]$ scp -r test ndmiao@centos02:/home/ndmiao/

在 centos02 上將 centos01 中的目錄拷貝到 centos02

[ndmiao@centos01 ~]$ scp -r test ndmiao@centos02:/home/ndmiao/

在 centos02 上將 centos01 上的目錄拷貝到 centos03

[ndmiao@centos02 ~]$ scp -r ndmiao@centos01:/home/ndmiao/test ndmiao@centos03:/home/ndmiao/

rsync

基本語法

rsync -av $pdir/$fname $user@$host:$pdir/$fname

rsync：命令

-a：歸檔拷貝

-v：顯示復(fù)制過程

p d i r / pdir/ pdir/fname：要拷貝的文件路徑/名稱

u s e r @ user@ user@host: p d i r / pdir/ pdir/fname：目的地用戶@主機(jī):目的地路徑/名稱

簡單操作

同步 centos01 目錄到 centos02

[ndmiao@centos01 ~]$ rsync -av test ndmiao@centos02:/home/ndmiao/

xsync

雖然上面兩個命令已經(jīng)極大的方便了文件的同步，但是當(dāng)集群中存在著幾十幾百甚至上千服務(wù)器的時候，就又顯的麻煩了，這時候就可以編寫一個shell腳本來實現(xiàn)集群文件的同步。

需求

能夠一條命令同步目錄至集群所有的節(jié)點

實現(xiàn)

配置 /etc/hosts ,因為腳本需要通過主機(jī)名來獲取節(jié)點的地址, 文件中追加節(jié)點地址以及對應(yīng)的主機(jī)名。配置好之后，需要重啟。

192.168.10.101 centos01
192.168.10.102 centos02
192.168.10.102 centos03

因為需要腳本在任何路徑下都能夠使用，所以需要將腳本放置在聲明了全局環(huán)境變量的路徑下面。

[ndmiao@centos01 ~]$ /usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/ndmiao/.local/bin:/home/ndmiao/bin

于是選擇將 xsync 文件放置在 /home/ndmiao/bin 目錄下

#!/bin/bash
#1. 判斷參數(shù)個數(shù)
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍歷集群所有機(jī)器
for host in centos01 centos02 centos03
do
    echo ====================  $host  ====================
    #3. 遍歷所有目錄，挨個發(fā)送
    for file in $@
    do
        #4. 判斷文件是否存在
        if [ -e $file ]
            then
                #5. 獲取父目錄
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 獲取當(dāng)前文件的名稱
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

修改腳本 xsync 的權(quán)限

[ndmiao@centos01 bin]$ chmod 777 xsync

測試腳本

[ndmiao@centos01 ~]$ xsync /home/ndmiao/bin

運行后會發(fā)現(xiàn)所有節(jié)點的 /home/ndmiao/bin 下都會出現(xiàn) xsync 腳本

如果想要以 root 的身份來運行

[ndmiao@centos01 ~]$ sudo /home/ndmiao/bin/xsync /home/ndmiao/test

SSH 無密碼登錄

雖然已經(jīng)配置好了xsync，但是每同步一個節(jié)點就要輸入一次節(jié)點的密碼，SSH 無密碼登錄就可以去除這種重復(fù)的操作

免登陸原理

假設(shè)有兩臺服務(wù)器，一臺為 centos01，一臺為 centos02，使用 ssh-key-gen 在 centos01 的 /home/ndmiao/.ssh 會生成私鑰 id_rsa 和 公鑰 id_rsa.pub。將 centos01 的公鑰拷貝到 centos02 的 authorized_keys 后，當(dāng) centos01 通過 ssh 訪問 centos02（數(shù)據(jù)用私鑰加密），centos02 會授權(quán) authorized_keys 中的 centos01 公鑰來解密私鑰，然后用 centos01 公鑰加密數(shù)據(jù)返還給 centos01，centos01 接受到數(shù)據(jù)后用私鑰來解密數(shù)據(jù)。

操作步驟

生成公鑰和私鑰

[ndmiao@centos01 ~]$ cd .ssh
[ndmiao@centos01 .ssh]$ ssh-keygen -t rsa

將公鑰拷貝到需要免密登錄的目標(biāo)節(jié)點，因為 ssh 訪問自身節(jié)點也需要密碼，所以自身也需要拷貝

[ndmiao@centos01 .ssh]$ ssh-copy-id centos01
[ndmiao@centos01 .ssh]$ ssh-copy-id centos02
[ndmiao@centos01 .ssh]$ ssh-copy-id centos03

這時候就可以通過 centos01 來 ssh 免密訪問三臺節(jié)點了，運行 xsync 也不再需要輸入密碼。如果想要其它節(jié)點也能無密碼訪問其它的節(jié)點，也需要同樣的配置過程。因為 Linux 不同用戶是隔離的，所以其它用戶想要無密碼訪問其它節(jié)點，也需要同樣操作配置，包括 root 用戶。