網站首頁 編程語言 正文
一.Calico介紹
Calico是一種容器之間互通的網絡方案，在虛擬化平臺中，比如OpenStack、Docker等都需要實現workloads之間互連，但同時也需要對容器做隔離控制，就像在Internet中的服務僅開放80端口、公有云的多租戶一樣，提供隔離和管控機制。而在多數的虛擬化平臺實現中，通常都使用二層隔離技術來實現容器的網絡，這些二層技術有一些弊端，比如需要依賴VLAN、Bridge和隧道技術。其中Bridge帶來了復雜性，Vlan隔離和Tunnel隧道則消耗等多的資源并對物理環境有要求。隨著網絡規模的增大，整體會變得更加復雜。我們嘗試把Host當做Internet中的路由器，使用BGP同步路由，并使用Iptables來做安全訪問策略，最終設計出了Calico方案。
設計思想：Calico不使用隧道或者NAT來實現轉發，而是巧妙的把所有二三層流量轉換成三層流量，并通過host上路由配置完成跨host轉發。
二.Calico優勢
- 更優的資源利用
二層網絡通訊需要依賴廣播消息機制，廣播消息的開銷與host的數量呈指數級增長，Calico使用的三層路由方法，則完全抑制了二層廣播，減少了資源開銷。此外，二層網絡使用Vlan隔離技術，天生有4096個規格限制，即便可以使用Vxlan解決，但Vxlan又帶來了隧道開銷的問題。Calico不使用vlan或者vxlan技術，使資源利用率更高。
- 可擴展性
Calico使用與Internet類似的方案，Internet的網絡比任何數據中心都大，Calico同樣天然具有擴展性。
- 簡單更容易調試
由于沒有隧道，意味著workloads之間路徑更短，配置更少，在host之間更容易進行debug調試。
- 更少的依賴
Calico僅依賴三層路由可達
- 可適配性
Calico較少的依賴性使它能適配所有的VM、Container、白盒或者混合環境場景。
三、環境介紹：
1、操作系統：CentOS 7
2、主機結點：node1（192.168.223.131） node2（192.168.223.130）
3、軟件版本：calicoctl（version?v1.6.1） etcdctl（version: 3.3.11）? docker（version：20.10.21-ce）
[root@node2 ~]# cat /etc/redhat-release
CentOS Linux release 7.9.2009 (Core)修改兩個節點的主機名
[root@node1 ~]# hostnamectl --static set-hostname node1
[root@node1 ~]# echo "node1" > /etc/hostname
[root@node2 ~]# hostnamectl --static set-hostname node2
[root@node2 ~]# echo "node2" > /etc/hostname關閉兩臺主機的防火墻。若開啟iptables防火墻，則需要打開2380端口通信。
[root@node1 ~]# systemctl disable firewalld.service
[root@node1 ~]# systemctl stop firewalld.service
[root@node1 ~]# iptables -F
[root@node1 ~]# firewall-cmd --state
not running在兩臺機器上都要設置hosts，均執行如下命令：
[root@node1 ~]# vim /etc/hosts
192.168.223.131 node1
192.168.223.130 node2兩臺集機器上的ip轉發功能打開
[root@node1 ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@node1 ~]# vim /etc/sysctl.conf
......
net.ipv4.conf.all.rp_filter=1
net.ipv4.ip_forward=1
[root@node1 ~]# sysctl -p四、配置ETCD集群
1、兩臺結點安裝Etcd軟件包
[root@node1 ~]# yum install etcd -y
2、兩臺結點配置ETCD集群模式
[root@node1 ~]# vim /etc/etcd/etcd.conf
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://192.168.223.131:2380"
ETCD_LISTEN_CLIENT_URLS="http://192.168.223.131:2379"根據不同主機進行相應修改，分別為node1 node2
ETCD_NAME="node1"
根據不同主機進行相應修改，分別為192.168.223.131\192.168.223.130
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.223.131:2380"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.223.131:2379"ETCD_INITIAL_CLUSTER="node2=http://192.168.223.130:2380,node1=http://192.168.223.131:2380"3、啟用Etcd服務，并測試是集群是否配置正確
[root@node1 ~]# systemctl start etcd
[root@node1 ~]# export ETCDCTL_API=2 #根據節點設置數量
[root@node1 ~]# etcdctl member list
afc1b952a7b88713: name=node1 peerURLs=http://192.168.223.131:2380 clientURLs=http://192.168.223.1 31:2379 isLeader=true
fd636eb41152ae48: name=node2 peerURLs=http://192.168.223.130:2380 clientURLs=http://192.168.223.1 30:2379 isLeader=false- 錯誤處理：Job for etcd.service failed because the control process exited with error code. See "systemctl status etcd.service" and "journalctl -xe" for details.
cd /var/lib/etcd/default.etcd 刪除這個目錄下所有文件，如有重要數據請謹慎操作。- 錯誤處理：etcdctl member list
Error: client: etcd cluster is unavailable or misconfigured; error #0: dial tcp 127.0.0.1:4001: connect: connection refused
; error #1: dial tcp 127.0.0.1:2379: connect: connection refused
error #0: dial tcp 127.0.0.1:4001: connect: connection refused
error #1: dial tcp 127.0.0.1:2379: connect: connection refused
解決：vim /etc/etcd/etcd.conf 第六行結尾加上 ,http://127.0.0.1:2379
systemctl restart etcd 重啟解決- 錯誤處理：publish error: etcdserver: request timed out
解決：所有節點同時啟動五、 安裝Docker，配置使用集群存儲
1、安裝docker
2、配置Docker守護程序使用有群集存儲
[root@node1 ~]# vim /etc/docker/daemon.json
{
"registry-mirrors": ["https://7i5u59ls.mirror.aliyuncs.com"],
"cluster-store": "etcd://192.168.223.131:2379"
}3、重啟Docker進程，并檢查配置是否正確
[root@node1 ~]# systemctl restart docker
[root@node1 ~]# docker info | grep "Cluster Store"
Cluster Store: etcd://192.168.223.131:2379六、配置calico基于sysinit方式啟動
1、兩臺主機分別添加calico-node配置文件
[root@node1 calico]# vim /etc/calico/calico.env
ETCD_ENDPOINTS="http://192.168.223.131:2379,http://192.168.223.130:2379"
ETCD_CA_FILE=""
ETCD_CERT_FILE=""
ETCD_KEY_FILE=""
CALICO_NODENAME="node1"
CALICO_NO_DEFAULT_POOLS=""
CALICO_IP="192.168.223.131"
CALICO_IP6=""
CALICO_AS=""
CALICO_LIBNETWORK_ENABLED=true
CALICO_NETWORKING_BACKEND=bird2、兩臺主機分別添加calico-node sysinit配置文件
[root@node1 calico]# vim /etc/systemd/system/calico-node.service
[Unit]
Description=calico-node
After=docker.service
Requires=docker.service
[Service]
EnvironmentFile=/etc/calico/calico.env
ExecStartPre=-/usr/bin/docker rm -f calico-node
ExecStart=/usr/bin/docker run --net=host --privileged \
--name=calico-node \
-e NODENAME=${CALICO_NODENAME} \
-e IP=${CALICO_IP} \
-e IP6=${CALICO_IP6} \
-e CALICO_NETWORKING_BACKEND=${CALICO_NETWORKING_BACKEND} \
-e AS=${CALICO_AS} \
-e NO_DEFAULT_POOLS=${CALICO_NO_DEFAULT_POOLS} \
-e CALICO_LIBNETWORK_ENABLED=${CALICO_LIBNETWORK_ENABLED} \
-e ETCD_ENDPOINTS=${ETCD_ENDPOINTS} \
-e ETCD_CA_CERT_FILE=${ETCD_CA_CERT_FILE} \
-e ETCD_CERT_FILE=${ETCD_CERT_FILE} \
-e ETCD_KEY_FILE=${ETCD_KEY_FILE} \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /var/log/calico:/var/log/calico \
-v /run/docker/plugins:/run/docker/plugins \
-v /lib/modules:/lib/modules \
-v /var/run/calico:/var/run/calico \
calico/node:v2.6.1
ExecStop=-/usr/bin/docker stop calico-node
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target3、兩臺主機分別啟動calico-node服務
[root@node1 calico]# systemctl daemon-reload
[root@node1 calico]# systemctl start calico-node
[root@node1 calico]# tail -f /var/log/messages
...
Mar 11 12:23:46 node1 docker: Starting libnetwork service
Mar 11 12:23:46 node1 docker: Calico node started successfully4、下載calicoctl二進制文件，并添加執行權限
[root@node1 calico]# wget -O /usr/local/bin/calicoctl https://github.com/projectcalico/calicoctl/releases/download/v1.6.1/calicoctl
[root@node1 calico]# chmod +x /usr/local/bin/calicoctl
[root@node1 system]# calicoctl node status
Calico process is running.
IPv4 BGP status
+-----------------+-------------------+-------+----------+-------------+
| PEER ADDRESS | PEER TYPE | STATE | SINCE | INFO |
+-----------------+-------------------+-------+----------+-------------+
| 192.168.223.131 | node-to-node mesh | up | 10:29:48 | Established |
+-----------------+-------------------+-------+----------+-------------+
IPv6 BGP status
No IPv6 peers found.[root@node1 calico]# calicoctl get node
NAME
node1
node2
node3七、測試calico網絡
1、創建網絡
[root@node1 ~]# docker network create --driver calico --ipam-driver calico-ipam net1#在任意一臺主機，都可以看到新增的網絡插件
[root@node1 ~]# docker network ls2、在node1 node2 node3分別建立一個容器，查看IP地址
[root@node1 ~]# docker run --net net1 --name workload-A -tid busybox
[root@node1 ~]# docker exec -it workload-A ip addr
4: cali0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff
inet 192.168.166.128/32 scope global cali0
valid_lft forever preferred_lft forever[root@node2 ~]# docker run --net net1 --name workload-B -tid busybox
[root@node2 ~]# docker exec -it workload-B ip addr
4: cali0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue
link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff
inet 192.168.104.0/32 scope global cali0
valid_lft forever preferred_lft forever3、在node1的容器中(workload-A)，ping各結點的容器IP，測試網絡是否正常
docker exec workload-A ping 192.168.104.0
PING 192.168.104.0 (192.168.104.0): 56 data bytes
64 bytes from 192.168.104.0: seq=0 ttl=62 time=0.435 ms
64 bytes from 192.168.104.0: seq=1 ttl=62 time=0.507 ms4、查看各結點的路由表
[root@node1 ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.223.2 0.0.0.0 UG 100 0 0 ens33
172.17.0.0 0.0.0.0 255.255.0.0 U 0 0 0 docker0
192.168.104.0 192.168.223.130 255.255.255.192 UG 0 0 0 ens33
192.168.166.128 0.0.0.0 255.255.255.255 UH 0 0 0 calic5c95dfa8ad
192.168.166.128 0.0.0.0 255.255.255.192 U 0 0 0 *
192.168.223.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33參考：
Docker 使用Calico插件配置網絡 - 重啟一把梭 - 博客園 (cnblogs.com)
【錯誤解決】新建etcd集群報錯：publish error: etcdserver: request timed out_安安csdn的博客-CSDN博客
Error: client: etcd cluster is unavailable or misconfigured; error #0: dial tcp 127.0.0.1:4001: getsockopt: connection refused - 無蹤無影 - 博客園 (cnblogs.com)
原文鏈接：https://www.cnblogs.com/Biuget-Golang/p/16936126.html
相關推薦
- 2022-07-22 create-react-app腳手架核心源碼之/packages/react-scripts解讀
- 2022-11-23 GoLang?strings.Builder底層實現方法詳解_Golang
- 2022-12-03 GCC?指令詳解及動態庫、靜態庫的使用方法_其它綜合
- 2022-07-26 ubuntu18.04+cuda10.2+tensorrt8.4.1.5配置安裝
- 2022-07-16 簡述 Spring Bean的生命周期
- 2022-07-07 淺談Redis的異步機制_Redis
- 2022-09-27 Android實現密碼隱藏和顯示_Android
- 2023-02-09 C++命名空間?缺省參數?const總結?引用總結?內聯函數?auto關鍵字詳解_C 語言
- 最近更新
-
- window11 系統安裝 yarn
- 超詳細win安裝深度學習環境2025年最新版（
- Linux 中運行的top命令 怎么退出？
- MySQL 中decimal 的用法？ 存儲小
- get 、set 、toString 方法的使
- @Resource和 @Autowired注解
- Java基礎操作-- 運算符，流程控制 Flo
- 1. Int 和Integer 的區別，Jav
- spring @retryable不生效的一種
- Spring Security之認證信息的處理
- Spring Security之認證過濾器
- Spring Security概述快速入門
- Spring Security之配置體系
- 【SpringBoot】SpringCache
- Spring Security之基于方法配置權
- redisson分布式鎖中waittime的設
- maven:解決release錯誤：Artif
- restTemplate使用總結
- Spring Security之安全異常處理
- MybatisPlus優雅實現加密？
- Spring ioc容器與Bean的生命周期。
- 【探索SpringCloud】服務發現-Nac
- Spring Security之基于HttpR
- Redis 底層數據結構-簡單動態字符串（SD
- arthas操作spring被代理目標對象命令
- Spring中的單例模式應用詳解
- 聊聊消息隊列，發送消息的4種方式
- bootspring第三方資源配置管理
- GIT同步修改后的遠程分支
提供CDN加速