Docker使用Swarm組建集群的方法

2024-09-01 13:53:21

字體：大中小

來源：轉載

供稿：網友

Swarm 在 Docker 1.12 版本之前屬于一個獨立的項目，在 Docker 1.12 版本發布之后，該項目合并到了 Docker 中，成為 Docker 的一個子命令。目前，Swarm 是 Docker 社區提供的唯一一個原生支持 Docker 集群管理的工具。它可以把多個 Docker 主機組成的系統轉換為單一的虛擬 Docker 主機，使得容器可以組成跨主機的子網網絡。

Docker 使用 Swarm 可以很方便的在多個主機上創建容器集群，并且容器之間可以跨主機網絡通信。

Swarm 的集群分為 Manager 節點和 Worker 節點。

Swarm 中使用 Service 來創建/管理使用相同鏡像的多個容器，多個容器同時對外提供服務，多個容器之間負載均衡。每個 Service 有一個浮動IP（VIP），各個容器還有自己的物理IP。創建基于 Swarm 的 Overlay 網絡，將 Service 掛載到此網絡上。然后 Service 中的各個容器便可以通過 Service 名稱和 IP 地址實現網絡互通。

下面使用了三個機器來組建一個Swarm集群

bd0    192.168.0.109
bd1    192.168.0.192
bd2    192.168.0.193

Docker 開啟遠程管理

默認情況下，Docker守護進程會生成一個 /var/run/docker.sock 文件來進行本地進程通信，而不會監聽任何端口，所以默認情況下 Docker 只能在本地使用命令行操作。如果要在其它機器上遠程操作 Docker 主機，就需要讓 Docker 監聽一個端口，這樣才能實現遠程通信。

在我的 CentOS 7X 上，首先修改 Docker 配置文件 /etc/sysconfig/docker 中的 OPTIONS 參數，添加

-H unix:///var/run/docker.sock -H 0.0.0.0:5555

修改后參數類似

OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false -H unix:///var/run/docker.sock -H 0.0.0.0:5555'

然后重新啟動 Docker 服務

$ sudo systemctl restart docker.service

測試一下

sudo docker -H <HOST>:5555 images

創建 Swarm 集群

獲取 Swarm 鏡像

分別在三個節點上下載swarm鏡像

$ sudo docker pull swarm

初始化Swarm集群

首先在 bd0 節點上初始化 Swarm 集群

$ sudo docker swarm initError response from daemon: could not choose an IP address to advertise since this system has multiple addresses on different interfaces (192.168.0.109 on eth0 and 192.168.122.1 on virbr0) - specify one with --advertise-addr

第一次創建失敗了，原因是我的機器有兩塊網卡，Swarm不知道要用那塊網卡組建集群，所以需要使用 --advertise-addr 來指定使用那塊網卡。

$ sudo docker swarm init --advertise-addr 192.168.0.109Swarm initialized: current node (1egy2ark49q6xokudps5wykhn) is now a manager.To add a worker to this swarm, run the following command:  docker swarm join /  --token SWMTKN-1-0x11m2uk7ps9bh7nflkxwirgv0syvacl18rut3hilz4i9lgis3-d9m22hixt0b57hjj81im8bqdl /  192.168.0.109:2377

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions.

然后分別在 bd1 和 bd2 節點上運行下面命令將機器加入集群

$ sudo docker swarm join / --token SWMTKN-1-0x11m2uk7ps9bh7nflkxwirgv0syvacl18rut3hilz4i9lgis3-d9m22hixt0b57hjj81im8bqdl / 192.168.0.109:2377

This node joined a swarm as a worker.

下面查看一下集群節點信息

$ sudo docker node lsID              HOSTNAME STATUS AVAILABILITY MANAGER STATUS11ochjq4o1s2m6w4u8jxb37w6  bd1    Ready  Active1egy2ark49q6xokudps5wykhn * bd0    Ready  Active    Leaderb4e2ywnhhd6fhgfxtr1qh4gew  bd2    Ready  Active

創建集群跨主機網絡

首先查看一下集群網絡

$ sudo docker network lsNETWORK ID     NAME        DRIVER       SCOPE36679de6466b    bridge       bridge       local72e853673d8b    docker_gwbridge   bridge       localb45cef05e017    host        host        local1zzlk9hpwyqy    ingress       overlay       swarm

添加一個Swarm網絡

$ sudo docker network create --driver overlay myswarma04evrfrr4cvnbvrummzvg0mn

創建后，查看一下集群網絡

$ sudo docker network lsNETWORK ID     NAME        DRIVER       SCOPE36679de6466b    bridge       bridge       local72e853673d8b    docker_gwbridge   bridge       localb45cef05e017    host        host        local1zzlk9hpwyqy    ingress       overlay       swarma04evrfrr4cv    myswarm       overlay       swarm

部署服務

這里使用 nginx 服務來演示一下怎樣創建一個服務集群。

下載nginx鏡像

$ sudo docker pull nginx

創建服務

$ sudo docker service create --replicas 2 --name mynginx -p 8000:80 --network=myswarm nginx5xrm96xveqw5gq63srts1rbhw

這里創建了需要兩個 nginx 實例的 nginx 服務。同時，為了能被外網地址訪問，我們做了一下端口映射，映射到物理主機的8000端口。

查看服務

$ sudo docker service lsID      NAME   REPLICAS IMAGE COMMAND5xrm96xveqw5 mynginx 2/2    nginx$ sudo docker service ps mynginxID             NAME    IMAGE NODE   DESIRED STATE CURRENT STATE      ERROR1crmc5ecsjoci8xavxzbnbks3 mynginx.1 nginx bd0   Running    Running 23 seconds agodivhrq89xhxka8bvb8r9zqqhz mynginx.2 nginx bd2   Running    Running 20 seconds ago$ sudo docker service inspect mynginx..."VirtualIPs": [  {    "NetworkID": "1zzlk9hpwyqyocloxy9j9vct7",    "Addr": "10.255.0.6/16"  },  {    "NetworkID": "a04evrfrr4cvnbvrummzvg0mn",    "Addr": "10.0.0.2/24"  }]...

在bd0上查看

$ sudo docker psCONTAINER ID    IMAGE        COMMAND         CREATED       STATUS       PORTS        NAMESe480d427fd51    nginx:latest    "nginx -g 'daemon off"  41 seconds ago   Up 40 seconds    80/tcp       mynginx.1.1crmc5ecsjoci8xavxzbnbks3

在bd2上查看

$ sudo docker psCONTAINER ID    IMAGE        COMMAND         CREATED       STATUS       PORTS        NAMESc12d4f9eb457    nginx:latest    "nginx -g 'daemon off"  56 seconds ago   Up 52 seconds    80/tcp       mynginx.2.divhrq89xhxka8bvb8r9zqqhz

服務已經創建并啟動了，下面我們在瀏覽器訪問 http://bd0:8000 來驗證一下 nginx 服務的狀態。

服務的Failover

首先我們查看一下當前服務的狀態

$ sudo docker service ps mynginxID             NAME    IMAGE NODE   DESIRED STATE CURRENT STATE      ERROR1crmc5ecsjoci8xavxzbnbks3 mynginx.1 nginx bd0   Running    Running 23 seconds agodivhrq89xhxka8bvb8r9zqqhz mynginx.2 nginx bd2   Running    Running 20 seconds ago

然后在 bd2 上將其上的服務停止

$ sudo docker kill mynginx.2.divhrq89xhxka8bvb8r9zqqhzmynginx.2.divhrq89xhxka8bvb8r9zqqhz

再次觀察服務狀態，如下：

$ sudo docker service ps mynginxID             NAME      IMAGE NODE   DESIRED STATE CURRENT STATE      ERROR1crmc5ecsjoci8xavxzbnbks3 mynginx.1   nginx bd0   Running    Running 6 minutes agobr5iyie0dr945ixnq7s77kunr mynginx.2   nginx bd1   Running    Running 4 seconds agodivhrq89xhxka8bvb8r9zqqhz  /_ mynginx.2 nginx bd2   Shutdown    Failed 5 seconds ago   "task: non-zero exit (137)"

可以看到在 bd1 上又起了一個實例用來接替原來在 bd2 上的實例。

服務的擴容/縮容

增加服務實例

$ sudo docker service scale mynginx=3mynginx scaled to 3$ sudo docker service ps mynginxID             NAME      IMAGE NODE   DESIRED STATE CURRENT STATE        ERROR1crmc5ecsjoci8xavxzbnbks3 mynginx.1   nginx bd0   Running    Running 7 minutes agobr5iyie0dr945ixnq7s77kunr mynginx.2   nginx bd1   Running    Running about a minute agodivhrq89xhxka8bvb8r9zqqhz  /_ mynginx.2 nginx bd2   Shutdown    Failed about a minute ago  "task: non-zero exit (137)"985tln0aprsvjthjpve0n6qmz mynginx.3   nginx bd2   Running    Preparing 3 seconds ago

減少服務實例

$ sudo docker service scale mynginx=2mynginx scaled to 2$ sudo docker service ps mynginxID             NAME      IMAGE NODE   DESIRED STATE CURRENT STATE          ERROR1crmc5ecsjoci8xavxzbnbks3 mynginx.1   nginx bd0   Running    Running 7 minutes agobr5iyie0dr945ixnq7s77kunr mynginx.2   nginx bd1   Shutdown    Shutdown less than a second agodivhrq89xhxka8bvb8r9zqqhz  /_ mynginx.2 nginx bd2   Shutdown    Failed about a minute ago    "task: non-zero exit (137)"985tln0aprsvjthjpve0n6qmz mynginx.3   nginx bd2   Running    Running 5 seconds ago

刪除服務