在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？
有时候爬虫只需要在一个服务器上面运行，有时候需要在200个服务器上面运行。你是怎么快速切换的呢？一个服务器一个服务器登录上去开关？或者聪明一点，在Redis里面设置一个可以修改的标记，只有标记对应的服务器上面的爬虫运行？
A爬虫已经在所有服务器上面部署了，现在又做了一个B爬虫，你是不是又得依次登录每个服务器再一次部署？
如果你确实是这么做的，那么你应该后悔没有早一点看到这篇文章。看完本文以后，你能够做到：
2分钟内把一个新爬虫部署到50台服务器上：
docker build -t localhost:8003/spider:0.01 . docker push localhost:8002/spider:0.01 docker service create --name spider --replicas 50 --network host 45.77.138.242:8003/spider:0.01
30秒内把爬虫从50台服务器扩展到500台服务器：
docker service scale spider=500
30秒内批量关闭所有服务器上的爬虫：
docker service scale spider=0
1分钟内批量更新所有机器上的爬虫：
docker build -t localhost:8003/spider:0.02 . docker push localhost:8003/spider:0.02 docker service update --image 45.77.138.242:8003/spider:0.02 spider
这篇文章不会教你怎么使用Docker，所以请确定你有一些Docker基础再来看本文。
Docker Swarm是什么
Docker Swarm是Docker自带的一个集群管理模块。他能够实现Docker集群的创建和管理。
环境搭建
本文将会使用3台Ubuntu 18.04的服务器来进行演示。这三台服务器安排如下：
Master：45.77.138.242
Slave-1：199.247.30.74
Slave-2：95.179.143.21
Docker Swarm是基于Docker的模块，所以首先要在3台服务器上安装Docker。安装完成Docker以后，所有的操作都在Docker中完成。
在Master上安装Docker
通过依次执行下面的命令，在Master服务器上安装Docker
apt-get update apt-get install -y apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add - add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable" apt-get update apt-get install -y docker-ce
创建Manager节点
一个Docker Swarm集群需要Manager节点。现在初始化Master服务器，作为集群的Manager节点。运行下面一条命令。
docker swarm init
运行完成以后，可以看到的返回结果下图所示。
这个返回结果中，给出了一条命令：
这条命令需要在每一个从节点（Slave）中执行。现在先把这个命令记录下来。
初始化完成以后，得到一个只有1台服务器的Docker 集群。执行如下命令：
docker node ls
可以看到当前这个集群的状态，如下图所示。
创建私有源（可选）
创建私有源并不是一个必需的操作。之所以需要私有源，是因为项目的Docker镜像可能会涉及到公司机密，不能上传到DockerHub这种公共平台。如果你的镜像可以公开上传DockerHub，或者你已经有一个可以用的私有镜像源，那么你可以直接使用它们，跳过本小节和下一小节。
私有源本身也是一个Docker的镜像，先将拉取下来：
docker pull registry:latest
如下图所示。
现在启动私有源：
如下图所示。
在启动命令中，设置了对外开放的端口为8003端口，所以私有源的地址为：45.77.138.242:8003
提示:
这样搭建的私有源是HTTP方式，并且没有权限验证机制，所以如果对公网开放，你需要再使用防火墙做一下IP白名单，从而保证数据的安全。
允许docker使用可信任的http私有源（可选）
如果你使用上面一个小节的命令搭建了自己的私有源，由于Docker默认是不允许使用HTTP方式的私有源的，因此你需要配置Docker，让Docker信任它。
使用下面命令配置Docker：
echo '{ "insecure-registries":["45.77.138.242:8003"] }' >> /etc/docker/daemon.json
然后使用下面这个命令重启docker。
systemctl restart docker
如下图所示。
重启完成以后，Manager节点就配置好了。
创建子节点初始化脚本
对于Slave服务器来说，只需要做三件事情：
- 安装Docker
- 加入集群
- 信任源
从此以后，剩下的事情全部交给Docker Swarm自己管理，你再也不用SSH登录这个服务器了。
为了简化操作，可以写一个shell脚本来批量运行。在Slave-1和Slave-2服务器下创建一个 init.sh 文件，其内容如下。
apt-get update
apt-get install -y apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable"
apt-get update
apt-get install -y docker-ce
echo '{ "insecure-registries":["45.77.138.242:8003"] }' >> /etc/docker/daemon.json
systemctl restart docker
docker swarm join --token SWMTKN-1-0hqsajb64iynkg8ocp8uruktii5esuo4qiaxmqw2pddnkls9av-dfj7nf1x3vr5qcj4cqiusu4pv 45.77.138.242:2377
把这个文件设置为可自行文件，并运行：
chmod +x init.sh ./init.sh
如下图所示。
等待脚本运行完成以后，你就可以从Slave-1和Slave-2的SSH上面登出了。以后也不需要再进来了。
回到Master服务器，执行下面的命令，来确认现在集群已经有3个节点了：
docker node ls
看到现在集群中已经有3个节点了。如下图所示。
到止为止，最复杂最麻烦的过程已经结束了。剩下的就是体验Docker Swarm带来的便利了。
创建测试程序
搭建测试Redis
由于这里需要模拟一个分布式爬虫的运行效果，所以先使用Docker搭建一个临时的Redis服务：
在Master服务器上执行以下命令：
这个Redis对外使用 7891 端口，密码为 KingnameISHandSome8877 ，IP就是Master服务器的IP地址。
编写测试程序
编写一个简单的Python程序：
import time
import redis
client = redis.Redis(host='45.77.138.242', port='7891', password='KingnameISHandSome8877')
while True:
data = client.lpop('example:swarm:spider')
if not data:
break
print(f'我现在获取的数据为：{data.decode()}')
time.sleep(10)
这个Python每10秒钟从Redis中读取一个数，并打印出来。
编写Dockerfile
编写Dockerfile，基于Python3.6的镜像创建我们自己的镜像：
from python:3.6 label mantainer='[email protected]' user root ENV PYTHONUNBUFFERED=0 ENV PYTHONIOENCODING=utf-8 run python3 -m pip install redis copy spider.py spider.py cmd python3 spider.py
构建镜像
编写完成Dockerfile以后，执行下面的命令，开始构建我们自己的镜像：
docker build -t localhost:8003/spider:0.01 .
这里需要特别注意，由于我们要把这个镜像上传到私有源供Slave服务器上面的从节点下载，所以镜像的命名方式需要满足 localhost:8003