实现容器跨主机通信

Docker 跨主机 Overlay 网络动手实验 · 风与云原生

前几天在两台虚拟机上面实现了容器的跨主机通信，今天进行梳理一下整个流程。

原理

目前跨主机容器的通信大部分使用的是 VXLAN 协议，即在三层网络之上，构建一个虚拟的二层网络。要构建这样一个虚拟网络，即在两个设备之间的传输双方约定好的信息格式，双方通过解析特定信息格式知道消息是发送给谁的，从而达到双方通信的目的，VXLAN 协议内部使用 UDP 来进行消息的传输。

实验中，整个网络的架构是这样的：

流程

当在172.18.10.2 的容器上面 ping 172.18.20.2 时，因为增加了如下的路由

sudo ip route add 172.18.20.0/24 dev vxlan100

消息会被路由到 vxlan100 上面， vxlan100 的信息如下，他知道用的是本地的 enp0s3 网卡和对端的通信端口 4789。

$ sudo ip link add vxlan100 type vxlan \
    id 100 \
    local 192.168.31.183 \
    dev enp0s3 \
    dstport 4789 \
    nolearning

当信息到达vxlan100 的一端时，vxlan 需要知道另一端在哪里，才可以在对信息做进一步封装后，发送到对端。FDB 表在这个时候就起了作用，如下是手动添加 FDB 表时使用的命令：

sudo bridge fdb append 0e:e6:e6:5d:c2:da dev vxlan100 dst 192.168.31.192

其中vxlan100 对端的网卡 ip 为192.168.31.192，对端的vxlan100的虚拟网卡地址为 $0e:e6:e6:5d:c2:da$ ,通过已知的这些信息 vxlan 按照 VXLAN 协议的格式进行消息组装，然后发送到对端，对端也按照协议格式进行解析，就知道消息真正的接收方是谁了。

以上只是理解了大致的流程是什么样的，等树莓派全了之后，可以进行一次抓包实战下。