安装ompi

准备ompi安装包

1. 下载ompi：https://github.com/open-mpi/ompi/releases

版本建议大于4.0.0。
因为发现openmpi-4.0.0里面没有configure，只找到config，因此我自己用的是openmpi-4.0.1.tar.gz。

2. 把ompi压缩包上传到要安装horovod的服务器。

安装ompi

1. 我没有完全按照horovod指向的教程来，而是根据ompi的README.md做了些许修改：

# 解压安装包
gunzip -c openmpi-4.0.1.tar.gz | tar xf -
cd openmpi-4.0.1

# 配置
/configure --prefix=/usr/local

# make
make -j 16
sudo make install

修改环境变量

我个人习惯在~/.bashrc里面添加：

vim ~/.bashrc

加入如下语句：

export PATH=/usr/local/lib/openmpi:$PATH

使新的环境变量生效：

source ~/.bashrc

安装horovod

安装

pip install horovod

Building wheel for horovod (setup.py) 这一步需要等待良久。

测试安装成功

用如下命令测试horovod是否安装成功：

import horovod.tensorflow as hvd
print(hvd.__path__)