AIHGF

OpenMPI - 并行库的安装与配置
虽然官方Caffe 是采用 NCCL 进行分布式训练, 但也有一些 Caffe 分支是采用 MPI 分布式训练网络...
扫描右侧二维码阅读全文
18
2018/05

OpenMPI - 并行库的安装与配置

虽然官方Caffe 是采用 NCCL 进行分布式训练, 但也有一些 Caffe 分支是采用 MPI 分布式训练网络, 如 Caffe-Intel.

环境:
- Ubuntu
- NCCL
- OpenMPI

1. NCCL 库安装

在多个 GPU 上并行计算, Caffe 需要使用 NVIDIA NCCL.

$ git clone https://github.com/NVIDIA/nccl.git
$ cd nccl
$ sudo make install -j4
$ sudo ldconfig

2. OpenMPI 安装

  1. 下载 OpenMPI v2.0.2
  2. 解压文件,并进入文件夹,指定安装路径(默认路径:/usr/local/lib)
wget https://www.open-mpi.org/software/ompi/v2.0/downloads/openmpi-2.0.2.tar.gz
tar zxvf openmpi-2.0.2.tar.gz
cd openmpi-2.0.2
sudo ./configure --prefix=/usr/local
  1. 编译安装
sudo make
sudo make install 
  1. 配置环境变量(~/.bashrc)
export PATH=$PATH:/usr/local/openmpi/bin  
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/openmpi/lib/  
source ~/.bashrc  
sudo ldconfig  
  1. 测试
cd examples
make
mpirun -np 8 hello_c
Last modification:October 9th, 2018 at 09:31 am

Leave a Comment