NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，或者说是一个多卡通信框架
Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。
版权声明：本文为hxxjxw原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。
NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，或者说是一个多卡通信框架
Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。