NCCL （NVIDIA Collective Communications Library）_黄昏贩卖机的博客-程序员宅基地

技术标签： hard core system  python  深度学习  人工智能  

NCCL

Overview of NCCL

NCCL : NVIDIA Collective Communications Library 英伟达集体通信库
提供集合通信和点对点通信的 发送/接收原语。不是个成熟的并行编程框架；而是一个加速GPU内通信的库

NCCL 提供如下集体通信原语（collective communication primitives）：

  • AllReduce
  • Broadcast
  • Reduce
  • AllGather
  • ReduceScatter

他也允许点到点的收发通信，包括：散播（scatter），聚集（gather），或者all-to-all 操作。

通信处理器间的紧密同步是集合通信的关键方面。 基于CUDA的集体的传统地实现是通过 CUDA 内存复制操作和CUDA内核来进行本地削减 (redection) 。NCCL, 实现了每个集合在单一内核上处理通信和计算操作。这样就允许实现快速同步和减少达到峰值带宽所需要的资源。

NCCL 方便地消除了开发人员在特定机器上优化他们的应用的需求。NCCL 提供了节点内或跨界节点的多GPU 的快速的集体（collectives）。它支持各种互联技术，包括PCIe, NVLINK, InfiniBand Verbs, and IP sockets.

除了性能，变成易用性也是NCCL设计的考虑因素，NCCL使用见到的C API 可以从多种编程语言轻松访问。

NCCL几乎兼容任何多GPU并行化模型，例如：

  • 单线程控制所有的GPU
  • 多线程的，例如每个GPU由一个线程控制
  • 多进程的，例如 MPI

NCCL 在深度学习框架有巨大的作用，AllReduce 集合大量应用于神经网络训练。 通过 NCCL 提供的多 GPU 和多节点通信，可以有效扩展神经网络训练。

集合操作 Collective Operations

集合操作需要被每个rank(rank 是指的CUDA设备) 待用来组成一个完整的集合操作。如果不这样做，将导致其他队伍无限期地等待。

AllRedeuce

AllReduce 操作对跨设备的数据执行规约操作，并将结果写入每个rank的接收缓冲区。

AllReduce 操作与rank的排序无关。

AllReduce 以 K个数组开始，这些数组含有各自独立的N个值。并以N个值相同的S数组结束。 对于每个rank，S[i] = V0[i] + V1[i] +…+Vk-1[i]

在这里插入图片描述

Broadcast

将一个root rank的N的元素的buffer 复制到所有rank上

在这里插入图片描述

Reduce

执行过程和allReduce相似，不过仅仅将结果写入特定的 root rank

在这里插入图片描述
一个reduce 操作后，执行broadcast操作效果和 allreduce一样

AllGather

K个rank中，每个rank中N个值，聚集在一起。输出结果按照rank 标号排序。

在这里插入图片描述

ReduceScatter

执行起来和reduce类似，不过结果会散布在各个rank的block中。每个rank 根据其标号获得一部分数据。
在这里插入图片描述
ReduceScatter 会受rank布局的影响。

ring-allreduce

参考 ： 知乎文章 CSDN文章
在这里插入图片描述
GPU分布式计算，GPU1~4卡，负责网络参数的训练，每个卡上布置了相同的深度学习网络，每个卡都分配到不同的数据的minibatch。每张卡训练结束后将网络参数同步到GPU0，也就是Reducer这张卡上，然后再求参数变换的平均下发到每张计算卡，整个流程有点像mapreduce的原理。

涉及两个问题:

  • 每一轮训练迭代都需要所有的卡将数据同步完，做一次reduce才算结束。 如果卡数比较少的情况下，其实影响不大，但是如果并行的卡很多的时候，就涉及到计算快的卡需要去等待计算慢的卡的情况，造成计算资源的浪费。

  • 每次迭代所有的计算GPU卡都需要针对全部模型参数，跟Redcue卡进行通信。数据量大，通信开销大，随卡的数量增多开销会线性增长。

Ring Allredcue ，通过将GPU卡的通信模型拼接成一个环形，从而减少卡数增加带来的资源消耗。

在这里插入图片描述
该算法的过程主要分成两步：1、scatter-reduce 2、allgather

1、 scatter-reduce
如果有n块GPU，将GPU上的数据划分成n块，并指定GPU的左右邻居
然后开始n-1次操作，在第 i 次操作时， GPU j会将自己的第 (j-i)%n 快数据发送给GPU j+1，并接受来自 GPU j-1的 (j-i-1)%n 的数据，如下图
在这里插入图片描述
当n-1次操作完成后，ring-allreduce的第一大步scatter-reduce就已经完成了，此时，第i块gpu的第(i + 1) % n块数据已经收集到了所有n块gpu的第(i + 1) % n块数据，那么，再进行一次allgather就可以完成算法了。

第二部： allgather，通过n-1传递把第 i 块 GPU的第 (i+1)%n 块数据传递给其他GPU。
最后每个GPU就变成了如下所示：

在这里插入图片描述
一下图来自 https://blog.csdn.net/dpppBR/article/details/80445569
举一个3gpu的例子：
首先是第一步，scatter-reduce：
在这里插入图片描述
然后是allgather的例子：在这里插入图片描述
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/greatcoder/article/details/125668186

智能推荐

Eclipse安装Perl插件-程序员宅基地

编辑删除http://www.cnblogs.com/emanlee/archive/2012/08/11/2633701.htmlEclipse安装Perl EPIC插件,在Eclipse中开发Perl项目前提：已经安装了 Eclipse，Java，Perl(例如 ActivePerl)。步骤：启动Eclipse，Eclipse中， 选择 _perl插件

ie浏览器自动清理缓存简单设置方法_ie自动清理缓存-程序员宅基地

1.在IE浏览器中点击工具，找到“Internet选项”。ie浏览器自动清理缓存简单设置方法[多图]2.打开“Internet选项”后如下图。ie浏览器自动清理缓存简单设置方法[多图]3.在选项卡中点击“高级”。然后找到“关闭浏览器时情况…”，在前选上。ie浏览器自动清理缓存简单设置方法[多图]最后点击确定即可。以后就每次在关闭浏览器时，缓存中的浏览记录也会跟着被删除了。内容来源：win7旗舰版..._ie自动清理缓存

Node.js mm131图片批量下载爬虫1.00 iconv协助转码-程序员宅基地

//======================================================// mm131图片批量下载爬虫1.00// 2017年11月15日//======================================================// 内置http模块var http=requi..._mn131爬虫

Android提高第四篇之Activity+Intent-程序员宅基地

本文来自http://blog.csdn.net/hellogv/，引用必须注明出处！ Android有三个基础组件Activity,Service和BroadcastReceiver，他们都是依赖Intent来启动。本文介绍的是Activity的生命周期以及针对Activity的Intent使用。 之前的例子一直都是使用Activity，在一个Layout XML与一...

python shutil模块安装_python之模块之shutil模块-程序员宅基地

shutil-- --High-level file operations 高级的文件操作模块。os模块提供了对目录或者文件的新建/删除/查看文件属性，还提供了对文件以及目录的路径操作。比如说：绝对路径，父目录…… 但是，os文件的操作还应该包含移动 复制 打包 压缩 解压等操作，这些os模块都没有提供。而本章所讲的shutil则就是对os中文件操作的补充。--移动 复制 打包 压缩 解压..._如何手动安装shutil

Linux下查看线程—pstack-程序员宅基地

需求：研发改进了某一程序，time_point_logger线程由原来的6个线程改为3个，需验证是否修改了思路：1.找到目标程序所占的所有线程；2.查看需求中所提线程的数量；操作：1.pstack pid首先要找到程序对应的pidps aux | grep peer_tracker (peer_tracker 为目标程序)，见下图，能找到pid...

随便推点

Java 一些常用工具类_java工具类-程序员宅基地

注：java中可以获取文件形式的也可以获取jar包形式的，有些工具也是借鉴一些前辈的心血，如有见地，欢迎评论.1.ClassUtils.java（获取包下所有类）import java.io.File;import java.io.FileFilter;import java.io.IOException;import java.net.JarURLConnection;impor..._java工具类

elk安装-程序员宅基地

1. 下载elk安装包 [root@k8smaster1 ~]# ls elasticsearch-5.5.2.rpm kibana-5.5.2-x86_64.rpm logstash-5.5.2.rpm2. 安装elk安装包 [root@k8smaster1 ~]# rpm -ivh logstash-5.5.2.rpm warning: logstash

[机器学习]（七）cs229之混合高斯模型-程序员宅基地

这篇讨论使用期望最大化算法（Expectation-Maximization）来进行密度估计（density estimation）。 与k-means一样，给定的训练样本是，我们将隐含类别标签用表示。与k-means的硬指定不同，我们首先认为是满足一定的概率分布的，这里我们认为满足多项式分布，，其中，有k个值{1,…,k}可以选取。而且我们认为在给定后，满足多值高斯分布，即。由此可以得

Spring中声明式事务的两种实现方式_spring声明事务的两种方式-程序员宅基地

spring声明式事务的实现方式：注解版与xml文件版_spring声明事务的两种方式

python函数可以按照参数名称方式传递参数_Python函数的参数传递-程序员宅基地

在定义函数时，如果有些参数存在默认值，即部分参数不一定需要调用程序输入，可以在定义函数时直接为这些参数指定默认值。这时候当我们调用函数时，如果没有传入对应的参数值，那么这时候程序就会用之前的默认值来替代在这个参数，参见下面例子：def leju(str,times = 2):print(str*times)leju(“hello~”)输出结果如下：def leju(str,times = 2):p..._python中参数按照名称传递

G711和h264的同步_g.711 h264 通过sdp ,同时解码-程序员宅基地

G.711的帧长为10ms,位速率为64kbps，也即是8kBps,即1s传输8000个字节，RTP打包时 ，对于音频包，每个包封装1000个字节，即0x03f4,所以1s内会发送8个这样的音频包，由于音频的始终频率为8000Hz，所以每两个音频包间的时间戳差为1000Hz；而视频包时钟频率为90000Hz,1秒钟25帧图像，所以每两帧的时间戳差为3600Hz._g.711 h264 通过sdp ,同时解码

推荐文章

热门文章

相关标签