Articles under the label of 分布式

1. 分布式训练的基本概念分布式训练 - Colossal-AI分布式训练需要多台机器/GPU. 在模型训练期间，这些设备之间会有通信. 为了更好地理解分...

1. 任务队列与消息队列任务队列与消息队列都是由队列实现的异步协议. 其最大不同在于，消息队列传递的是“消息”，任务队列传递的是“任务”消息队列(Mess...

基于多个 GPUs 的数据并行化处理，其基本思想是，每个 GPU 复制一个模型副本，分别对 batch 数据进行前向和后向计算. 后向计算的梯度发送到服...

原文：pytorch多gpu并行训练 - 2019.12.19作者：link-web环境：Ubuntu14, 18LST 调试解决了不少迷惑, 记录、学习...