017_分布式机器学习

[源码解析] 深度学习流水线并行 PipeDream(6)— 1F1B策略

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段，运行时引擎和 […]

[源码解析] 深度学习流水线并行 PipeDream(5)— 通信模块

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段，模型转换阶段和运行时引擎， […]

[源码解析] 深度学习流水线并行 PipeDream(4)— 运行时引擎

在前文中，我们介绍了PipeDream的总体架构，Profile阶段，计算分区阶段和模型转换阶段，本文我们介绍 […]

[源码解析] 深度学习流水线并行 PipeDream(2)— 计算分区

在前文中，我们介绍了PipeDream的总体架构和Profile阶段，本文我们继续介绍计算分区阶段。 [源码解 […]

[源码解析] 深度学习流水线并行 GPipe(3) —-重计算

GPipe是一个基于 Google Brain 开发的，支持超大规模模型的神经网络训练并行库，本文介绍其重计算 […]

[源码解析] 深度学习流水线并行GPipe (2) —– 梯度累积

梯度累积是一种增大训练时 batch size的技术，在本地使用 micro-batch 多次进行正向和反向传 […]

[源码解析] PyTorch 分布式(2) — 数据加载之DataLoader

为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角 […]

[源码解析] PyTorch 分布式(1) — 数据加载之DistributedSampler

为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以 […]

[源码解析] 深度学习分布式训练框架 horovod (17) — 弹性训练之容错

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

[源码解析] 深度学习分布式训练框架 horovod (13) — 弹性训练之 Driver

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

[源码解析] 深度学习分布式训练框架 horovod (11) — on spark — GLOO 方案

Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列 […]

热门专题

编程技术
CVE-2019-0193：Apache
前端通过ajax方式获取后台数据填充下拉列表
[导入]【爱情】小事件の车祸
C语言中快速排序算法
MySQL和PostgreSQL
使用AviSynth将高清mov文件导入并重编码为MKV
一款优秀的国产性能测试工具kylinPET在麒麟操作系统上的能力表现
hbase单机版安装及phoenix安装
div横排放置对齐问题；block
股票涨跌预测方法之一：下载股票数据
逻辑备份
SDK接口设计实践
计算机技术与应用进展(三本)
10：连Windows
遇到的一些问题以及解决办法
多线程猜想
超强PCB布线设计经验谈【附原理图】
一张思维导图辅助你深入了解
安装与调试
Bootstrap框架简介
对话框模板添加加速键