什么是大模型？大模型模型参数量实在太大，需要分布式并行训练能力一起来加速训练过程。分布式并行是在大规模AI集群上工作的，想要加速就需要软硬件协同，不仅仅要解决通信拓扑的问题、集群组网的问题，还要了解上层MOE、Transform等新兴算法。通过对算法的剖析，提出模型并行、数据并行、优化器并行等新的并行模式和通信同步模式，来加速分布式训练的过程。最小的单机执行单元里面，还要针对大模型进行混合精度、梯度累积等算法，进一步压榨集群的算力！
希望这个系列能够给大家、朋友们带来一些些帮助，也希望自己能够继续坚持完成所有内容哈！
内容大纲
PPT和字幕需要到 Github 下载，网页课程版链接会失效哦~建议优先下载 PDF 版本，PPT 版本会因为字体缺失等原因导致版本很丑哦~
| 大纲 | 小节 | 链接 |
|---|---|---|
| 分布式并行 | 01 基本介绍 | PPT, 视频 |
| 分布式并行 | 02 数据并行 | PPT, 视频 |
| 分布式并行 | 03 模型并行之张量并行 | PPT, 视频 |
| 分布式并行 | 04 MindSpore张量并行 | PPT, 视频 |
| 分布式并行 | 05 模型并行之流水并行 | PPT, 视频 |
| 分布式并行 | 06 混合并行 | PPT, 视频 |
| 分布式汇总 | 07 分布式训练总结 | PPT, 视频 |
:maxdepth: 2
01.introduction
02.data_parallel
03.tensor_parallel
04.mindspore_parallel
05.pipeline_parallel
06.hybrid_parallel
07.summary