提供第一部分基础篇介绍AI框架的AI框架核心技术相关的Slide。
首先介绍任何一个AI框架都离不开的自动微分,通过自动微分功能后就会产生表示神经网络的图和算子,然后介绍AI框架前端的优化,还有最近很火的大模型分布式训练在AI框架中的关键技术。
一. AI框架核心技术
编号 |
名称 |
具体内容 |
1 |
AI框架基础 |
AI框架的作用、发展、编程范式 |
2 |
自动微分 |
自动微分的实现方式和原理 |
3 |
计算图 |
计算图的概念,图优化、图执行、控制流表达 |
4 |
分布式集群 |
AI集群服务器架构、软硬件通信方式 |
5 |
分布式算法 |
大模型挑战,Transformer和MOE结构的大模型 |
6 |
分布式并行 |
数据并行、模型并行、混合并行的原理和策略 |
|
|
|