Skip to content

AI_Framework_V0.1

Pre-release
Pre-release
Compare
Choose a tag to compare
@chenzomi12 chenzomi12 released this 03 Feb 09:06
· 720 commits to main since this release
fa58081

提供第一部分基础篇介绍AI框架的AI框架核心技术相关的Slide。

首先介绍任何一个AI框架都离不开的自动微分,通过自动微分功能后就会产生表示神经网络的图和算子,然后介绍AI框架前端的优化,还有最近很火的大模型分布式训练在AI框架中的关键技术。

一. AI框架核心技术

编号 名称 具体内容
1 AI框架基础 AI框架的作用、发展、编程范式
2 自动微分 自动微分的实现方式和原理
3 计算图 计算图的概念,图优化、图执行、控制流表达
4 分布式集群 AI集群服务器架构、软硬件通信方式
5 分布式算法 大模型挑战,Transformer和MOE结构的大模型
6 分布式并行 数据并行、模型并行、混合并行的原理和策略