文字课程内容正在一节节补充更新，尽可能抽空继续更新正在 AIInfra，希望您多多鼓励和参与进来！！！
文字课程开源在 AISys，系列视频托管B 站 ZOMI 酱和油管 ZOMI6222，PPT 开源在 AIInfra，欢迎取用！！！
这个开源项目英文名字叫做AIInfra，中文名字叫做AI基础设施。大模型是基于 AI 集群的全栈软硬件性能优化，通过最小的每一块 AI 芯片组成的 AI 集群，编译器使能到上层的 AI 框架，训练过程需要分布式并行、集群通信等算法支持，而且在大模型领域最近持续演进如智能体等新技术。
本开源课程主要是跟大家一起探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 大模型系统的基础软硬件栈，因此成为 AI 基础设施。希望跟所有关注 AI 开源课程的好朋友一起探讨研究，共同促进学习讨论。
与AISystem[https://github.com/chenzomi12/AISystem] 项目最大的区别就是 AIInfra 项目主要针对大模型，特别是大模型在分布式集群、分布式架构、分布式训练、大模型算法等相关领域进行深度展开。
课程主要包括以下模块，内容陆续更新中，欢迎贡献：
| 序列 | 教程内容 | 简介 | 地址 | 状态 |
|---|---|---|---|---|
| 00 | 大模型系统概述 | 系统梳理了大模型关键技术点，涵盖Scaling Law的多场景应用、训练与推理全流程技术栈、AI系统与大模型系统的差异，以及未来趋势如智能体、多模态、轻量化架构和算力升级。 | Slides | 待更 |
| 01 | AI 计算集群 | 大模型虽然已经慢慢在端测设备开始落地，但是总体对云端的依赖仍然很重很重，AI 集群会介绍集群运维管理、集群性能、训练推理一体化拓扑流程等内容。 | Slides | 待更 |
| 02 | 通信与存储 | 大模型训练和推理的过程中都严重依赖于网络通信，因此会重点介绍通信原理、网络拓扑、组网方案、高速互联通信的内容。存储则是会从节点内的存储到存储 POD 进行介绍。 | Slides | DONE |
| 03 | 集群容器与云原生 | 讲解容器与K8S技术原理及AI模型部署实践，涵盖容器基础、Docker与K8S核心概念、集群搭建、AI应用部署、任务调度、资源管理、可观测性、高可靠设计等云原生与大模型结合的关键技术点。 | Slides | 待更 |
| 04 | 分布式训练 | 大模型训练是通过大量数据和计算资源，利用 Transformer 架构优化模型参数，使其能够理解和生成自然语言、图像等内容，广泛应用于对话系统、文本生成、图像识别等领域。 | Slides | 更新中 |
| 05 | 分布式推理 | 大模型推理核心工作是优化模型推理，实现推理加速，其中模型推理最核心的部分是Transformer Block。本节会重点探讨大模型推理的算法、调度策略和输出采样等相关算法。 | Slides | 更新中 |
| 06 | 大模型算法与数据 | Transformer起源于NLP领域，近期统治了 CV/NLP/多模态的大模型，我们将深入地探讨 Scaling Law 背后的原理。在大模型算法背后数据和算法的评估也是核心的内容之一，如何实现 Prompt 和通过 Prompt 提升模型效果。 | Slides | 更新中 |
| 07 | 大模型应用 | 当前大模型技术已进入快速迭代期。这一时期的显著特点就是技术的更新换代速度极快，新算法、新模型层出不穷。因此本节内容将会紧跟大模型的时事内容，进行深度技术分析。 | Slides | 更新中 |
本课程主要为本科生高年级、硕博研究生、AI 大模型系统从业者设计，帮助大家：
-
完整了解 AI 的计算机系统架构，并通过实际问题和案例，来了解 AI 完整生命周期下的系统设计。
-
介绍前沿系统架构和 AI 相结合的研究工作，了解主流框架、平台和工具来了解 AI 大模型系统。
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 1 | 大模型系统概述 | 大模型系统的总体介绍和概览 | 待更 |
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 1 | 计算集群之路 | 待更 | |
| 2 | 集群建设之巅 | 待更 | |
| 3 | 集群性能分析 | 待更 |
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 1 | AI 集群组网之路 | 集群组网的相关技术 | 待更 |
| 2 | 网络通信进阶 | 待更 | |
| 3 | 集合通信原理 | 通信域、通信算法、集合通信原语 | 待更 |
| 4 | 集合通信库 | 待更 | |
| 5 | AI 集群存储之路 | 数据存储、CheckPoint 梯度检查点等存储与大模型结合的相关技术 | 待更 |
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 1 | 容器时代 | 待更 | |
| 2 | Docker 与 K8S 初体验 | 待更 | |
| 3 | 深入 K8S | 待更 | |
| 4 | AI 集群云平台 Cloud for AI | 待更 |
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 1 | 分布式并行基础 | 待更 | |
| 2 | 大模型并行进阶 | 待更 | |
| 3 | 大模型训练加速 | 待更 | |
| 4 | 大模型后训练与强化学习 | 待更 | |
| 5 | 大模型微调 SFT | 待更 | |
| 6 | 大模型验证评估 | 待更 |
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 1 | 大模型推理基本概念 | 待更 | |
| 2 | 大模型推理加速 | 待更 | |
| 3 | 架构调度加速 | 待更 | |
| 4 | 长序列推理 | 待更 | |
| 5 | 输出采样 | 待更 | |
| 6 | 大模型压缩 | 待更 | |
| 7 | 推理框架架构分析 | 待更 | |
| 8 | 推理框架架构分析 | 待更 |
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 1 | Transformer 架构 | Transformer架构原理介绍 | 待更 |
| 2 | MoE 架构 | MoE(Mixture of Experts) 模型架构原理与细节 | 待更 |
| 3 | 创新架构 | SSM、MMABA、RWKV、Linear Transformer 等新大模型结构 | 待更 |
| 4 | 图文生成与理解 | 待更 | |
| 5 | 视频大模型 | 待更 | |
| 6 | 语音大模型 | 待更 | |
| 7 | 数据工程 | 数据工程、Prompt Engine 等相关技术 | 待更 |
| 编号 | 名称 | 具体内容 | 状态 |
|---|---|---|---|
| 00 | 大模型热点 | OpenAI、WWDC、GTC 等大会技术洞察 | 持续 |
| 01 | AI Agent简单概念 | AI Agent 智能体的原理、架构 | DONE |
| 02 | AI Agent技术与实践 | 深入 AI Agent 原理和核心 | 待更 |
| 03 | 检索增强生成(RAG) | 检索增强生成技术的介绍 | 待更 |
| 04 | 自动驾驶 | 端到端自动驾驶技术原理解析，萝卜快跑对产业带来的变化 | DONE |
| 05 | 具身智能 | 关于对具身智能的技术原理、具身架构和产业思考 | DONE |
| 06 | 生成推荐 | 推荐领域的革命发展历程，大模型迎来了生成式推荐新的增长 | DONE |
| 07 | AI 安全 | 隐私计算的发展过程与 Apple 引入隐私计算，到底隐私计算未来发展如何？ | DONE |
| 7 | AI 历史十年 | AI 过去十年的重点事件回顾，2012 到 2025 年从模型、算法、芯片硬件的发展 | DONE |
这个仓已经到达疯狂的 10G 啦（ZOMI 把所有制作过程、高清图片都原封不动提供），如果你要 git clone 会非常的慢，因此建议优先到 Releases · chenzomi12/AIInfra 来下载你需要的内容！
非常希望您也参与到这个开源课程中，B 站给 ZOMI 留言哦！
欢迎大家使用的过程中发现 bug 或者勘误直接提交代码 PR 到开源社区哦！
请大家尊重开源和 ZOMI 的努力，引用 PPT 的内容请规范转载标明出处哦！