DeepSpeed

DeepSpeed是微软研究院推出的分布式深度学习训练框架，专注于大规模模型的高效训练，支持数据并行、模型并行和流水线并行（3D并行），可训练从数十亿到万亿参数的模型。 核心特性 – ZeRO优化技术：通过分布式存储优化器状态、梯度和模型参数，降低显存占用，支持更大模型训练 。 – 混合精度训练：结合FP16/BF16和INT8量化，减少显存需求并提升训练速度 。 – 3D并行架构： – 数据并行：多卡同步更新模型参数 。 – 模型并行：按层切分模型，减少单卡显存压力 。 – 流水线并行：类似CPU流水线，提升计算吞吐量 。 适用场景 – 企业级大模型训练（如百川、ChatGLM等） 。 – 支持LoRA、ResTuning等高效训练方法 。 优势 – 显存优化：参数切分后显存占用降低至原始的1/8 。 – 扩展性：可在千卡级GPU集群上运行，支持TPU/NPU 。 – 企业级部署：提供监控工具、多云支持及Azure深度集成 。