Tag: training - Arca's Blog

No Results!

标签云

AI AI 编译器 Bash C/C++ Deepseek FL Federated Learning Foundry Haskell ICLR Linux NF4 Dequantization Network NumPy OCaml PyTorch Python QEMU RISC-V Rust SFL Solidity Training Triton Typst Web3 cuda distributed git ninetoothed training 低精度大模型大模型推理推理智能合约

Recent Update

.pth Model Format of PyTorch 单例模式 (Singleton)Raft Consensus Protocol ReAct Agent 框架 ZeRO: Zero Redundancy Optimizer [Paper] Flash Mask: 在 Flash Attention 上任意掩码以适配不同任务 Sage Attention v1,v2,v3 代码梳理 (2): Sage Attention v1,v2,v3 代码梳理 (1)：INT8 Per-Block Quant Kernel [Paper] Sage Attention v1: 对 Attention 的 INT8 PTQ [Paper] Sage Attention v2 与 v2++

Recent Tag: training Topic Archives

ZeRO: Zero Redundancy Optimizer

针对分布式训练的场景，对模型权重、优化器状态进行切分，从而减少显存占用

本站由 Arca Lunar 使用 Stellar 1.33.1 主题创建。
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。