数据并行

将训练数据进行切分

梯度聚合

  • Param Server
  • All-Reduce

模型并行

将大模型的权重进行切分

License

本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议，转载请注明出处。