AI 编译器将模型分解为张量计算图,再对张量计算图进行优化,通过算子融合等一系列技术,让模型推理更加高效
从自动微分机制,剖析当下大模型训练系统
大模型逐渐从实验室走向商业企业,我们需要大模型推理系统来支撑起大规模的推理需求。
主要记录的是深度学习模型的原理、知识,而不是应用、部署、infra 的东西