Data Formats Implications on Training 用 fp32 训练会消耗大量资源、内存 用 fp8, fp16, bf16 训练可能导致 instability 可以尝试 Mixed Precision Training. bf16
