Decoder-Only Transformer

简单来说，Decoder-only 解决的生成任务是指：给定前 $n$ 个单词 $x_1,x_2,\dots,x_n$，要求输出第 $n+1$ 个单词。可以看出，这类生成任务的本质是 AutoRegressive 的。

近年来，出现了使用 Diffusion 作为 Language Model 的生成，达到了极快的生成速度。