RoPE

RoPE 虽然是针对 Position Embedding 提出的改进,但已经快成为 LLM 模型的事实标准了

位置编码