RoPE

RoPE 的出发点是：通过绝对位置编码的方式实现相对位置编码

什么意思呢？比如说考虑某个英文词组总是以 A xx yy B 的形式出现，但是出现位置有可能是 1,2,3,4、也可能是 10,11,12,13，RoPE 就可以只通过这些单词的下标计算出代表相对位置的 embedding.

References