【零基础10分钟学透RoPE】旋转位置编码RoPE及其各种外推方法
参考文章：
上下文长度扩展：从RoPE到YARN - 知乎
让研究人员绞尽脑汁的Transformer位置编码 - 科学空间|Scientific Spaces
Transformer升级之路：2、博采众长的旋转式位置编码 - 科学空间|Scientific Spaces
[2309.00071] YaRN: Efficient Context Window Extension of Large Language Models
Transformer升级之路：10、RoPE是一种β进制编码 - 科学空间|Scientific Spaces
Transformer升级之路：7、长度外推性与局部注意力 - 科学空间|Scientific Spaces
GitHub - bojone/rerope: Rectified Rotary Position Embeddings
Transformer升级之路：12、无限外推的ReRoPE？ - 科学空间|Scientific Spaces
Transformer升级之路：16、“复盘”长度外推技术 - 科学空间|Scientific Spaces
立即观看
0