【零基础10分钟学透RoPE】旋转位置编码RoPE及其各种外推方法
参考文章:
上下文长度扩展:从RoPE到YARN - 知乎
让研究人员绞尽脑汁的Transformer位置编码 - 科学空间|Scientific Spaces
Transformer升级之路:2、博采众长的旋转式位置编码 - 科学空间|Scientific Spaces
[2309.00071] YaRN: Efficient Context Window Extension of Large Language Models
Transformer升级之路:10、RoPE是一种β进制编码 - 科学空间|Scientific Spaces
Transformer升级之路:7、长度外推性与局部注意力 - 科学空间|Scientific Spaces
GitHub - bojone/rerope: Rectified Rotary Position Embeddings
Transformer升级之路:12、无限外推的ReRoPE? - 科学空间|Scientific Spaces
Transformer升级之路:16、“复盘”长度外推技术 - 科学空间|Scientific Spaces
立即观看