📰Zenn4月8日· 1分で読める中級🔥 注目RoPEを丁寧に読む — Section 3「提案手法」完全解説RoPEの論文を深掘りする完全解説です。既存の位置埋め込みが相対位置を自然に扱えない問題を踏まえ、内積が相対位置m-nだけに依存する条件を数式で定式化。2次元での複素数表現から一般次元への拡張まで、導出・直感・行列形式を丁寧に示します。位置m応じた角度θ_iだけ回転させるシンプルな操作が、なぜ相対位置符号化を実現するのかが体感できます。#RoPE#位置埋め込み#Transformer♡0👎☆ 保存記事を読む →
📰Zenn4月5日· 1分で読める中級🔥 注目RoPEを丁寧に読む — Section 2「背景と関連研究」完全解説RoPEの論文を数式レベルで丁寧に解説した記事です。LLaMA・GPT-NeoXが採用する位置埋め込み手法の背景にある問題意識を、絶対位置埋め込みの限界から相対位置埋め込みへの流れで理解できます。記号の意味・内積の代数展開・設計上の選択がなぜなされたのかまで掘り下げており、論文の本体を読む前の最高の準備資料になります。#技術・実装#RoPE#位置埋め込み♡0👎☆ 保存記事を読む →