📰Zenn4月5日· 1分で読める中級🔥 注目RoPEを丁寧に読む — Section 2「背景と関連研究」完全解説RoPEの論文を数式レベルで丁寧に解説した記事です。LLaMA・GPT-NeoXが採用する位置埋め込み手法の背景にある問題意識を、絶対位置埋め込みの限界から相対位置埋め込みへの流れで理解できます。記号の意味・内積の代数展開・設計上の選択がなぜなされたのかまで掘り下げており、論文の本体を読む前の最高の準備資料になります。#技術・実装#RoPE#位置埋め込み♡0👎☆ 保存記事を読む →
🧠Zenn3月7日· 1分で読める上級🔥 注目LLM Paper ReadingLLMの最新研究を6つのテーマで深掘りする無料技術書です。LoRA vs Full Fine-tuning、Tensor Programs V、ドメイン特化スケーリング則、Megatron-LMなど、実装に直結する論文知識を習得できます。東大松尾研発スタートアップによる、医療・製薬LLM開発の現場で必要とされる知見がまとまっています。#ファインチューニング#LLM#分散学習♡0👎☆ 保存記事を読む →