Zenn· 2分で読める中級🔥 注目
LLM Architecture Gallery徹底解説：30+モデルの内部構造を4軸で横断比較する
LLM Architecture Galleryは30以上のモデルをアテンション機構・位置エンコーディング・正規化・MoE設計の4軸で統一比較するリファレンスです。DeepSeek V3のMLAがKVキャッシュを28倍圧縮、推論スループット5.76倍向上といった具体的な性能数値を交えながら、MHA→GQA→MLA→Linear Attentionという進化系統を解説。モデル選定やファインチューニング戦略の判断に直結する実装知識が得られます。