27B Denseに2.4倍差をつけたMoE — 8GB VRAMで測った35B-A3Bの実力
AI要約
RTX 4060 8GB環境でQwen3.5の35B-A3B MoEが27B Denseを2.4倍上回るという実測データから、MoEが低VRAM環境でこそ有利な理由を解き明かします。MoEは活性パラメータ約3Bをオンデマンド計算するため、GPU利用率95%を実現。最新MoEの活性率5~9%トレンドから、細粒度エキスパート選択への進化まで、実装者必読の効率分析です。
AI要約
RTX 4060 8GB環境でQwen3.5の35B-A3B MoEが27B Denseを2.4倍上回るという実測データから、MoEが低VRAM環境でこそ有利な理由を解き明かします。MoEは活性パラメータ約3Bをオンデマンド計算するため、GPU利用率95%を実現。最新MoEの活性率5~9%トレンドから、細粒度エキスパート選択への進化まで、実装者必読の効率分析です。

