Causal Circuit-Guided Pruning: 因果推論に基づくTransformerの機能保持圧縮とWandaとの比較

AI要約

Transformerの圧縮手法における「相関」と「因果」の根本的な違いを正面から捉えた研究です。従来のWanda等は重みの大きさや入力活性度といった相関指標に頼っていますが、提案するCC-Pruneは因果推論（Pearl のdo-operator）を導入し、Activation Patchingで「本当に必要なコンポーネント」を特定します。高圧縮率でWandaを上回る性能の理論的・実験的証拠を示しており、LLM圧縮の実装者必読です。