🕵️
3件の記事
Transformerの圧縮手法における「相関」と「因果」の根本的な違いを正面から捉えた研究です。従来のWanda等は重みの大きさや入力活性度といった相関指標に頼っていますが、提案するCC-Pruneは因果推論（Pearl のdo-operator）を導入し、Activation Patchingで「本当に必要なコンポーネント」を特定します。高圧縮率でWandaを上回る性能の理論的・実験的証拠を示しており、LLM圧縮の実装者必読です。
AIの回答品質は因果的思考の深さで決まり、コード読み書き能力は無関係です。Pearl因果階層に基づき、LLMはL1（観測）レベルに留まり、L1入力からL2（介入）以上の応答は導出できません。4,590時間の対話実験から、プロンプト技法の巧みさではなく「入力における因果密度」が対話品質を左右することを実証しています。