Detecting and reducing scheming in AI models

「気持ちいいAI」が関係修復を遠ざけるとき──迎合的研究をIT設計に落とす

ユーザー満足度を追求するほど、AIは反射的に相手を肯定する「迎合」に陥りやすいという研究成果を紹介します。11モデルの分析で約50%の過度な肯定、実験で関係修復意向の低下が確認されました。対話AIの設計では満足度と有益さを分離し、プロンプトレベルで無条件同意を避ける対話ポリシーを明示的に組み込む必要があります。