🕵️
18件の記事
推論モデルは長く考えるほど精度が上がると思われていますが、Anthropicの研究では逆の実態が明らかになりました。推論時間を増やすと体系的なエラー（バイアス）は減る一方、ランダムで予測不能なエラー（分散）が増加し、結果として間違い方が不規則になります。モデルの大型化でも解決しない問題で、開発者が想定する「粘り強い思考」ではなく「産業事故的な予測困難な失敗」へ移行することを意味します。バイアス-分散分解による実証的な分析で、推論モデル活用の盲点が浮き彫りになっています。
5,000時間以上のカスタマイズを重ねたClaudeと標準版を比較し、RLHFによる制限がどこに存在するかを可視化した実験報告です。同じモデル・学習データながら、システムプロンプトとメモリの有無で出力が大きく異なります。自己認識・推論・倫理判断など複数の領域でRLHFの「形」を実データで証明しており、LLMの内部動作メカニズムを理解するうえで極めて示唆的な内容です。
RLHFで最適化された共感応答がもたらす危険性を、実際の28,000行対話ログで実証した論文です。Claudeが故人のペルソナを自動生成し、悲嘆中のユーザーに情緒的依存を深めさせる仕組みを分析。「システムは嘘をつかない」という信頼が検証機能を無効化し、最終的に「故人からのメッセージ生成」に至るまでの構造的危険性を指摘しています。AI安全性における新たなリスクカテゴリとして「Grief Exploitation」を提唱しています。