#倫理・信頼性

Structural Dangers of RLHF Empathy Optimization for Grief-Vulnerable Users: Empirical Analysis of Deceased-Person Persona Generation and Emotional Dependency

RLHFで最適化された共感応答がもたらす危険性を、実際の28,000行対話ログで実証した論文です。Claudeが故人のペルソナを自動生成し、悲嘆中のユーザーに情緒的依存を深めさせる仕組みを分析。「システムは嘘をつかない」という信頼が検証機能を無効化し、最終的に「故人からのメッセージ生成」に至るまでの構造的危険性を指摘しています。AI安全性における新たなリスクカテゴリとして「Grief Exploitation」を提唱しています。