PaperBench: Evaluating AI’s Ability to Replicate AI Research

LLM判定者のバイアス制御×理論的保証×信頼性向上への挑戦

LLMを判定者として使う際のバイアス問題は、評価の信頼性を大きく損なう深刻な課題です。本記事では、バイアスを数理的に定義し理論的保証を与える「Average Bias-Boundedness（A-BB）」フレームワークを紹介。複数判定者の相関を61～99%保ちながらバイアスの過大影響を防ぐアプローチで、自律的AIシステムの評価インフラ構築に新たな道を示します。