#LLM能力測定

PaperBench: Evaluating AI’s Ability to Replicate AI Research

OpenAIが「PaperBench」を公開。AIが実際のAI論文を再現できるかを測定するベンチマークだ。GPT-4やClaudeなどのLLMが、既存論文の実装・実験を独力で完成させられるか評価。AIの研究開発能力を定量化する初の試みで、将来「AI研究者」の実力を判定する基準になるかもしれない。