neoAI-InstructBench：実際のLLM利用シナリオに根ざした日本語指示追従ベンチマーク

AI要約

複数の指示を同時に与えられたとき、LLMがすべてを順守できない問題に着目した日本語ベンチマーク「neoAI-InstructBench」が開発されました。100タスク・326指示で構成し、実際のユーザー入力から設計。GPT-5.2でも完遂率は67%に留まり、指示間の干渉や過剰思考といった実運用のボトルネックを明らかにしています。評価コードはGitHubで公開済みです。