Anthropic Built a 300K-Query Behavioral Auditing Tool Because Model Behavior Changes. Here's the Production Version.

AI要約

AnthropicはPetriという内部ツールで30万件のクエリを使い、モデルの挙動変化を追跡しています。驚くべきは、大手LLM企業ですら数千の矛盾や曖昧さを検出しており、本番環境で使うモデルは決して静的ではないということです。実際の監視例から、プロンプト仕様の微妙な逸脱がJSON解析や正規表現パーサーを沈黙のうちに破壊する様子が示されています。開発者が実装すべき対策が明確になります。