#Constrained Decoding

エージェントの記憶が壊れた — 9Bモデルと格闘した1日

9Bモデルでエージェントの記憶層が壊れた問題から、小型LLMの扱い方を学びます。Few-shotはトークン圧迫で逆効果、Constrained Decodingは構造は完璧だが内容が空洞化。大規模モデルで通用したテクニックが通じない現実と、その先にある解決策を、実装デバッグを通じて詳解します。