蒸留とは大きなモデルの「思考の癖」を小さなモデルに模倣させる技術です。DeepSeek-R1が話題になった理由は、最終答だけでなく推論過程（Chain of Thought）全体をソフトラベルで転送できたこと。Temperatureパラメータで確率分布をぼかし、モデル間の関係性を暗黙知として移すメカニズムが解説されており、蒸留・量子化・Fine-tuningの違いまで体系的に理解できます。
Rakuten AI 3.0はDeepSeek-V3の「ただのチューニング」か？ — 初心者エンジニアにも伝えたい技術的な真実
Rakuten AI 3.0がDeepSeek-V3のチューニングという批判に対し、技術的実態を解説する記事です。確かに楽天はベースモデルの明示やライセンス表記に改善の余地がありました。しかし技術的には671B→37Bの効率的MoEアーキテクチャを活かした大規模な継続学習であり、軽いファインチューニングとは規模が全く異なります。エンジニアが納得できる、LLM開発プロセスの根本的な理解が得られます。