Rakuten AI 3.0はDeepSeek-V3の「ただのチューニング」か？ — 初心者エンジニアにも伝えたい技術的な真実
Rakuten AI 3.0がDeepSeek-V3のチューニングという批判に対し、技術的実態を解説する記事です。確かに楽天はベースモデルの明示やライセンス表記に改善の余地がありました。しかし技術的には671B→37Bの効率的MoEアーキテクチャを活かした大規模な継続学習であり、軽いファインチューニングとは規模が全く異なります。エンジニアが納得できる、LLM開発プロセスの根本的な理解が得られます。
Llama 4のMoEアーキテクチャは従来のDenseモデルと根本的に違います。Scout（109B総パラメータ、17Bアクティブ）なら単一GPU（H100 INT4で55GB）で10Mトークンの超長コンテキストが処理できます。計算は軽いけどメモリは重いという独特なトレードオフ、Scout vs Maverickの選択基準、実装時の「17Bアクティブの罠」まで、手を動かしながら仕組みを理解できる実践ガイドです。