Qiita· 2分で読める中級🔥 注目
Nemotron 9B日本語をローカルで動かす — Mamba SSM・Thinkingモード対応
NVIDIAのNemotron 9B日本語モデルをローカル環境で動かす実装ガイドです。Mamba SSMアーキテクチャにより、Transformerの二乗計算量を線形化し長文処理を効率化。Thinkingモード対応で推論過程を明示化できます。uv・Docker不要な環境構築手順、bfloat16での推論コード、RTX 5090での実装検証まで、すぐに試せる具体例が充実しています。