#メモリ最適化

Twins : M5Stack AI Pyramidを買ったらメモリの壁が立ちはだかった

M5Stack AI Pyramid（4GBモデル）を実際に使ってわかったメモリの現実。4GBのうち2GBはシステム、2GBはNPU専用で、LLMに使えるのは実質2GBのみ。そのため7B以上のモデルは動作不可。SmallVLMでのカメラ映像理解やTTSには向いていますが、本気のLLM運用には不向きです。実運用での制約をエンジニア目線で詳細レポートしています。