Twins : M5Stack AI Pyramidを買ったらメモリの壁が立ちはだかった
AI要約
M5Stack AI Pyramid(4GBモデル)を実際に使ってわかったメモリの現実。4GBのうち2GBはシステム、2GBはNPU専用で、LLMに使えるのは実質2GBのみ。そのため7B以上のモデルは動作不可。SmallVLMでのカメラ映像理解やTTSには向いていますが、本気のLLM運用には不向きです。実運用での制約をエンジニア目線で詳細レポートしています。
AI要約
M5Stack AI Pyramid(4GBモデル)を実際に使ってわかったメモリの現実。4GBのうち2GBはシステム、2GBはNPU専用で、LLMに使えるのは実質2GBのみ。そのため7B以上のモデルは動作不可。SmallVLMでのカメラ映像理解やTTSには向いていますが、本気のLLM運用には不向きです。実運用での制約をエンジニア目線で詳細レポートしています。

