#エッジコンピューティング

Raspberry Pi Zero WでGPT-2を動かした

Raspberry Pi Zero W（512MBメモリ）でGPT-2を動かしました。llama.zeroというllama.cppの軽量版を使い、OS準備からモデルダウンロード、実行までの全手順を公開しています。生成速度は0.3～0.4トークン/秒と遅く実用的ではないですが、メモリ制約が厳しいエッジデバイスでLLMを動かす際の実装ノウハウが詰まっています。