Qiita· 2分で読める中級🔥 注目
mesh-llm：余っているPCのGPUを束ねて巨大LLMを動かす分散推論の新アプローチ
余ったPCのGPUを束ねて巨大LLMを分散推論する「mesh-llm」が注目を集めています。Rustで実装され、Denseモデルにはパイプライン並列、MoEモデルにはエキスパート並列を自動選択。最大の強みはMoEの場合ノード間通信がゼロになることで、ネットワークレイテンシの影響を受けません。OpenAI互換APIで既存ツールと互換性があり、セキュリティはトークンベースのプライベートメッシュで確保しています。