Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs

Ollama 0.19がMLXを採用 ─ Apple Siliconのローカル推論はどう変わるか

Ollama 0.19がApple Silicon向けの推論バックエンドをllama.cppからMLXに切り替えました。統一メモリ構造をネイティブに活用するMLXにより、デコード性能は約2倍向上します。ただしNVFP4量子化フォーマットの採用が必須で、既存モデルは改善を受けられない点に注意が必要です。M5チップでの追加最適化も解説しています。