#PTQ

Introducing AutoRound: Intel’s Advanced Quantization for LLMs and VLMs

Intelが開発した量子化ツール「AutoRound」は、LLMやVLMを効率的にデプロイする革新的なソリューションです。INT2での精度がベースラインの2.1倍高く、72Bモデルの量子化がA100で37分で完了。ほぼすべての主要モデルに対応し、低ビット精度での圧倒的な精度維持が実現できます。