VaultGemma: The world's most capable differentially private LLM

AI要約

Googleが差分プライバシー適用時のスケーリング則を解明し、VaultGemmaという10億パラメータの最大規模モデルを開発しました。従来のスケーリング則とは異なり、プライバシーノイズがモデル学習に与える影響を定量化。計算予算・プライバシー予算・データ予算から最適な訓練設定を導き出せる理論的フレームワークにより、プライバシーとユーティリティのトレードオフを初めて体系的に理解できます。