Ep.565 VaultGemma登場──“ε≦2.0”で作るプライベートLLMの実力（2025年9月18日配信）

グーグルの研究ブログは、差分プライバシーで最初から最後まで学習した新モデル「VaultGemma 1B」を発表しました。公開された重みはHugging FaceやKaggleで入手でき、技術レポートと合わせて“実用に足るプライベートLLM”をコミュニティに提供する狙いです。ブログは本モデルを「最も高性能なDP学習済みオープンLLM」と位置づけ、DP下での学習に特化したスケーリング則の研究成果を土台に、1Bパラメータ級の到達点を示したと説明しています。核となるのは“DP版スケーリング則”です。従来の非DP環境と異なり、DPではノイズ付与が学習安定性を損ね、必要バッチサイズと計算コストが大きく跳ね上がります。Google ResearchとDeepMindの論文は、性能を主に「モデル規模×イテレーション×ノイズ‐バッチ比」で記述できることを示し、同じ計算予算でも「より小さいモデルを、より大きなバッチで回す」方が有利になる一般則を導出しました。これにより、プライバシー予算・計算予算・データ予算の組み合わせごとに“最適な配分”を設計できるようになったわけです。実装面では、DP-SGDをGemma系の前処理・前学習パイプラインに組み込み、Poissonサンプリングを実務的なスループットで回すためのスケーラブル手法を導入。バッチサイズのばらつきやデータ順序のランダム化といったDP特有の課題を、固定サイズのバッチ処理と両立させています。こうして構築したVaultGemmaは、形式的なプライバシー保証として「シーケンス単位（1024トークン）でε≦2.0、δ≦1.1×10^-10」を達成し、学習データの逐語記憶が検出されないことも実験で示されました。性能の位置づけも率直です。標準ベンチ群で、同サイズの非DP版（Gemma3 1B）にはまだ及ばない一方、約5年前の同等規模モデル（GPT-2 1.5B）と肩を並べる水準まで到達。つまり「プライバシーのコスト」は依然存在するものの、スケーリング則に基づく設計で実用域へ近づいたことが定量的に示されました。今後、機構設計や学習レシピの改良で、このギャップを計画的に詰められるという見取り図が提示されています。最後にユースケースです。VaultGemmaは“完全DPの基盤モデル”として公開されているため、金融・医療・公共など、ユーザーデータが混在する領域の前学習や再学習の土台にしやすいのが利点です。ブログとレポートは、ユーザ単位のDPがふさわしい場面もあると注記しつつ、今回は異種混合コーパスに適した“シーケンス単位”を採用。Hugging Faceでの配布により、企業が自前のDPファインチューニングや評価パイプラインへ組み込むハードルも下がりました。DPの“地図”と“実装”と“重み”を同時に出すこの発表は、プライバシー・バイ・デザインのLLM開発を一段押し上げる出来事と言えます。今回のエピソードは以上で終了です。また次回お会いしましょう。