予測を効率的に活用することで、最悪ケースの性能を超えるアルゴリズムを設計する。
SecureBoostアルゴリズムの欠点である、プライバシー漏洩と適切なハイパーパラメータ最適化の問題を解決するため、インスタンスクラスタリング攻撃(ICA)を提案し、それを防ぐ2つの防御手法を開発した。さらに、効用損失、学習コスト、プライバシー漏洩の3つの目的関数を同時に最小化する制約付き多目的SecureBoost(CMOSB)アルゴリズムを提案した。
本論文は、座標ごとの一般化滑らかさ(L0, L1)と線形ノイズ分散を仮定した下で、RMSPropとAdamの収束保証と収束速度を示した。両手法とも適切なハイパーパラメータ設定の下で、ε-定常点に収束することを示し、その複雑度はε-4と最適であることを明らかにした。
DP-SGDのプライバシー保証は、バッチサンプリングの方法によって大きく異なる。シャッフルベースのDP-SGDは実装では一般的だが、プライバシー分析が難しく、一方ポアソンサブサンプリングベースのDP-SGDは分析が容易だが実装が難しい。この差異により、ポアソンサブサンプリングのプライバシー分析を用いてシャッフルベースのDP-SGDのプライバシーを報告することは、大幅な過小評価につながる可能性がある。