Density Ratio Matching and Gradient Communication: Comparison to Federated Learning with Heterogeneity

Abstract

私たちは､複数のｸﾗｲｱﾝﾄがそれぞれ異なる性質を持つﾃﾞｰﾀを有している状況での､分散学習の問題を考える｡金融やﾏｰｹﾃｨﾝｸﾞでは､各組織が機密性の高い情報をそれぞれ持っていることが多い｡そうしたﾃﾞｰﾀの機密性を保ったまま､各組織が協力してﾓﾃﾞﾙを学習することは長年の課題である｡このような問題に対して､ｸﾗｲｱﾝﾄがﾃﾞｰﾀそのものを共有するのではなく､各ｸﾗｲｱﾝﾄがそれぞれ訓練したﾓﾃﾞﾙを統合することで､より性能の高いﾓﾃﾞﾙを訓練する連合学習が､新しい分散学習の枠組みとして提案されている｡連合学習は､その有用性にもかかわらず､ｸﾗｲｱﾝﾄのﾃﾞｰﾀ分布の不均一性に弱いことが指摘されている｡本研究では､ｸﾗｲｱﾝﾄの期待ﾘｽｸに関する統計理論を構築することにより､この問題を検討する｡私たちの貢献は二つある｡第一に､連合学習によって達成されるｸﾗｲｱﾝﾄの最小ﾘｽｸを評価する｡私たちは､連合学習が最悪の場合全てのｸﾗｲｱﾝﾄのﾃﾞｰﾀを反映できないことを示す｡第二に､ｸﾗｲｱﾝﾄのﾃﾞｰﾀ分布の不均一性を解決するための新しい手法を提案する｡それは密度比推定と勾配ｺﾐｭﾆｹｰｼｮﾝ学習である｡提案手法では､ｸﾗｲｱﾝﾄの期待ﾘｽｸはｻﾝﾌﾟﾙｻｲｽﾞに対して最適な収束ﾚｰﾄを達成する｡さらに､この結果を応用し､効用分析により期待ﾘｽｸとｺﾐｭﾆｹｰｼｮﾝｺｽﾄのﾄﾚｰﾄﾞｵﾌを調べる｡私たちは､数値実験によってこれらの理論的知見を支持する｡