当社の沓名拓郎が行った研究が SIAM Journal on Mathematics of Data Scienceに掲載されました。
近年、画像認識などに用いられる深層学習モデルは大規模化が進んでおり、学習に膨大な計算時間や電力を要することが、社会的にも大きな課題となっています。一般に、学習時のミニバッチサイズ（各学習ステップで用いるデータ数）を大きくすると学習を効率化できますが、GPUメモリ容量などの制約により、十分に大きなミニバッチサイズを利用できない場合が多くあります。
本研究では、実際のミニバッチサイズを増やさなくても、仮想的に大きなミニバッチで学習しているのと同様の効果を実現する手法を提案しました。そのために、各データが学習結果にどれだけ影響を与えるかを「重要度」として推定し、その重要度に応じてデータが選ばれる頻度を自動調整する「重点サンプリング」を用いています。その際に、重要なデータばかりに学習が偏らないよう、各データに重み付けを行うことで、統計的な偏り（バイアス）を防いでいます。理論解析により、重点サンプリングには、実際のミニバッチサイズを増やさなくても、仮想的に大きなミニバッチで学習しているのと同様の効果があることを示しました。また、この効果を「有効ミニバッチサイズ」として定式化し、学習中に追加計算をほとんど増やさず（低オーバーヘッドで）推定する方法も提案しました。提案法は複数の画像データセットで検証され、従来法と同程度の計算時間でより高い精度を達成しました。
本技術は、大規模AIの省計算化や、複数のGPUや計算機を用いる分散学習の効率向上に貢献することが期待されます。
タイトル: Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
著者: Kutsuna, T.
掲載誌: SIAM Journal on Mathematics of Data Science
掲載日: 2025年11月18日