AIの予測精度を落とさずに信頼度を測定するアルゴリズム

当社の江崎泰志らが行った研究が The 27th International Conference on Artificial Intelligence and Statistics (AISTATS) 2024 に採択され、発表を行いました。

近年、人工知能（AI）が様々な分野で活用されています。しかしながら、AIによる予測が常に正しいとは限らないため、例えば画像認識などの文脈ではAIの予測結果がどの程度信頼できるかを把握することが重要です。AIの予測の信頼度を正確に測定することを重視した学習アルゴリズムは既にいくつか提案されていますが、そのようなアルゴリズムを使って学習したAIは、予測精度を高くすることだけを重視して学習した一般的なAIと比べて、予測精度が低下する傾向がありました。
本研究では、予測精度だけを追求した学習アルゴリズムを用いて構築された高精度なAIをベースとして、予測の信頼度を正確に測定するためのアルゴリズムを新たに組み込む手法を提案しました。予測精度を向上させるための学習と信頼度測定のプロセスを分けることで、予測精度を変えることなく信頼度を測定することが可能になります。この手法は、信頼度が低い場合にそれがAIの知識不足によるものか、問題の難しさに起因するものかを推定することも可能であり、AIの今後の高信頼化・高性能化に貢献することが期待されます。

タイトル: Accuracy-preserving Calibration via Statistical Modeling on Probability Simplex
著者: Esaki, Y., Nakamura, A., Kawano, K., Tokuhisa, R., Kutsuna, T.
発表の場: International Conference on Artificial Intelligence and Statistics
発表日: 2024年5月3日