AICで有名な赤池弘次氏
赤池博士 「数理的に美しい理論を作ることにはもちろん関心がありましたが、実際の問題では、大ざっぱなモデルで十分に役に立つ領域がたくさんある。扱いやすく、しかも複雑な現象を処理できなくてはならないのです。
セメント炉を自動運転するときの最適制御というテーマで、周波数解析の方法が使えないところが出てきました。なぜかというと、セメント炉の場合には、温度が上がればそれを下げるように燃料を調整するとか、状況の変化に応じてフィードバックがかかります。そのために今までの方法は役に立たない
では、どうするか。関連する要素を全部入れて予測し、その予測のモデルを作れば、それを利用して問題が処理できることに気づきました。
因子分析では、分布は正規分布を想定していますが、その評価をある量で処理している。それは対数尤度です。確率は、過去から将来のデータの見方を与えますが、尤度は、現在のデータを用いて、過去にこれを生み出した仕組みを評価しようとするのです。
因子分析では何を予測しているか。心理学的な調査データに基づいて、そこからどういう特徴的な因子があるかを書きだしていく。因子分析は構造を見ているものです。そのうちに気がついたのが、これもモデルを利用しているということでした。
モデルを決めることは、そのモデルを使って将来の問題を処理しようとしている。すなわち予測していることです。その意味でモデルを評価すればよいのだということに、朝、井の頭線の車中で気がついたのです。尤度を使えばよい。モデルの与える分布で予測していると思えば、尤度で対応する処理ができるだろう、と。
本当のモデルがわからないのに、なぜ良さを評価できるのかという基本的な問題がある。哲学的な大問題です。モデルの評価には、真の分布の対数尤度とモデルの対数尤度の差を使います。何種類かのモデルがある場合、真の分布がわからなくても、データから決まるモデルの尤度はありますから、その対数を比較すれば、モデルの比較はできるのです」
対数尤度からAICへの着想を書いた赤池博士のメモ
セメント炉の自動制御に時系列モデルを応用した研究はこの本にまとめられています。
『ダイナミックシステムの統計的解析と制御 (Information & Computing)』 赤池 弘次
