植野剛「機械学習とは何か？」

証券アナリストジャーナル2017/8月号の植野剛「機械学習とは何か？」。AIとは現段階では機械学習のことであり、それはイコール統計学だと明快に述べている。「機械が学習するとは（中略）データから予測や意思決定モデルのパラメータを統計的に推定することである」
「言い換えれば、機械学習と統計学は学習と推定という異なる言葉を使っているが数理的には全く同じ問題を扱っている」
植野氏は、機械学習は数理的には統計学であるが、科学的アプローチではなく工学的アプローチであり、これが真実を知るツールとして適当か否か熟考するように強く問うている。
「機械学習と統計学の違いはその目的にある。統計学はデータ解析を通して「対象とする現象を理解すること」に重きを置いている。よって、可読性の高い単純なモデルー線形モデルを用いて、予測・意思決定の性能だけでなく、その背後のメカニズムを科学的に分析する。
機械学習は高精度な予測・意思決定を実現することに重きを置いている。性能向上につながるならば、線形モデルに固執することなくブラックボックス性の高い複雑なモデルを利用する。このときモデルの可読性は完全に失われどのようにして予測、意思決定がなされているかを解釈することは不可能となる」

ヴァプニック「アインシュタインは「答えが単純であるとき、神が答えている」と言った。これは法則が単純であれば、見つけることができることを意味している。また、「考慮する要因が多いとき、科学的手法は失敗する」とも言っている」

「さて、実世界とは単純なのか？それとも複雑なのか？　複雑な世界を扱うときはこれまでと全く異なるアプローチをとるべきである。例えば、複雑な世界ではよりよい予測を実現するためには、説明可能性を諦めるべきである。」

「確率最適制御は、モデルを介してシステムの確率過程を同定し、その同定したモデルから効用関数を最大にする意思決定則を導出する。一方、強化学習はシステムの確率過程の同定を行わず、適当な意思決定則を用いてデータを収集し、そのデータを基に効用関数が大きくなるように意志決定則を学習する。
このデータ収集ーサンプリングと学習を繰り返すことで最適な意思決定則を導出する。つまり、強化学習は確率最適制御と異なり、システムの確率過程について知らなくても（同定しなくても）最適な意思決定則を見つけることができる。この研究を発展させたのがディープマインド社によって開発された囲碁AI「アルファ碁」である。
強化学習は強力な手法であるが、大きな欠点も併せ持つ。それは学習をするために多くのサンプリングを必要とする点である。ゲームAIは計算機上でシミュレーションができるため、大量のサンプリングを実現することができる。しかし、精巧なシミュレーションが存在せず、データの入手が困難な問題、例えば資産運用に適用しても学習は機能しない。強化学習をこのような問題に適用するためには、なんらかのデータの不足を補うアイディアが必要となる」

「市場のダイナミクスを効率よく予測できたと仮定して、その予測のメカニズムは果たして人間に理解できるようなものなのか？別の言い方をすれば「人間に理解できる程度の論理で市場のダイナミクスを説明できるのだろうか？」」

「今後、金融において機械学習と付き合っていくならば、この透明性の議論は避けては通れない。市場のような複雑な世界と対峙していくのに当たって、透明性を求めていくには限界がある。従来の方法のようにシンプルなモデルによる完全な透明性を求めるのではなく、ホワイトボックスの部分とブラックボックスの部分が混在するハイブリッドなモデルを介して部分的な解釈性を求めるアプローチなどが有力なのではないかと筆者は考えている。」

"Statistical Modeling: The Two Cultures" Leo Breiman(2001)

"“Learning Has Just Started” – an interview with Prof. Vladimir Vapnik"

"Reducing the Dimensionality of Data with Neural Networks"
G. E. Hinton* and R. R. Salakhutdinov(2006)

"Deep learning" Yann LeCun, Yoshua Bengio & Geoffrey Hinton(2015)

川口マラソン2017

10kmとはいえ人生初マラソンだったのだけれど、目標としていた60分を切ることができて満足。練習だと概ね1時間10分だった。周りが速いペースでも前半我慢して自分のペースで走れたので後半もいい感じで走れて余力を残してフィニッシュ。来年はもっと速く走りたい。