林 計量経済学 Lecture 2: ML

2回目は最尤法。データ数T個の確率過程の実現値zのサンプルがあって、そのサンプルのjoint frequency or density functionがパラメータ・ベクトルθとzの関数L(z_1,...z_T;θ_0)という既知の関数だと仮定する。このL()をパラメータ・ベクトルθの関数と見なす。関数L(z_1,...z_T;θ)は尤度関数(likelihood function)と呼ばれる。この関数の対数をとったものが対数尤度(log likelihood)である。θのうち、対数尤度を最大にするものがθ_0の最尤推定値(ML estoimator)　θ^_Tである。
例としてi.i.d.の正規分布の場合、パラメータ・ベクトルθ=(μ,σ^2)'である。

• θ^_Tがθ_0に確率収束するとき、推定値θ^_Tはconsistentと言われる。
• √T(θ^_T-θ_0)がN(0,∑)に分布収束するとき、推定値θ^_Tは漸近正規(asymptotically normal)です。∑は推定値のasymptotic varianceと呼ばれ、Avar(θ^_T)と書く。
• consistentでasymptotically normalのことをCANと呼ぶときがある。
• θ_kをθのk番目の要素とする。すると√T(θ^_Tk-θ_0k)はN(0,Avar(θ^_T)の(k,k)要素)に分布収束する。
• Slutskyの定理より√T(θ^_Tk-θ_0k)をAvar(θ^_T)の(k,k)要素の平方根で割ったものはN(0,1)に分布収束する。この比がt値である。分母は(asymptotic) standard errorと呼ばれる。

一般のML、有限サンプルの場合

• score vector　対数尤度をパラメータベクトルで１階偏微分したものをスコア・ベクトルと定義
• Hessian　対数尤度をパラメータベクトルで2階偏微分したものをヘシアンと定義
• Information Matrix θ_0におけるスコアベクトルとその転置をかけたものの期待値を情報行列と定義

• weak set of conditionsの下で、θ_0におけるスコア・ベクトルの期待値は0、θ_0におけるヘシアンの期待値を負にしたもはθ_0における情報行列に等しい。
• certain set of conditionsの下で、最尤推定値θ^_TはCANで、Avar(θ^_T)は情報行列をサンプル数で割ったものの極限の逆行列になる。