ゆるふわクオンツの日常

トップ > 数学 > 確率変数を関数として線形回帰するお話

確率変数を関数として線形回帰するお話

数学 統計・機械学習

よくある統計の本などでは、最小二乗法や最尤法などの標本での議論かと思いますが、

一風変わった見方で取り組んでいる本を見かけましたので備忘メモしてみました。

ま、得られる結果はごくごく普通のことなのですが笑、

関数空間っぽさがあってよかったです。

確率変数の推定

ある確率変数を Yとする。

これをヒルベルト空間上のベクトル Y \in \mathcal{H}とみなす。

この時、 \mathcal{H}は一般には無限次元となる。

ここで有限次元の部分空間 \mathcal{M} \subset \mathcal{H}を考え、

無限次元の確率変数 Yを有限次元の \hat{Y} \in \mathcal{M}で近似することを考える。

これは、 \hat{Y}でYを推定しているということである。

ただし、推定する際の基準として、誤差ベクトル e = Y - \hat{Y}のノルムを用いる。

すると、ノルムを最小化するのはその射影なので

\hat{Y} = proj_{\mathcal{M}}(Y)

であり、そのための必要十分条件は \mathcal{M}を確率変数 U_{1},...,U_{n}で張られた部分空間とすると

\langle Y-\hat{Y}, U_{i} \rangle = 0

線形回帰の例題

線形回帰モデルの空間を \mathcal{M} = \{a_{0}I + a_{1}X \}とする( X, I \in \mathcal{H})。

(ここで Iは常に 1を返す確率変数)

この時、確率変数 Yを \mathcal{M}で推定すると

\langle Y-(a_{0}I + a_{1}X), I \rangle = 0
\langle Y-(a_{0}I + a_{1}X), X \rangle = 0

の二つの方程式を満たす a_{0}, a_{1}を求めることに帰着します。

関数空間における内積は積分なので、例えば \langle Y, I \rangle = \int Y*1 dP(w)=E[Y]

となることに注意すれば、

a_{0} = E[Y]- \frac{Cov[X, Y]}{V[x]} E[X]

a_{1} = \frac{Cov[X, Y]}{V[x]}

となり、よく見慣れた \hat{Y} = \frac{Cov[X, Y]}{V[x]} (X - E[X]) + E[Y]という関係式が得られました。

というわけで、関数空間の直交条件からモデルがもとまりました。

今回の関連書籍

ポップなタイトルですが、普通に測度的確率論を展開しています。
とは言っても薄いのでかなり人を選ぶと思います。