ドリフト項付きブラウン運動と線形回帰の関係

機械学習 確率過程

最近、いろいろな事象を確率過程の観点から捉えられないかと思考するうちに、不意に線形回帰との関係性に気付いたのでまとめてみる。

単純なブラウン運動は面白くないので、以下のようなドリフト項つきブラウン運動を考えていた。

{ \displaystyle N(x_t|x_{t-1}+t\mu, t\sigma^2) }

ここでμが固定だといまいちバリエーションに貧しいので、これも時間変化するような場合を考えた。
ただしなにも制限を加えないとよくわからないことになるので、ここでは以下のように何らかの値の線形結合で表現されるとした。

{ \displaystyle \mu = \sum w_i \theta_{i,t} }

ここでwは重みパラメータで時間に依存せず一定、Θは時刻依存的に変化するがその値は観測されるとする。

イメージとしては、xが何らかの農作物に関わる株価を表し、Θが天気や気温とかを表しているとする。
要はxの変動がランダムなブラウン運動的な挙動を示しながらも、Θに依存してある程度の方向性を示すような場合をモデル化し、重みパラメータwを推定することでどの要素がxの挙動にどのように影響を与えるかを知ることはできるか試したかったのだ。

それで、ドリフト項付きブラウン運動に戻ると、以下の式となる。

{ \displaystyle N(x_t|x_{t-1}+t\sum w_i \theta_{i,t}, t\sigma^2) }

さてここで株価のようにxを一定間隔の時間で観測できるような場合を考えると、

{ \displaystyle tw_i=w'_i\\ t\sigma^2=\sigma'^2 }

とでき、

{ \displaystyle N(x_t|x_{t-1}+\sum w'_i \theta_{i,t}, \sigma'^2) }

となる。


さて、上記式をちょっと移行して以下の通りに変形すると

{ \displaystyle N(x_t-x_{t-1}|\sum w'_i \theta_{i,t}, \sigma'^2) }

なんということでしょう、これはxの時刻差分がガウスノイズの下でΘの線形回帰と同じことではないか。

見方によっては面白い結果かもしれないが、確率過程で俺つえーしたかった身としては、面白くない結果となってしまった。