期待値の時間発展¶
参考
- [Ginzburg1994]
- この章の議論は, Ginzburg & Sompolinsky (1994) の Appendix A に基づいている.
期待値の時間発展
マスター方程式 と同じ設定の下, ニューロン \(i\) の状態の期待値 \(\Avg{\sigma_i(t)} = \sum_{\bm\sigma} \sigma_i P_t(\bm\sigma)\) は次の方程式に従う.
\[\tau \frac{\D}{\D t} \Avg{\sigma_i(t)}
= - \Avg{\sigma_i(t)} + \Avg{g_i(\bm\sigma(t))}\]
ただし, \(g_i\) は状態 \(\bm\sigma\) に基づき遷移確率を与える関数で,
\[g_i(\bm\sigma(t))
= w(1 | \sigma_i', \bm{\sigma}^{\setminus i}) \, \tau
\qquad
(\sigma_i' = 0, 1)\]
と定義される. つまり, \(w(1 | \sigma_i', \bm{\sigma}^{\setminus i})\) が \(\sigma_i'\) に依らない場合にのみ上式は成り立つ.
一般の場合の期待値の時間発展¶
期待値 \(\Avg{\sigma_i(t)} = \sum_{\bm\sigma} \sigma_i P_t(\bm\sigma)\) の時間微分をとると,
\[\begin{split}\frac{\D}{\D t} \Avg{\sigma_i(t)}
& =
\sum_{\bm\sigma} \sigma_i \frac{\D}{\D t} P_t(\bm\sigma)
\\
& =
\sum_{\bm\sigma} \sigma_i
\left\{
- \sum_{j=1}^N
w(1 - \sigma_j | \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\bm \sigma)
+ \sum_{j=1}^N
w(\sigma_j | 1 - \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\hat{\bm{\sigma}}^{j})
\right\}
\\
& =
-
\underbrace{
\sum_{\bm\sigma} \sum_{j=1}^N
\sigma_i
w(1 - \sigma_j | \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\bm \sigma)
}_{\text{(A)}}
+
\underbrace{
\sum_{\bm\sigma} \sum_{j=1}^N
\sigma_i
w(\sigma_j | 1 - \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\hat{\bm{\sigma}}^{j})
}_{\text{(B)}}\end{split}\]
\[\begin{split}\text{(B)}
& =
\sum_{\bm\sigma} \sum_{j=1}^N
\overbrace{
(\delta_{ij} + 1 - \delta_{ij})
}^{= 1}
\sigma_i
w(\sigma_j | 1 - \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\hat{\bm{\sigma}}^{j})
\\
& =
\underbrace{
\sum_{\bm\sigma} \sum_{j=1}^N
\delta_{ij}
\sigma_i
w(\sigma_j | 1 - \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\hat{\bm{\sigma}}^{j})
}_{\text{(B1)}}
\\
& \qquad
+
\underbrace{
\sum_{\bm\sigma} \sum_{j=1}^N
(1 - \delta_{ij})
\sigma_i
w(\sigma_j | 1 - \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\hat{\bm{\sigma}}^{j})
}_{\text{(B2)}}\end{split}\]
\[\begin{split}\text{(B1)}
& \overset{(1)} =
\sum_{\bm\sigma} \sum_{j=1}^N
\delta_{ij}
\sigma_j
w(\sigma_j | 1 - \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\hat{\bm{\sigma}}^{j})
\\
& \overset{(2)} =
\sum_{\bm\sigma} \sum_{j=1}^N
\delta_{ij}
(1 - \sigma_j)
w(1 - \sigma_j | \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\bm{\sigma})
\\
& \overset{(3)} =
\sum_{\bm\sigma}
(1 - \sigma_i)
w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i})
P_t(\bm{\sigma})\end{split}\]
\[\begin{split}\text{(B2)}
& =
\sum_{\bm\sigma} \sum_{j=1}^N
(1 - \delta_{ij})
\sigma_i
w(1 - \sigma_j | \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\bm{\sigma})\end{split}\]
\[\begin{split}\text{(A)} + \text{(B2)}
& =
\sum_{\bm\sigma} \sum_{j=1}^N
\sigma_i
w(1 - \sigma_j | \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\bm \sigma)
\\
& \qquad
+
\sum_{\bm\sigma} \sum_{j=1}^N
(1 - \delta_{ij})
\sigma_i
w(1 - \sigma_j | \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\bm{\sigma})
\\
& =
-
\sum_{\bm\sigma} \sum_{j=1}^N
\delta_{ij}
\sigma_i
w(1 - \sigma_j | \sigma_j, \bm{\sigma}^{\setminus j})
P_t(\bm{\sigma})
\\
& =
-
\sum_{\bm\sigma}
\sigma_i
w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i})
P_t(\bm{\sigma})\end{split}\]
\[\begin{split}\frac{\D}{\D t} \Avg{\sigma_i(t)}
& =
\text{(A)} + \text{(B1)} + \text{(B2)}
\\
& =
\sum_{\bm\sigma}
(1 - 2 \sigma_i)
w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i})
P_t(\bm{\sigma})
\\
& =
\Avg{
(1 - 2 \sigma_i)
w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i})
}(t)\end{split}\]
遷移確率 \(w(1 | \sigma_i', \bm{\sigma}^{\setminus i})\) が自己の状態 \(\sigma_i'\) に依らない場合¶
関数 \(g_i\) の定義 \(w(1 | \sigma_i', \bm{\sigma}^{\setminus i}) = g(\bm{\sigma}) / \tau\) (\(\sigma_i' = 0, 1\)) は
\[w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i})
=
\frac{1}{2 \tau} \left\{
1 - (2 \sigma_i - 1) [2 g_i(\bm{\sigma}) - 1]
\right\}\]
と書くことが出来る. これは上式に \(\sigma_i = 0\) と \(\sigma_i = 1\) を代入することで確かめられる.
この式を用いて, \(\frac{\D}{\D t} \Avg{\sigma_i(t)}\) を計算すると,
\[\begin{split}\frac{\D}{\D t} \Avg{\sigma_i(t)}
& =
\Avg{
(1 - 2 \sigma_i)
\frac{1}{2 \tau} \left\{
1 - (2 \sigma_i - 1) [2 g_i(\bm{\sigma}) - 1]
\right\}
}(t)
\\
& \overset{(1)} =
\Avg{
\frac{1}{2 \tau} \left\{
(1 - 2 \sigma_i) + (1 - 2 \sigma_i)^2 [2 g_i(\bm{\sigma}) - 1]
\right\}
}(t)
\\
& \overset{(2)} =
\Avg{
\frac{1}{2 \tau} \left\{
(1 - 2 \sigma_i) + 2 g_i(\bm{\sigma}) + 1
\right\}
}(t)
\\
& =
\Avg{
\frac{1}{\tau} \left\{
- \sigma_i + g_i(\bm{\sigma})
\right\}
}(t)
\\
& =
\frac{1}{\tau} \left\{
- \Avg{\sigma_i}(t)
+ \Avg{g_i(\bm{\sigma})}(t)
\right\}\end{split}\]
相関関数¶
課題
相関関数の従う方程式 (“two-time” second moment の時間発展) を導出する.
\[\Avg{f(\bm \sigma(t), \bm \sigma(t+s))}
:=
\sum_{\bm \sigma} P_t(\bm \sigma)
\sum_{\bm \varsigma} P_{t+s, t}(\bm \varsigma | \bm \sigma)
f(\bm \sigma, \bm \varsigma)\]
\[\CAvg{f(\bm \sigma(t+s))}{\bm \sigma(t)}
:=
\sum_{\bm \varsigma} P_{t+s, t}(\bm \varsigma | \bm \sigma(t))
f(\bm \varsigma)\]
\[\begin{split}&
\Avg{\sigma_i(t) \, \sigma_j(t+s)}
\\
& =
\sum_{\bm \sigma} P_t(\bm \sigma)
\sum_{\bm \varsigma} P_{t+s, t}(\bm \varsigma | \bm \sigma)
\, \sigma_i \, \varsigma_j
\\
& =
\sum_{\bm \sigma} P_t(\bm \sigma)
\, \sigma_i
\underbrace{
\sum_{\bm \varsigma} P_{t+s, t}(\bm \varsigma | \bm \sigma)
\, \varsigma_j
}_{= \CAvg{\sigma_j(t+s)}{\bm \sigma(t)}}
\\
& =
\Avg{\sigma_i(t) \CAvg{\sigma_j(t+s)}{\bm \sigma(t)}}\end{split}\]
\[\tau \frac{\D}{\D s}
\CAvg{\sigma_j(t+s)}{\bm \sigma(t)}
=
- \CAvg{\sigma_j(t+s)}{\bm \sigma(t)}
+ \CAvg{g_j(\bm \sigma(t+s))}{\bm \sigma(t)}\]
\[\begin{split}\Avg{\sigma_i(t) \cdot \text{(l.h.s)}}
& =
\Avg{\sigma_i(t)
\, \tau \frac{\D}{\D s} \CAvg{\sigma_j(t+s)}{\bm \sigma(t)}}
\\
& =
\tau \frac{\D}{\D s}
\Avg{\sigma_i(t) \CAvg{\sigma_j(t+s)}{\bm \sigma(t)}}
\\
& =
\tau \frac{\D}{\D s}
\Avg{\sigma_i(t) \, \sigma_j(t+s)}\end{split}\]
\[\begin{split}\Avg{\sigma_i(t) \cdot \text{(r.h.s)}}
& =
\Avg{\sigma_i(t) \left\{
- \CAvg{\sigma_j(t+s)}{\bm \sigma(t)}
+ \CAvg{g_j(\bm \sigma(t+s))}{\bm \sigma(t)}
\right\}}
\\
& =
- \Avg{\sigma_i(t) \, \sigma_j(t+s)}
+ \Avg{\sigma_i(t) \, g_j(\bm \sigma(t+s))}\end{split}\]
\[\begin{split} \tau \frac{\D}{\D s}
\Avg{\sigma_i(t) \, \sigma_j(t+s)}
& =
- \Avg{\sigma_i(t) \, \sigma_j(t+s)}
+ \Avg{\sigma_i(t) \, g_j(\bm \sigma(t+s))}\end{split}\]