\(\newcommand{\D}{\text{d}} \newcommand{\I}{\text{i}} \newcommand{\E}{\text{e}} \newcommand{\Prob}{\mathbb{P}} \newcommand{\Expect}{\mathbb{E}} \newcommand{\Var}{\text{Var}} \newcommand{\PAvg}[1]{\left[#1\right]} \newcommand{\Avg}[1]{\left\langle#1\right\rangle} \newcommand{\AvgJ}[1]{\Avg{#1}_{\bm J}} \newcommand{\AvgDyn}[1]{\Avg{#1}_{\text{dyn.}}} \newcommand{\CAvg}[2]{\Avg{#1}_{\left|#2\right.}} \newcommand{\Devi}{\mathfrak{d}}\)
時間ゆらぎの計算
ここでは
時間ゆらぎ (temporal fluctuations)
が
(1)\[\Avg{
\left[\left(
u_k^i(t) - \Avg{u_k^i(t)}_t
\right)^2 \right]_i
}_{t}
\xrightarrow{N \to \infty}
\sum_l J_{kl}^2 (m_l - q_l)
=
\alpha_k - \beta_k\]
となることを示す.
まずは \(\Avg{\bullet}_t\) の中身を計算する.
\[\begin{split}\left[\left(
u_k^i(t) - \Avg{u_k^i(t)}_t
\right)^2 \right]_i
& \overset{(1)} =
\left[
\sum_{ll'jj'}
J_{kl}^{ij} J_{kl'}^{ij'}
(\sigma_l^j(t) - m_l^j)
(\sigma_{l'}^{j'}(t) - m_{l'}^{j'})
\right]_i
\\
& \overset{(2)} =
\sum_{ll'jj'}
\left[
J_{kl}^{ij} J_{kl'}^{ij'}
\right]_i
(\sigma_l^j(t) - m_l^j)
(\sigma_{l'}^{j'}(t) - m_{l'}^{j'})
\\
& \overset{(3)} \approx
\sum_{lj}
\left[
J_{kl}^{ij} J_{kl}^{ij}
\right]_i
(\sigma_l^j(t) - m_l^j)^2
\\
& \overset{(4)} =
\sum_l
J_{kl}^2
\left(1 - \frac K N_l \right)
\underbrace{
\frac 1 N_l
\sum_j
(\sigma_l^j(t) - m_l^j)^2
}_{(*)}\end{split}\]
ここで,
(1) 和の積の計算のための添字テクニック,
(2) ニューロンの状態と結合係数の相関 の議論,
(3) \(\sigma_l^j(t)\) と \(\sigma_{l'}^{j'}(t)\) が無相関なので, 時間平均活動率のゆらぎ と同様に,
\((j, l) = (j', l')\) の項以外は \(O(1/N)\) の大きさしかもたないこと,
(4) 大数の法則 (law of large numbers) と 結合確率の定義 による期待値の計算,
を用いた.
この式を時間平均 \(\Avg{\bullet}_t\) したものを計算したい. 時間に依存するのは (*) の部分のみなので, これの時間平均をとる.
\[\begin{split}\Avg{(*)}_t
& =
\Avg{
\left[
(\sigma_l^j(t) - m_l^j)^2
\right]_j
}_t
\\
& \overset{(1)} =
\Avg{
\left[
\left( \sigma_l^j(t) \right)^2
\right]_j
}_t
-
\left[
(m_l^j)^2
\right]_j
\\
& \overset{(2)} =
\Avg{\PAvg{
\sigma_l^j(t)
}}_t
-
\left[
(m_l^j)^2
\right]_j
\\
& \overset{(3)} =
m_l - q_l\end{split}\]
ここで,
(1) \([(\Devi x)^2] = [x^2] - [x]^2\) と同種の計算,
(2) \(\sigma_l^j(t)\) の取りうる値は 0 か 1 なので
\(\left( \sigma_l^j(t) \right)^2 = \sigma_l^j(t)\),
(3) \(m_k\) と \(q_k\) の定義,
を用いた.
以上の計算を統合すると,
\[\begin{split}\Avg{
\left[\left(
u_k^i(t) - \Avg{u_k^i(t)}_t
\right)^2 \right]_i
}_t
& \approx
\sum_l
J_{kl}^2
\left(1 - \frac K N_l \right)
(m_l - q_l)\end{split}\]
が導かれる. これの左辺の極限 \(N \to \infty\) をとると式 (1) が導かれる.
時間平均なしでも時間ゆらぎは計算できる
時間に依存する部分 (*) を, 時間平均なしで計算すると
\[\begin{split}(*)
& =
\PAvg{
(\sigma_l^j(t) - m_l^j)^2
}_j
\\
& =
\PAvg{
\left( \sigma_l^j(t) \right)^2
}_j
-
2
\PAvg{
\sigma_l^j(t) \,
m_l^j
}_j
+
\PAvg{
(m_l^j)^2
}_j
\\
& =
\PAvg{
\left( \sigma_l^j(t) \right)^2
}_j
-
\PAvg{
(m_l^j)^2
}_j
-
2
\PAvg{
(\sigma_l^j(t) - m_l^j) \,
m_l^j
}_j
\\
& =
m_k(t)
-
q_l
+
2
\PAvg{
\zeta_l^j(t) \,
m_l^j
}_j\end{split}\]
となる.
ただし, \(\zeta_l^j(t) = \sigma_l^j(t) - m_l^j\) とおいた.
この (*) が定常状態では \(\Avg{(*)}_t\) と等しいことが示せる. まず,
第一項は \(m_k(t) = m_k\) である. よって, 第三項がゼロになることが示せれば良い.
無相関性の「証明」 の議論から, \(\sigma_l^j(t)\) つまり
\(\zeta_l^j(t) = \sigma_l^j(t) - m_l^j\) が違うニューロン同士では無相関であることに注意すれば, 無相関変数に対する大数の法則 より,
\[\begin{split}&
\PAvg{
\zeta_l^j(t) \,
m_l^j
}_j
\approx
\AvgJ{\AvgDyn{
\zeta_l^j(t) \,
m_l^j
}}
= (\star)\end{split}\]
となる. これは,
\[\begin{split}(\star)
& =
\Avg{
\AvgJ{m_l^j(t) \, m_l^j} -
\AvgJ{m_l^j(s) \, m_l^j}
}_s\end{split}\]
と書ける.
\(\AvgJ{m_l^j(t) \, m_l^j}\) と
\(\AvgJ{m_l^j(s) \, m_l^j}\) が同じ (集団レベルでの, あるいはグローバルな) 量を違う時間で評価したものであることを考慮すれば, 定常状態ではこの量は時間に依らないはずであり, \((\star) = 0\) が導ける.
もっと形式的にこれを導出するためには, 自己相関関数
\[\begin{split}C(t, r)
& := \AvgJ{(m_l^j(t) - m_l(t)) (m_l^j(r) - m_l(r))} \\
& = \AvgJ{m_l^j(t) \, m_l^j(r)} - m_l(t) \, m_l(r).\end{split}\]
を使う. これを用いれば,
\[\begin{split}& (\star) = ...
\\
& =
\Avg{
\AvgJ{m_l^j(t) \, m_l^j} -
\AvgJ{m_l^j(s) \, m_l^j}
}_s
\\
& =
\Avg{
\AvgJ{m_l^j(t) \, m_l^j(r)} -
\AvgJ{m_l^j(s) \, m_l^j(r)}
}_{s,r}
\\
& =
\Avg{
C(t, r) + m_l(t) \, m_l(r) -
C(s, r) - m_l(s) \, m_l(r)
}_{s,r}
\\
& \overset{(1)} =
\Avg{
C(t - r) - C(s - r)
}_{s,r}
\\
& =
\Avg{\Avg{C(t - r)}_r - \Avg{C(s - r)}_r}_s
\\
& \overset{(2)} =
\Avg{\Avg{C(r)}_r - \Avg{C(r)}_r}_s
= 0\end{split}\]
となることが導ける. ただし, (1) で系が定常状態にあると自己相関関数が時間差のみに依存すること \(C(t ,r) = C(t - r)\)
を用い, (2) で時間平均が時間シフトの元で不変であることを用いた