\(\newcommand{\D}{\text{d}} \newcommand{\I}{\text{i}} \newcommand{\E}{\text{e}} \newcommand{\Prob}{\mathbb{P}} \newcommand{\Expect}{\mathbb{E}} \newcommand{\Var}{\text{Var}} \newcommand{\PAvg}[1]{\left[#1\right]} \newcommand{\Avg}[1]{\left\langle#1\right\rangle} \newcommand{\AvgJ}[1]{\Avg{#1}_{\bm J}} \newcommand{\AvgDyn}[1]{\Avg{#1}_{\text{dyn.}}} \newcommand{\CAvg}[2]{\Avg{#1}_{\left|#2\right.}} \newcommand{\Devi}{\mathfrak{d}}\)
クエンチされたゆらぎの計算
ここでは, クエンチされたゆらぎ (quenched fluctuations)
が
(1)\[\left[ \left( \Devi \Avg{u_k^i(t)}_t \right)^2 \right]
\xrightarrow{N \to \infty}
\sum_{l=1,2} J_{kl}^2 q_l =: \beta_k\]
となることを示す. ただし, \(\Avg{\bullet}_t\) は長い時間にわたる平均である.
ここで, \(q_k\) は オーダーパラメター (order parameter)
と呼ばれ, ニューロン \(i\) の活動率の時間平均 \(m_k^i\) を用いて,
\[\begin{split}m_k^i &:= \Avg{\AvgDyn{\sigma_k^i(t)}}_t \\
q_k &:= \PAvg{(m_k^i)^2}_i\end{split}\]
と定義される.
偏差の分解
まず, \(\Avg{u_k^i(t)}_t\) の集団平均 \([\Avg{u_k^i(t)}_t]\)
からのズレ具合 (偏差) を次のように, 2つの成分に分解できることを示す.
\[\Devi \Avg{u_k^i(t)}_t
=
\underbrace{
\sum_l \sum_j \Devi J_{kl}^{ij} \, m_l
}_{\text{(d1)}}
+
\underbrace{
\sum_l \sum_j J_{kl}^{ij} \, \Devi m_l^j
}_{\text{(d2)}}\]
ここで (d1) は 「結合数のゆらぎ」, (d2) は 「時間平均活動率のゆらぎ」である. 結合数は時間によらないので, そのゆらぎが「クエンチされている」のは当然であるが, 活動率の時間平均 \(m_l^j\) も
(平均操作のおかげで) 時間によらないので, そのゆらぎもクエンチされたゆらぎに含める必要がある. つまり,
クエンチされたゆらぎのうち, 直接の影響である (d1) 「結合数のゆらぎ」と, それが引き起こす間接的な影響である (d2) 「時間平均活動率のゆらぎ」の2つを勘定すれば良い, という主張である.
これは, 地道に入力の時間平均 \(\Avg{u_k^i(t)}_t\) の偏差を計算することによって示せる:
\[\begin{split}\Devi \Avg{u_k^i(t)}_t
& \overset{(1)} =
\Devi \Avg{
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)
}_t
\\
& \overset{(2)} =
\Devi \left(
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j
\right)
\\
& \overset{(3)} =
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j
-
\left[
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{i'j} m_l^j
\right]_{i'}
\\
& \overset{(4)} =
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j
-
\sum_{l = E, I} [J_{kl}^{i'j'}]_{i'} \sum_{j=1}^{N_l} m_l^j
\qquad (\forall j')
\\
& \overset{(5)} \approx
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j
-
\underbrace{
\sum_{l = E, I} [J_{kl}^{i'j'}]_{i'} \sum_{j=1}^{N_l} m_l
}_{\text{nothing depends on } j}
\\
& \overset{(6)} =
\sum_{l = E, I} \sum_{j=1}^{N_l}
\left\{
J_{kl}^{ij} (m_l^j - m_l)
- (J_{kl}^{ij} - [J_{kl}^{i'j'}]_{i'}) m_l
\right\}
\\
& =
\text{(d1)} + \text{(d2)}\end{split}\]
ここで,
(1) \(\Devi(x + \text{const.}) = \Devi x\),
(2) 定義 \(m_l^j = \Avg{\sigma_l^j(t)}_t\),
(3) 偏差 \(\Devi\) の定義,
(4) ニューロンの状態と結合係数の相関 の議論,
(5) \(\sum_{j=1}^{N_l} m_l^j = N_l N_l^{-1} \sum_{j=1}^{N_l} m_l^j
= N_l [m_l^{j''}]_{j''} = N_l m_l\) であり, \(N_l = \sum_{j=1}^{N_l} 1\)
なので, 結局 \(... = \sum_{j=1}^{N_l} m_l\),
(6) \(- J_{kl}^{ij} m_l + J_{kl}^{ij} m_l = 0\),
を用いた.
式変形 (4) の右辺とそれ以降の式中に現れる \(j'\) は, \(1\) から \(N_l\)
のどの値をとっても良い. これは 大数の法則 (law of large numbers) より \([J_{kl}^{i'j'}]_{i'}\) が同じ値に収束するからである.
ふたつの偏差の相関
上記の計算より導かれた2つの偏差の二乗平均をとって, ゆらぎを
\[\left[
\left(
\Devi \Avg{u_k^i(t)}_t
\right)^2
\right]
=
\left[
\text{(d1)}^2
\right]
+
\left[
\text{(d2)}^2
\right]\]
のように求めたいが, そのためにはそれらの偏差が無相関 \(\PAvg{\text{(d1)}\text{(d2)}} = 0\)
でなければならない. これは簡単に示せる:
\[\begin{split}&
\left[
\text{(d1)}
\text{(d2)}
\right]
\\
& \overset{(1)} =
\left[
\sum_{ll'jj'}
\Devi J_{kl}^{ij} \, m_l \,
J_{kl'}^{ij'} \, \Devi m_{l'}^{j'}
\right]_i
\\
& \overset{(2)} =
\sum_{ll'jj'}
\left[
\Devi J_{kl}^{ij} \, J_{kl'}^{ij'}
\right]_i
m_l \, \Devi m_{l'}^{j'}
\\
& \overset{(3)} =
\sum_{lj}
\left(
\left[(J_{kl}^{i*})^2 \right]_i
-
\left[J_{kl}^{i*} \right]_i^2
\right)
m_l \, \Devi m_{l'}^{j}
\\
& =
\sum_{l}
\left(
\left[(J_{kl}^{i*})^2 \right]_i
-
\left[J_{kl}^{i*} \right]_i^2
\right)
m_l \,
\underbrace{\sum_j \Devi m_{l'}^{j}}_{=0}
\\
& = 0\end{split}\]
式変形 (1) では ニューロンの状態と結合係数の相関 の議論を用いた.
式変形 (2) では,
\(\left[\Devi J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i\)
は \((l, j) \neq (l', j')\) だと
\[\left[\Devi J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i
=
\left[ \Devi J_{kl}^{ij} \right]_i
\left[ J_{kl'}^{ij'} \right]_i
= 0\]
なので, 非ゼロになるのは \((l, j) = (l', j')\) の場合のみであることを用いた.
式変形 (3) は, 偏差 \(\Devi\) の定義に沿って
\[\left[\Devi J_{kl}^{ij} \, J_{kl}^{ij} \right]_i
=
\left[ (J_{kl}^{ij})^2 \right]_i
-
\left[ J_{kl}^{ij} \right]_i^2\]
という計算をすれば良い. 式変形 (3) の右辺以降に現れる添字の \(*\) は, この部分の添字が何でも良いことを表す.
結合数のゆらぎ
\[\begin{split}[\text{(d1)}^2]
& =
\left[ \left(
\sum_l \sum_j \Devi J_{kl}^{ij} \, m_l
\right)^2 \right]_i
\\
& \overset{(1)} =
\left[
\sum_{ll'jj'}
\Devi J_{kl}^{ij} \, \Devi J_{kl'}^{ij'}
\, m_l \, m_{l'}
\right]_i
\\
& \overset{(2)} =
\sum_{ll'jj'}
\left[
\Devi J_{kl}^{ij} \, \Devi J_{kl'}^{ij'}
\right]_i
m_l \, m_{l'}
\\
& \overset{(3)} =
\sum_j
J_{kl}^2 \left(1 - \frac K N_l \right)
\left( m_l \right)^2\end{split}\]
ここで,
(1) 和の積の計算のための添字テクニック と
(2) ニューロンの状態と結合係数の相関 の議論を用いた.
最後の式変形 (3) では,
\((l, j) \neq (l', j')\) だと
\[\left[
\Devi J_{kl}^{ij} \, \Devi J_{kl'}^{ij'}
\right]_i
=
\left[
\Devi J_{kl}^{ij}
\right]_i
\left[
\Devi J_{kl'}^{ij'}
\right]_i
= 0\]
となり,
\((l, j) = (l', j')\) だと
\[\begin{split}\left[\left(
\Devi J_{kl}^{ij}
\right)^2 \right]_i
& \overset{(1)} =
\left[\left(
J_{kl}^{ij}
\right)^2 \right]_i
-
\left( \left[
J_{kl}^{ij}
\right]_i \right)^2
\\
& \overset{(2)} \approx
\left(
\frac{J_{kl}}{\sqrt K}
\right)^2
\frac{K}{N_l}
-
\left(
\frac{J_{kl}}{\sqrt K}
\frac{K}{N_l}
\right)^2
\\
& =
\frac{J_{kl}^2}{N_l}
\left(
1 - \frac{K}{N_l}
\right)\end{split}\]
となることを用いた.
この計算では,
(1) 偏差 \(\Devi\) の定義を使い,
(2) 大数の法則 (law of large numbers) と 結合確率の定義 による期待値の計算をした.
時間平均活動率のゆらぎ
\[\begin{split}[\text{(d2)}^2]
& =
\left[ \left(
\sum_l \sum_j J_{kl}^{ij} \, \Devi m_l^j
\right)^2 \right]_i
\\
& \overset{(1)} =
\left[
\sum_{ll'jj'}
J_{kl}^{ij} \, J_{kl'}^{ij'}
\Devi m_l^j \, \Devi m_{l'}^{j'}
\right]_i
\\
& \overset{(2)} \approx
\sum_{ll'jj'}
\left[
J_{kl}^{ij} \, J_{kl'}^{ij'}
\right]_i
\Devi m_l^j \, \Devi m_{l'}^{j'}
\\
& =
\sum_{\substack{ll' \\ l \neq l'}}
\sum_{jj'}
\bullet
+
\sum_l
\sum_{\substack{jj' \\ j \neq j'}}
\bullet
+
\sum_l
\sum_j
\bullet\end{split}\]
ここで,
(1) 和の積の計算のための添字テクニック と
(2) ニューロンの状態と結合係数の相関 の議論を用いた.
上記の3つの項は以下のように計算できる.
\[\begin{split} \sum_{\substack{ll' \\ l \neq l'}}
\sum_{jj'}
\left[
J_{kl}^{ij} \, J_{kl'}^{ij'}
\right]_i
\Devi m_l^j \, \Devi m_{l'}^{j'}
& =
\sum_{\substack{ll' \\ l \neq l'}}
\left[J_{kl}^{i*} \, J_{kl'}^{i*} \right]_i
\sum_j \Devi m_l^j
\sum_{j'} \Devi m_{l'}^{j'}
= 0\end{split}\]
\[\begin{split} \sum_l
\sum_{\substack{jj' \\ j \neq j'}}
\left[
J_{kl}^{ij} \, J_{kl'}^{ij'}
\right]_i
\Devi m_l^j \, \Devi m_{l'}^{j'}
& =
\sum_l
\left[J_{kl}^{i*} \right]_i^2
\sum_j \Devi m_l^j
\sum_{\substack{j' \\ j \neq j'}} \Devi m_l^{j'}
\\
& \overset{(1)} =
\sum_l
\left(
\frac{J_{kl}}{\sqrt K}
\frac{K}{N_l}
\right)^2
\sum_j \Devi m_l^j
\left(
\sum_{j'} \Devi m_l^{j'} - \Devi m_l^j
\right)
\\
& =
K
\sum_l
(J_{kl})^2
\frac{1}{N_l}
\sum_j \Devi m_l^j
\left(
\frac{1}{N_l} \sum_{j'} \Devi m_l^{j'}
-
\frac{1}{N_l} \Devi m_l^j
\right)
\\
& \overset{(2)} =
K
\sum_l
(J_{kl})^2
\left(
[\Devi m_l^j]_j
[\Devi m_l^{j'}]_{j'}
-
\frac{1}{N_l}
[(\Devi m_l^j)^2]_j
\right)
\\
& \overset{(3)} =
O(K/N)\end{split}\]
ここで,
(1) 結合確率の定義 による期待値の計算,
(2) 集団平均の定義 \(\PAvg{\bullet}_j = \sum_j \bullet / N_l\),
(3) \([\Devi m_l^j]_j = 0\)
を用いた
\[\begin{split} \sum_l
\sum_j
\left[
(J_{kl}^{ij})^2
\right]_i
(\Devi m_l^j)^2
& \overset{(1)} =
\sum_l
\left[
(J_{kl}^{i*})^2
\right]_i
N_l
\left[
(\Devi m_l^j)^2
\right]_j
\\
& \overset{(2)} =
\sum_l
\left(
\frac{J_{kl}}{\sqrt K}
\right)^2
\frac{K}{N_l}
N_l
\left[
(\Devi m_l^j)^2
\right]_j
\\
& =
\sum_l
J_{kl}^2
\left[
(\Devi m_l^j)^2
\right]_j
\\
& \overset{(3)} =
\sum_l
J_{kl}^2
\left(
[(m_l^j)^2] - [m_l^j]^2
\right)
\\
& \overset{(4)} =
\sum_l
J_{kl}^2
\left(
q_l - m_l^2
\right)\end{split}\]
ここで,
(1) \(\left[(J_{kl}^{ij})^2 \right]_i\) が \(j\) に依存しないこと,
(2) 大数の法則 (law of large numbers) と 結合確率の定義 による期待値の計算,
(3) \([(\Devi x)^2] = [x^2] - [x]^2\),
(4) \(q_k\) と \(m_k\) の定義を用いた.
合計
\[\begin{split}\left[
\left(
\Devi \Avg{u_k^i(t)}_t
\right)^2
\right]
& \approx
\left[
\text{(d1)}^2
\right]
+
\left[
\text{(d2)}^2
\right]
\\
& \approx
\sum_j
J_{kl}^2 \left(1 - \frac K N_l \right)
\left( m_l \right)^2
+
\sum_l
J_{kl}^2
\left(
q_l - m_l^2
\right)
\\
& =
\sum_l J_{kl}^2 \, q_l
+ O(N_l^{-1})
\\
& \xrightarrow{N \to \infty}
\sum_l J_{kl}^2 \, q_l\end{split}\]
これで, クエンチされたゆらぎが式 (1)
で表されることが示された.