を導出する. ここで \([ \bullet ]_i\) は集団 \(k \in \{ E, I \}\) 内のニューロンに関する
集団平均 (population average;
添字 \(i\) に沿った平均) を表し,
入力の集団平均
\[\begin{split}u_k(t)
& =
[u_k^i (t)]_i
\\
& =
\left[
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)
+ u_k^0 - \theta_k
\right]_i
\\
& =
\sum_{l = E, I}
\underbrace{
\left[
\sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)
\right]_i
}_{(*)}
+ u_k^0 - \theta_k\end{split}\]
この (*) は以下のように近似的できる.
\[\begin{split}(*)
& \overset{(1)} \approx
\sum_{j=1}^{N_l}
\left[
J_{kl}^{ij}
\right]_i
\sigma_l^j(t)
\\
& \overset{(2)} \approx
\sum_{j=1}^{N_l}
J_{kl} \frac{\sqrt K}{N_l}
\sigma_l^j(t)
\\
& \overset{(3)} =
J_{kl} \frac{\sqrt K}{N_l}
\sum_{j=1}^{N_l}
\sigma_l^j(t)
\\
& \overset{(4)} =
J_{kl} \sqrt K
\left[
\sigma_l^j(t)
\right]_j
\\
& \overset{(5)} =
J_{kl} \sqrt K m_l(t)\end{split}\]
ここで,
(1) は, \([ \bullet ]_i\) の線型性 (よって和 \(\sum_{j=1}^{N_l}\) と集団平均 \([ \bullet ]_i\) は演算順序を入れ替えて良い) と \(\sigma_l^j(t)\) が \(i\) に依らないこと
(これの正しい解説は ニューロンの状態と結合係数の相関 を参照),
(2) 大数の法則 (law of large numbers) より算術平均は期待値に収束する, つまり \(N \to \infty\)
の極限で \(\left[ J_{kl}^{ij} \right]_i \to \AvgJ{J_{kl}^{ij}}\) が成り立つことと, \(\Prob \{ J_{kl}^{ij} = {J_{kl}}/{\sqrt K}\} = {K}/{N_l}\)
と \(\Prob \{ J_{kl}^{ij} = 0\} = 1 - {K}/{N_l}\) から期待値は \(\AvgJ{J_{kl}^{ij}} = ({J_{kl}}/{\sqrt K}) ({K}/{N_l})
= J_{kl} {\sqrt K}/{N_l}\) となること,
(3) \(J_{kl} \sqrt K / N_l\) が \(j\) に依らない定数であること,
(4) 集団平均の定義,
(5) \(m_l(t)\) の定義を用いた.
これらの計算を合わせ, \(u_k^0 = \sqrt K E_k m_0\) を思い出せば, 入力の集団平均 \(u_k(t)\) は
\[\begin{split}u_k(t)
& = ...
\\
& \approx
\sum_{l = E, I} J_{kl} \sqrt K m_l(t)
+ u_k^0 - \theta_k
\\
& =
\sqrt K \left(
\sum_{l = E, I} J_{kl} m_l(t) + E_k m_0
\right)
- \theta_k\end{split}\]
となる.
ニューロンの状態と結合係数の相関
上記の式変換(1)で「\(\sigma_l^j(t)\) が \(i\) に依らない」ことを用いたが,
これは正しくは, \(J_{kl}^{ij}\) と \(\sigma_l^j(t)\) の相関が無い と仮定することで, \(\sigma_l^j(t)\) は \(i\), つまり \(J_{kl}^{ij}\)
に依らずに決まるから集団平均 \([ \bullet ]_i\) の演算にとっては定数として扱えることから言える. この \(J_{kl}^{ij}\) と \(\sigma_l^j(t)\) が無相関であるという仮定は,
- 事象 \(J_{kl}^{ij} \neq 0\) と \(J_{lk}^{ji} \neq 0\) が独立
(\(J_{kl}^{ij}\) の定義より)
- \(\sigma_l^j(t)\) と \(\sigma_l^{j'}(t)\) (\(j' \neq j\))
が無相関という仮定
から正当化される.
この無相関の仮定は有限の \(N, K\) では正しくないので, この式変形は完全な等号では結ばれず, \(\approx\) と書いている.
課題
式変形 \([J_{kl}^{ij} \, \sigma_l^j(t)]_i
= [J_{kl}^{ij}]_i \, \sigma_l^j(t)\) を正当化する議論をもっと形式化する.
説明に自然言語つかいすぎ！
先に確率平均に行く方法もあるかも?:
\(J_{kl}^{ij}\) と \(\sigma_l^j(t)\) が独立だという近似のもと, \([J_{kl}^{ij} \sigma_l^j(t)]_i
\approx \AvgJ{J_{kl}^{ij} \sigma_l^j(t)}
= \AvgJ{J_{kl}^{ij}} \AvgJ{\sigma_l^j(t)}\)
であることを用いる. この \(\AvgJ{\sigma_l^j(t)}\) は式変形 (4) にあるように,
さらに集団平均 \([\bullet]_j\) がかかるから,
\(\left[ \AvgJ{\sigma_l^j(t)} \right]_j = \AvgJ{[\sigma_l^j(t)]_j}
= \AvgJ{m_l(t)}\) となる. この系は self-averaging なので (とどこかで説明する必要があるけど,) \(\AvgJ{m_l(t)} = m_l(t)\) となる.
入力のゆらぎ
\[\begin{split}&
[(\Devi u_k^i (t))^2]
\\
& \overset{(1)} =
\left[ \left( \Devi \left\{
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t))
\right\} \right)^2 \right]_i
\\
& \overset{(2)} =
\left[ \left(
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t))
\right)^2 \right]_i
-
\left[
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t))
\right]_i^2
\\
& \overset{(3)} =
\left[ \left(
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t))
\right)^2 \right]_i
-
K \left(\sum_{l = E, I} J_{kl} m_l(t) \right)^2\end{split}\]
ここで,
(1) \(\Devi(x + \text{const.}) = \Devi x\),
(2) \([(\Devi x)^2] = [x^2] - [x]^2\),
(3) 上記の \(u_k(t)\) の計算 (特に (*) の部分)
を用いた.
\[\begin{split}&
\left[ \left(
\sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t))
\right)^2 \right]_i
\\
& =
\left[
\sum_{l, l' = E, I} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}}
J_{kl}^{ij} J_{kl'}^{ij'} \sigma_l^j(t)) \sigma_{l'}^{j'}(t))
\right]_i
\\
& =
\sum_{l, l' = E, I} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}}
\underbrace{
\left[
J_{kl}^{ij} J_{kl'}^{ij'}
\right]_i
\sigma_l^j(t) \sigma_{l'}^{j'}(t)
}_{(*)}\end{split}\]
上式の (*) の和は, 恒等式
\(1 = \delta_{ll'} (\delta_{jj'} + (1 - \delta_{jj'})) + (1 - \delta_{ll'})\)
を用いて
\[\begin{split}\sum_{l, l' = E, I} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} \bullet_{l,l',j,j'}
=
\sum_{l = E, I} \sum_{j=1}^{N_l} \bullet_{l,l,j,j}
+
\sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l}
\bullet_{l,l,j,j}
+
\sum_{\substack{l, l' = E, I \\ l \neq l'}}
\sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}}
\bullet_{l,l',j,j'}\end{split}\]
のように分解できる.
第一項の計算 (\(l = l'\), \(j = j'\))
\[\begin{split}&
\sum_{l = E, I} \sum_{j=1}^{N_l}
\left[
(J_{kl}^{ij})^2
\right]_i
(\sigma_l^j(t))^2
\\
& \overset{(1)} \approx
\sum_{l = E, I} \sum_{j=1}^{N_l}
\AvgJ{(J_{kl}^{ij})^2}
\, \sigma_l^j(t)
\\
& \overset{(2)} =
\sum_{l = E, I} \sum_{j=1}^{N_l}
\left( \frac{J_{kl}}{\sqrt K} \right)^2
\frac{K}{N_l}
\, \sigma_l^j(t)
\\
& =
\sum_{l = E, I} ( J_{kl} )^2
\frac{1}{N_l} \sum_{j=1}^{N_l} \sigma_l^j(t)
\\
& \overset{(3)} =
\sum_{l = E, I} ( J_{kl} )^2 \,
m_l(t)\end{split}\]
ここで,
(1) 大数の法則 (law of large numbers) と \(\sigma_l^j(t)\) の取りうる値は 0 か 1 なので \(\left( \sigma_l^j(t) \right)^2 = \sigma_l^j(t)\) ,
(2) \(\Prob \{ J_{kl}^{ij} = J_{kl}/\sqrt K \}
= 1 - \Prob \{ J_{kl}^{ij} = 0 \} = K/N_l\)
(結合確率の定義 を参照),
(3) \(m_l(t) = [\sigma_l^j(t)]_j = \sum_{j=1}^{N_l} \sigma_l^j(t) / N_l\),
を用いた.
第二項の計算 (\(l = l'\), \(j \neq j'\))
\[\begin{split}&
\sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l}
\left[
J_{kl}^{ij} J_{kl}^{ij'}
\right]_i
\, \sigma_l^j(t) \, \sigma_{l}^{j'}(t)
\\
& \overset{(1)} \approx
\sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l}
\AvgJ{J_{kl}^{ij} J_{kl}^{ij'}}
\, \sigma_l^j(t) \, \sigma_{l}^{j'}(t)
\\
& \overset{(2)} =
\sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l}
\left( \frac{J_{kl}}{\sqrt K} \right)^2
\frac{K}{N_l} \frac{K}{N_l}
\, \sigma_l^j(t) \, \sigma_{l}^{j'}(t)
\\
& =
K
\sum_{l = E, I} (J_{kl})^2
\frac{1}{N_l}
\sum_{j=1}^{N_l}
\sigma_l^j(t)
\left(
\sum_{j'=1}^{N_l}
\frac{1}{N_l}
\sigma_{l}^{j'}(t)
-
\frac{1}{N_l}
\sigma_{l}^{j}(t)
\right)
\\
& =
K
\sum_{l = E, I} (J_{kl})^2
\left(
\left\{
\frac{1}{N_l}
\sum_{j=1}^{N_l}
\sigma_l^j(t)
\right\}^2
-
\frac{1}{{N_l}^2}
\sum_{j=1}^{N_l}
(\sigma_{l}^{j}(t))^2
\right)
\\
& =
K
\sum_{l = E, I} (J_{kl})^2
\left(
(m_l(t))^2
-
\frac{1}{N_l}
m_l(t)
\right)\end{split}\]
ここで,
(1) 大数の法則 (law of large numbers),
(2) \(j \neq j'\) なので \(J_{kl}^{ij}\) と \(J_{kl}^{ij'}\)
が独立であることと, \(J_{kl}^{ij}\) の確率分布
\(\Prob \{ J_{kl}^{ij} = J_{kl}/\sqrt K \}
= 1 - \Prob \{ J_{kl}^{ij} = 0 \} = K/N_l\)
(結合確率の定義 を参照),
を用いた. 残りは単純な式変形である.
第三項の計算 (\(l \neq l'\))
\[\begin{split}&
\sum_{\substack{l, l' = E, I \\ l \neq l'}}
\sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}}
\left[
J_{kl}^{ij} J_{kl'}^{ij'}
\right]_i
\, \sigma_l^j(t) \, \sigma_{l'}^{j'}(t)
\\
& \overset{(1)} \approx
\sum_{\substack{l, l' = E, I \\ l \neq l'}}
\sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}}
\AvgJ{J_{kl}^{ij} J_{kl'}^{ij'}}
\, \sigma_l^j(t) \, \sigma_{l'}^{j'}(t)
\\
& \overset{(2)} =
\sum_{\substack{l, l' = E, I \\ l \neq l'}}
\sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}}
\frac{J_{kl}}{\sqrt K} \frac{J_{kl'}}{\sqrt K}
\frac{K}{N_l} \frac{K}{N_{l'}}
\, \sigma_l^j(t) \, \sigma_{l'}^{j'}(t)
\\
& =
K
\sum_{\substack{l, l' = E, I \\ l \neq l'}}
J_{kl} J_{kl'}
\frac{1}{N_l} \sum_{j=1}^{N_l} \sigma_l^j(t)
\frac{1}{N_{l'}} \sum_{j'=1}^{N_{l'}} \sigma_{l'}^{j'}(t)
\\
& =
K
\sum_{\substack{l, l' = E, I \\ l \neq l'}}
J_{kl} J_{kl'} \, m_l(t) \, m_{l'}(t)\end{split}\]
ここで,
(1) 大数の法則 (law of large numbers),
(2) \(l \neq l'\) なので \(J_{kl}^{ij}\) と \(J_{kl'}^{ij'}\)
が独立であることと, \(J_{kl}^{ij}\) の確率分布
\(\Prob \{ J_{kl}^{ij} = J_{kl}/\sqrt K \}
= 1 - \Prob \{ J_{kl}^{ij} = 0 \} = K/N_l\)
(結合確率の定義 を参照),
を用いた. 残りは単純な式変形である.
合計
\[\begin{split}[(\Devi u_k^i (t))^2]_i
& =
\sum_{l = E, I} ( J_{kl} )^2 \,
m_l(t)
\\
& \qquad +
K
\sum_{l = E, I} (J_{kl})^2
\left(
(m_l(t))^2
-
\frac{1}{N_l}
m_l(t)
\right)
\\
& \qquad +
K
\sum_{\substack{l, l' = E, I \\ l \neq l'}}
J_{kl} J_{kl'} \, m_l(t) \, m_{l'}(t)
\\
& \qquad -
K \left(\sum_{l = E, I} J_{kl} m_l(t) \right)^2
\\
& =
\sum_{l = E, I} ( J_{kl} )^2 \,
m_l(t)
+
\frac{K}{N_l}
\sum_{l = E, I} (J_{kl})^2 m_l(t)
\\
& \qquad +
K
\underbrace{
\left(
\sum_{l, l' = E, I}
J_{kl} J_{kl'} \, m_l(t) \, m_{l'}(t)
-
\left(\sum_{l = E, I} J_{kl} m_l(t) \right)^2
\right)
}_{= 0}
\\
& =
\sum_{l = E, I} ( J_{kl} )^2 \,
m_l(t)
+
O(1/N)
\\
& \xrightarrow{N \to \infty}
\alpha_k(t)\end{split}\]
これで, 入力のゆらぎと集団平均活動率を結ぶ式 (1) が示された.