入力のゆらぎ¶

ここでは, 入力のゆらぎ $[(\Devi u_k^i (t))^2]_i$ と集団平均活動率 $m_l(t)$ を結ぶ式

(1) $[(\Devi u_k^i (t))^2]_i \xrightarrow{N \to \infty} \sum_{l = E, I} ( J_{kl} )^2 \, m_l(t) =: \alpha_k(t)$

を導出する. ここで $[ \bullet ]_i$ は集団 $k \in \{ E, I \}$ 内のニューロンに関する集団平均 (population average; 添字 $i$ に沿った平均) を表し,

$[ \bullet ]_i = \frac{1}{N_k} \sum_{i=1}^{N_k} \bullet$

で定義される. 文脈からどの添字に関する平均かが明らかであれば, 添字 $i$ は省略する. また, $\Devi$ は集団平均からの偏差 $\Devi X_i := X_i - [X_i]_i$ である.

入力の集団平均¶

$u_k(t) & = [u_k^i (t)]_i \\ & = \left[ \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t) + u_k^0 - \theta_k \right]_i \\ & = \sum_{l = E, I} \underbrace{ \left[ \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t) \right]_i }_{(*)} + u_k^0 - \theta_k$

この (*) は以下のように近似的できる.

$(*) & \overset{(1)} \approx \sum_{j=1}^{N_l} \left[ J_{kl}^{ij} \right]_i \sigma_l^j(t) \\ & \overset{(2)} \approx \sum_{j=1}^{N_l} J_{kl} \frac{\sqrt K}{N_l} \sigma_l^j(t) \\ & \overset{(3)} = J_{kl} \frac{\sqrt K}{N_l} \sum_{j=1}^{N_l} \sigma_l^j(t) \\ & \overset{(4)} = J_{kl} \sqrt K \left[ \sigma_l^j(t) \right]_j \\ & \overset{(5)} = J_{kl} \sqrt K m_l(t)$

ここで, (1) は, $[ \bullet ]_i$ の線型性 (よって和 $\sum_{j=1}^{N_l}$ と集団平均 $[ \bullet ]_i$ は演算順序を入れ替えて良い) と $\sigma_l^j(t)$ が $i$ に依らないこと (これの正しい解説はニューロンの状態と結合係数の相関を参照), (2) 大数の法則 (law of large numbers) より算術平均は期待値に収束する, つまり $N \to \infty$ の極限で $\left[ J_{kl}^{ij} \right]_i \to \AvgJ{J_{kl}^{ij}}$ が成り立つことと, $\Prob \{ J_{kl}^{ij} = {J_{kl}}/{\sqrt K}\} = {K}/{N_l}$ と $\Prob \{ J_{kl}^{ij} = 0\} = 1 - {K}/{N_l}$ から期待値は $\AvgJ{J_{kl}^{ij}} = ({J_{kl}}/{\sqrt K}) ({K}/{N_l}) = J_{kl} {\sqrt K}/{N_l}$ となること, (3) $J_{kl} \sqrt K / N_l$ が $j$ に依らない定数であること, (4) 集団平均の定義, (5) $m_l(t)$ の定義を用いた.

これらの計算を合わせ, $u_k^0 = \sqrt K E_k m_0$ を思い出せば, 入力の集団平均 $u_k(t)$ は

$u_k(t) & = ... \\ & \approx \sum_{l = E, I} J_{kl} \sqrt K m_l(t) + u_k^0 - \theta_k \\ & = \sqrt K \left( \sum_{l = E, I} J_{kl} m_l(t) + E_k m_0 \right) - \theta_k$

となる.

ニューロンの状態と結合係数の相関¶

上記の式変換(1)で「 $\sigma_l^j(t)$ が $i$ に依らない」ことを用いたが, これは正しくは, $J_{kl}^{ij}$ と $\sigma_l^j(t)$ の相関が無い [1] と仮定することで, $\sigma_l^j(t)$ は $i$ , つまり $J_{kl}^{ij}$ に依らずに決まるから集団平均 $[ \bullet ]_i$ の演算にとっては定数として扱えることから言える. この $J_{kl}^{ij}$ と $\sigma_l^j(t)$ が無相関であるという仮定は,

事象 $J_{kl}^{ij} \neq 0$ と $J_{lk}^{ji} \neq 0$ が独立 ( $J_{kl}^{ij}$ の定義より)
$\sigma_l^j(t)$ と $\sigma_l^{j'}(t)$ ( $j' \neq j$ ) が無相関という仮定

から正当化される. この無相関の仮定は有限の $N, K$ では正しくないので, この式変形は完全な等号では結ばれず, $\approx$ と書いている.

[1]

原著 [vanVreeswijk1998] では,

Note that on the right-hand side (r.h.s.) of equation 3.11 we have neglected the correlations between the random fluctuations in the activity of a cell and the particular realization of its output connectivity. This is justified since such correlations are weak in the large $N$ limit.

—p.1329 (p.9), van Vreeswijk, Sompolinsky (1998)

と説明されている. この “equation 3.11” はここで扱っている入力の集団平均 $u_k(t)$ のことである.

課題

式変形 $[J_{kl}^{ij} \, \sigma_l^j(t)]_i = [J_{kl}^{ij}]_i \, \sigma_l^j(t)$ を正当化する議論をもっと形式化する. 説明に自然言語つかいすぎ！

先に確率平均に行く方法もあるかも?: $J_{kl}^{ij}$ と $\sigma_l^j(t)$ が独立だという近似のもと, $[J_{kl}^{ij} \sigma_l^j(t)]_i \approx \AvgJ{J_{kl}^{ij} \sigma_l^j(t)} = \AvgJ{J_{kl}^{ij}} \AvgJ{\sigma_l^j(t)}$ であることを用いる. この $\AvgJ{\sigma_l^j(t)}$ は式変形 (4) にあるように, さらに集団平均 $[\bullet]_j$ がかかるから, $\left[ \AvgJ{\sigma_l^j(t)} \right]_j = \AvgJ{[\sigma_l^j(t)]_j} = \AvgJ{m_l(t)}$ となる. この系は self-averaging なので (とどこかで説明する必要があるけど,) $\AvgJ{m_l(t)} = m_l(t)$ となる.

入力のゆらぎ¶

$& [(\Devi u_k^i (t))^2] \\ & \overset{(1)} = \left[ \left( \Devi \left\{ \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)) \right\} \right)^2 \right]_i \\ & \overset{(2)} = \left[ \left( \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)) \right)^2 \right]_i - \left[ \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)) \right]_i^2 \\ & \overset{(3)} = \left[ \left( \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)) \right)^2 \right]_i - K \left(\sum_{l = E, I} J_{kl} m_l(t) \right)^2$

ここで, (1) $\Devi(x + \text{const.}) = \Devi x$ , (2) $[(\Devi x)^2] = [x^2] - [x]^2$ , (3) 上記の $u_k(t)$ の計算 (特に (*) の部分) を用いた.

$& \left[ \left( \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t)) \right)^2 \right]_i \\ & = \left[ \sum_{l, l' = E, I} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} J_{kl}^{ij} J_{kl'}^{ij'} \sigma_l^j(t)) \sigma_{l'}^{j'}(t)) \right]_i \\ & = \sum_{l, l' = E, I} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} \underbrace{ \left[ J_{kl}^{ij} J_{kl'}^{ij'} \right]_i \sigma_l^j(t) \sigma_{l'}^{j'}(t) }_{(*)}$

上式の (*) の和は, 恒等式 $1 = \delta_{ll'} (\delta_{jj'} + (1 - \delta_{jj'})) + (1 - \delta_{ll'})$ を用いて [2]

$\sum_{l, l' = E, I} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} \bullet_{l,l',j,j'} = \sum_{l = E, I} \sum_{j=1}^{N_l} \bullet_{l,l,j,j} + \sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l} \bullet_{l,l,j,j} + \sum_{\substack{l, l' = E, I \\ l \neq l'}} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} \bullet_{l,l',j,j'}$

のように分解できる.

[2]	$\sum_{j,j'=1} (1 - \delta_{j,j'}) \bullet = \sum_{\substack{j,j'=1 \\ j \neq j'}} \bullet$

第一項の計算 ( $l = l'$ , $j = j'$ )¶

$& \sum_{l = E, I} \sum_{j=1}^{N_l} \left[ (J_{kl}^{ij})^2 \right]_i (\sigma_l^j(t))^2 \\ & \overset{(1)} \approx \sum_{l = E, I} \sum_{j=1}^{N_l} \AvgJ{(J_{kl}^{ij})^2} \, \sigma_l^j(t) \\ & \overset{(2)} = \sum_{l = E, I} \sum_{j=1}^{N_l} \left( \frac{J_{kl}}{\sqrt K} \right)^2 \frac{K}{N_l} \, \sigma_l^j(t) \\ & = \sum_{l = E, I} ( J_{kl} )^2 \frac{1}{N_l} \sum_{j=1}^{N_l} \sigma_l^j(t) \\ & \overset{(3)} = \sum_{l = E, I} ( J_{kl} )^2 \, m_l(t)$

ここで, (1) 大数の法則 (law of large numbers) と $\sigma_l^j(t)$ の取りうる値は 0 か 1 なので $\left( \sigma_l^j(t) \right)^2 = \sigma_l^j(t)$ [3], (2) $\Prob \{ J_{kl}^{ij} = J_{kl}/\sqrt K \} = 1 - \Prob \{ J_{kl}^{ij} = 0 \} = K/N_l$ (結合確率の定義を参照), (3) $m_l(t) = [\sigma_l^j(t)]_j = \sum_{j=1}^{N_l} \sigma_l^j(t) / N_l$ , を用いた.

[3]	二値変数のからむ計算ではよく使われるテクニック.

第二項の計算 ( $l = l'$ , $j \neq j'$ )¶

$& \sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l} \left[ J_{kl}^{ij} J_{kl}^{ij'} \right]_i \, \sigma_l^j(t) \, \sigma_{l}^{j'}(t) \\ & \overset{(1)} \approx \sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l} \AvgJ{J_{kl}^{ij} J_{kl}^{ij'}} \, \sigma_l^j(t) \, \sigma_{l}^{j'}(t) \\ & \overset{(2)} = \sum_{l = E, I} \sum_{\substack{j,j'=1 \\ j \neq j'}}^{N_l} \left( \frac{J_{kl}}{\sqrt K} \right)^2 \frac{K}{N_l} \frac{K}{N_l} \, \sigma_l^j(t) \, \sigma_{l}^{j'}(t) \\ & = K \sum_{l = E, I} (J_{kl})^2 \frac{1}{N_l} \sum_{j=1}^{N_l} \sigma_l^j(t) \left( \sum_{j'=1}^{N_l} \frac{1}{N_l} \sigma_{l}^{j'}(t) - \frac{1}{N_l} \sigma_{l}^{j}(t) \right) \\ & = K \sum_{l = E, I} (J_{kl})^2 \left( \left\{ \frac{1}{N_l} \sum_{j=1}^{N_l} \sigma_l^j(t) \right\}^2 - \frac{1}{{N_l}^2} \sum_{j=1}^{N_l} (\sigma_{l}^{j}(t))^2 \right) \\ & = K \sum_{l = E, I} (J_{kl})^2 \left( (m_l(t))^2 - \frac{1}{N_l} m_l(t) \right)$

ここで, (1) 大数の法則 (law of large numbers), (2) $j \neq j'$ なので $J_{kl}^{ij}$ と $J_{kl}^{ij'}$ が独立であることと, $J_{kl}^{ij}$ の確率分布 $\Prob \{ J_{kl}^{ij} = J_{kl}/\sqrt K \} = 1 - \Prob \{ J_{kl}^{ij} = 0 \} = K/N_l$ (結合確率の定義を参照), を用いた. 残りは単純な式変形である.

第三項の計算 ( $l \neq l'$ )¶

$& \sum_{\substack{l, l' = E, I \\ l \neq l'}} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} \left[ J_{kl}^{ij} J_{kl'}^{ij'} \right]_i \, \sigma_l^j(t) \, \sigma_{l'}^{j'}(t) \\ & \overset{(1)} \approx \sum_{\substack{l, l' = E, I \\ l \neq l'}} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} \AvgJ{J_{kl}^{ij} J_{kl'}^{ij'}} \, \sigma_l^j(t) \, \sigma_{l'}^{j'}(t) \\ & \overset{(2)} = \sum_{\substack{l, l' = E, I \\ l \neq l'}} \sum_{j=1}^{N_l} \sum_{j'=1}^{N_{l'}} \frac{J_{kl}}{\sqrt K} \frac{J_{kl'}}{\sqrt K} \frac{K}{N_l} \frac{K}{N_{l'}} \, \sigma_l^j(t) \, \sigma_{l'}^{j'}(t) \\ & = K \sum_{\substack{l, l' = E, I \\ l \neq l'}} J_{kl} J_{kl'} \frac{1}{N_l} \sum_{j=1}^{N_l} \sigma_l^j(t) \frac{1}{N_{l'}} \sum_{j'=1}^{N_{l'}} \sigma_{l'}^{j'}(t) \\ & = K \sum_{\substack{l, l' = E, I \\ l \neq l'}} J_{kl} J_{kl'} \, m_l(t) \, m_{l'}(t)$

ここで, (1) 大数の法則 (law of large numbers), (2) $l \neq l'$ なので $J_{kl}^{ij}$ と $J_{kl'}^{ij'}$ が独立であることと, $J_{kl}^{ij}$ の確率分布 $\Prob \{ J_{kl}^{ij} = J_{kl}/\sqrt K \} = 1 - \Prob \{ J_{kl}^{ij} = 0 \} = K/N_l$ (結合確率の定義を参照), を用いた. 残りは単純な式変形である.

合計¶

$[(\Devi u_k^i (t))^2]_i & = \sum_{l = E, I} ( J_{kl} )^2 \, m_l(t) \\ & \qquad + K \sum_{l = E, I} (J_{kl})^2 \left( (m_l(t))^2 - \frac{1}{N_l} m_l(t) \right) \\ & \qquad + K \sum_{\substack{l, l' = E, I \\ l \neq l'}} J_{kl} J_{kl'} \, m_l(t) \, m_{l'}(t) \\ & \qquad - K \left(\sum_{l = E, I} J_{kl} m_l(t) \right)^2 \\ & = \sum_{l = E, I} ( J_{kl} )^2 \, m_l(t) + \frac{K}{N_l} \sum_{l = E, I} (J_{kl})^2 m_l(t) \\ & \qquad + K \underbrace{ \left( \sum_{l, l' = E, I} J_{kl} J_{kl'} \, m_l(t) \, m_{l'}(t) - \left(\sum_{l = E, I} J_{kl} m_l(t) \right)^2 \right) }_{= 0} \\ & = \sum_{l = E, I} ( J_{kl} )^2 \, m_l(t) + O(1/N) \\ & \xrightarrow{N \to \infty} \alpha_k(t)$

これで, 入力のゆらぎと集団平均活動率を結ぶ式 (1) が示された.

入力のゆらぎ¶