クエンチされたゆらぎの計算¶

ここでは, クエンチされたゆらぎ (quenched fluctuations) [1] が

(1) $\left[ \left( \Devi \Avg{u_k^i(t)}_t \right)^2 \right] \xrightarrow{N \to \infty} \sum_{l=1,2} J_{kl}^2 q_l =: \beta_k$

となることを示す. ただし, $\Avg{\bullet}_t$ は長い時間にわたる平均である. ここで, $q_k$ はオーダーパラメター (order parameter) と呼ばれ, ニューロン $i$ の活動率の時間平均 $m_k^i$ を用いて,

$m_k^i &:= \Avg{\AvgDyn{\sigma_k^i(t)}}_t \\ q_k &:= \PAvg{(m_k^i)^2}_i$

と定義される.

[1]	無理やり日本語にすると「焼入れされたゆらぎ」と言うのだろうか.

偏差の分解¶

まず, $\Avg{u_k^i(t)}_t$ の集団平均 $[\Avg{u_k^i(t)}_t]$ からのズレ具合 (偏差) を次のように, 2つの成分に分解できることを示す.

$\Devi \Avg{u_k^i(t)}_t = \underbrace{ \sum_l \sum_j \Devi J_{kl}^{ij} \, m_l }_{\text{(d1)}} + \underbrace{ \sum_l \sum_j J_{kl}^{ij} \, \Devi m_l^j }_{\text{(d2)}}$

ここで (d1) は「結合数のゆらぎ」, (d2) [2] は「時間平均活動率のゆらぎ」である. 結合数は時間によらないので, そのゆらぎが「クエンチされている」のは当然であるが, 活動率の時間平均 $m_l^j$ も (平均操作のおかげで) 時間によらないので, そのゆらぎもクエンチされたゆらぎに含める必要がある. つまり, クエンチされたゆらぎのうち, 直接の影響である (d1) 「結合数のゆらぎ」と, それが引き起こす間接的な影響である (d2) 「時間平均活動率のゆらぎ」の2つを勘定すれば良い, という主張である.

[2]

ここでの (d1) は, 原著 [vanVreeswijk1998] の式(5.5)

$\delta_1 \langle u_k^i \rangle = \sum_{l=1}^2 \sum_{j=1}^{N_l} \delta J_{kl}^{ij} [m_l^j]$

と同値であることは, $[m_l^j] = m_l$ より分かる. しかし, この表記では, $[m_l^j]$ が何を意味する不鮮明である. 親切に書くのならば, $[m_l^{j'}]_{j'}$ として, 集団平均が添字 $j'$ についてとられることと添字 $j$ への依存性が無いことを示すべきであるが, それならそもそも $m_l$ と書く方が良い.

これは, 地道に入力の時間平均 $\Avg{u_k^i(t)}_t$ の偏差を計算することによって示せる:

$\Devi \Avg{u_k^i(t)}_t & \overset{(1)} = \Devi \Avg{ \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} \sigma_l^j(t) }_t \\ & \overset{(2)} = \Devi \left( \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j \right) \\ & \overset{(3)} = \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j - \left[ \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{i'j} m_l^j \right]_{i'} \\ & \overset{(4)} = \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j - \sum_{l = E, I} [J_{kl}^{i'j'}]_{i'} \sum_{j=1}^{N_l} m_l^j \qquad (\forall j') \\ & \overset{(5)} \approx \sum_{l = E, I} \sum_{j=1}^{N_l} J_{kl}^{ij} m_l^j - \underbrace{ \sum_{l = E, I} [J_{kl}^{i'j'}]_{i'} \sum_{j=1}^{N_l} m_l }_{\text{nothing depends on } j} \\ & \overset{(6)} = \sum_{l = E, I} \sum_{j=1}^{N_l} \left\{ J_{kl}^{ij} (m_l^j - m_l) - (J_{kl}^{ij} - [J_{kl}^{i'j'}]_{i'}) m_l \right\} \\ & = \text{(d1)} + \text{(d2)}$

ここで, (1) $\Devi(x + \text{const.}) = \Devi x$ , (2) 定義 $m_l^j = \Avg{\sigma_l^j(t)}_t$ , (3) 偏差 $\Devi$ の定義, (4) ニューロンの状態と結合係数の相関の議論, (5) $\sum_{j=1}^{N_l} m_l^j = N_l N_l^{-1} \sum_{j=1}^{N_l} m_l^j = N_l [m_l^{j''}]_{j''} = N_l m_l$ であり, $N_l = \sum_{j=1}^{N_l} 1$ なので, 結局 $... = \sum_{j=1}^{N_l} m_l$ , (6) $- J_{kl}^{ij} m_l + J_{kl}^{ij} m_l = 0$ , を用いた. 式変形 (4) の右辺とそれ以降の式中に現れる $j'$ は, $1$ から $N_l$ のどの値をとっても良い. これは大数の法則 (law of large numbers) より $[J_{kl}^{i'j'}]_{i'}$ が同じ値に収束するからである.

ふたつの偏差の相関¶

上記の計算より導かれた2つの偏差の二乗平均をとって, ゆらぎを

$\left[ \left( \Devi \Avg{u_k^i(t)}_t \right)^2 \right] = \left[ \text{(d1)}^2 \right] + \left[ \text{(d2)}^2 \right]$

のように求めたいが, そのためにはそれらの偏差が無相関 $\PAvg{\text{(d1)}\text{(d2)}} = 0$ でなければならない. これは簡単に示せる:

$& \left[ \text{(d1)} \text{(d2)} \right] \\ & \overset{(1)} = \left[ \sum_{ll'jj'} \Devi J_{kl}^{ij} \, m_l \, J_{kl'}^{ij'} \, \Devi m_{l'}^{j'} \right]_i \\ & \overset{(2)} = \sum_{ll'jj'} \left[ \Devi J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i m_l \, \Devi m_{l'}^{j'} \\ & \overset{(3)} = \sum_{lj} \left( \left[(J_{kl}^{i*})^2 \right]_i - \left[J_{kl}^{i*} \right]_i^2 \right) m_l \, \Devi m_{l'}^{j} \\ & = \sum_{l} \left( \left[(J_{kl}^{i*})^2 \right]_i - \left[J_{kl}^{i*} \right]_i^2 \right) m_l \, \underbrace{\sum_j \Devi m_{l'}^{j}}_{=0} \\ & = 0$

式変形 (1) ではニューロンの状態と結合係数の相関の議論を用いた. 式変形 (2) では, $\left[\Devi J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i$ は $(l, j) \neq (l', j')$ だと

$\left[\Devi J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i = \left[ \Devi J_{kl}^{ij} \right]_i \left[ J_{kl'}^{ij'} \right]_i = 0$

なので, 非ゼロになるのは $(l, j) = (l', j')$ の場合のみであることを用いた. 式変形 (3) は, 偏差 $\Devi$ の定義に沿って

$\left[\Devi J_{kl}^{ij} \, J_{kl}^{ij} \right]_i = \left[ (J_{kl}^{ij})^2 \right]_i - \left[ J_{kl}^{ij} \right]_i^2$

という計算をすれば良い. 式変形 (3) の右辺以降に現れる添字の $*$ は, この部分の添字が何でも良いことを表す.

結合数のゆらぎ¶

$[\text{(d1)}^2] & = \left[ \left( \sum_l \sum_j \Devi J_{kl}^{ij} \, m_l \right)^2 \right]_i \\ & \overset{(1)} = \left[ \sum_{ll'jj'} \Devi J_{kl}^{ij} \, \Devi J_{kl'}^{ij'} \, m_l \, m_{l'} \right]_i \\ & \overset{(2)} = \sum_{ll'jj'} \left[ \Devi J_{kl}^{ij} \, \Devi J_{kl'}^{ij'} \right]_i m_l \, m_{l'} \\ & \overset{(3)} = \sum_j J_{kl}^2 \left(1 - \frac K N_l \right) \left( m_l \right)^2$

ここで, (1) 和の積の計算のための添字テクニックと (2) ニューロンの状態と結合係数の相関の議論を用いた. 最後の式変形 (3) では, $(l, j) \neq (l', j')$ だと

$\left[ \Devi J_{kl}^{ij} \, \Devi J_{kl'}^{ij'} \right]_i = \left[ \Devi J_{kl}^{ij} \right]_i \left[ \Devi J_{kl'}^{ij'} \right]_i = 0$

となり, $(l, j) = (l', j')$ だと

$\left[\left( \Devi J_{kl}^{ij} \right)^2 \right]_i & \overset{(1)} = \left[\left( J_{kl}^{ij} \right)^2 \right]_i - \left( \left[ J_{kl}^{ij} \right]_i \right)^2 \\ & \overset{(2)} \approx \left( \frac{J_{kl}}{\sqrt K} \right)^2 \frac{K}{N_l} - \left( \frac{J_{kl}}{\sqrt K} \frac{K}{N_l} \right)^2 \\ & = \frac{J_{kl}^2}{N_l} \left( 1 - \frac{K}{N_l} \right)$

となることを用いた. この計算では, (1) 偏差 $\Devi$ の定義を使い, (2) 大数の法則 (law of large numbers) と結合確率の定義による期待値の計算をした.

時間平均活動率のゆらぎ¶

$[\text{(d2)}^2] & = \left[ \left( \sum_l \sum_j J_{kl}^{ij} \, \Devi m_l^j \right)^2 \right]_i \\ & \overset{(1)} = \left[ \sum_{ll'jj'} J_{kl}^{ij} \, J_{kl'}^{ij'} \Devi m_l^j \, \Devi m_{l'}^{j'} \right]_i \\ & \overset{(2)} \approx \sum_{ll'jj'} \left[ J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i \Devi m_l^j \, \Devi m_{l'}^{j'} \\ & = \sum_{\substack{ll' \\ l \neq l'}} \sum_{jj'} \bullet + \sum_l \sum_{\substack{jj' \\ j \neq j'}} \bullet + \sum_l \sum_j \bullet$

ここで, (1) 和の積の計算のための添字テクニックと (2) ニューロンの状態と結合係数の相関の議論を用いた. 上記の3つの項は以下のように計算できる.

$\sum_{\substack{ll' \\ l \neq l'}} \sum_{jj'} \left[ J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i \Devi m_l^j \, \Devi m_{l'}^{j'} & = \sum_{\substack{ll' \\ l \neq l'}} \left[J_{kl}^{i*} \, J_{kl'}^{i*} \right]_i \sum_j \Devi m_l^j \sum_{j'} \Devi m_{l'}^{j'} = 0$

$\sum_l \sum_{\substack{jj' \\ j \neq j'}} \left[ J_{kl}^{ij} \, J_{kl'}^{ij'} \right]_i \Devi m_l^j \, \Devi m_{l'}^{j'} & = \sum_l \left[J_{kl}^{i*} \right]_i^2 \sum_j \Devi m_l^j \sum_{\substack{j' \\ j \neq j'}} \Devi m_l^{j'} \\ & \overset{(1)} = \sum_l \left( \frac{J_{kl}}{\sqrt K} \frac{K}{N_l} \right)^2 \sum_j \Devi m_l^j \left( \sum_{j'} \Devi m_l^{j'} - \Devi m_l^j \right) \\ & = K \sum_l (J_{kl})^2 \frac{1}{N_l} \sum_j \Devi m_l^j \left( \frac{1}{N_l} \sum_{j'} \Devi m_l^{j'} - \frac{1}{N_l} \Devi m_l^j \right) \\ & \overset{(2)} = K \sum_l (J_{kl})^2 \left( [\Devi m_l^j]_j [\Devi m_l^{j'}]_{j'} - \frac{1}{N_l} [(\Devi m_l^j)^2]_j \right) \\ & \overset{(3)} = O(K/N)$

ここで, (1) 結合確率の定義による期待値の計算, (2) 集団平均の定義 $\PAvg{\bullet}_j = \sum_j \bullet / N_l$ , (3) $[\Devi m_l^j]_j = 0$ を用いた

$\sum_l \sum_j \left[ (J_{kl}^{ij})^2 \right]_i (\Devi m_l^j)^2 & \overset{(1)} = \sum_l \left[ (J_{kl}^{i*})^2 \right]_i N_l \left[ (\Devi m_l^j)^2 \right]_j \\ & \overset{(2)} = \sum_l \left( \frac{J_{kl}}{\sqrt K} \right)^2 \frac{K}{N_l} N_l \left[ (\Devi m_l^j)^2 \right]_j \\ & = \sum_l J_{kl}^2 \left[ (\Devi m_l^j)^2 \right]_j \\ & \overset{(3)} = \sum_l J_{kl}^2 \left( [(m_l^j)^2] - [m_l^j]^2 \right) \\ & \overset{(4)} = \sum_l J_{kl}^2 \left( q_l - m_l^2 \right)$

ここで, (1) $\left[(J_{kl}^{ij})^2 \right]_i$ が $j$ に依存しないこと, (2) 大数の法則 (law of large numbers) と結合確率の定義による期待値の計算, (3) $[(\Devi x)^2] = [x^2] - [x]^2$ , (4) $q_k$ と $m_k$ の定義を用いた.

合計¶

$\left[ \left( \Devi \Avg{u_k^i(t)}_t \right)^2 \right] & \approx \left[ \text{(d1)}^2 \right] + \left[ \text{(d2)}^2 \right] \\ & \approx \sum_j J_{kl}^2 \left(1 - \frac K N_l \right) \left( m_l \right)^2 + \sum_l J_{kl}^2 \left( q_l - m_l^2 \right) \\ & = \sum_l J_{kl}^2 \, q_l + O(N_l^{-1}) \\ & \xrightarrow{N \to \infty} \sum_l J_{kl}^2 \, q_l$

これで, クエンチされたゆらぎが式 (1) で表されることが示された.

クエンチされたゆらぎの計算¶

偏差の分解¶

ふたつの偏差の相関¶

結合数のゆらぎ¶

時間平均活動率のゆらぎ¶

合計¶

興奮・抑制均衡入門

Navigation

前のトピックへ

次のトピックへ

このページ