\(\newcommand{\D}{\text{d}} \newcommand{\I}{\text{i}} \newcommand{\E}{\text{e}} \newcommand{\Prob}{\mathbb{P}} \newcommand{\Expect}{\mathbb{E}} \newcommand{\Var}{\text{Var}} \newcommand{\PAvg}[1]{\left[#1\right]} \newcommand{\Avg}[1]{\left\langle#1\right\rangle} \newcommand{\AvgJ}[1]{\Avg{#1}_{\bm J}} \newcommand{\AvgDyn}[1]{\Avg{#1}_{\text{dyn.}}} \newcommand{\CAvg}[2]{\Avg{#1}_{\left|#2\right.}} \newcommand{\Devi}{\mathfrak{d}}\)

秩序変数の計算

これまでの計算で, クエンチされたゆらぎ(空間ゆらぎ)と時間ゆらぎを集団平均活動率 \(m_k\) と秩序変数 \(q_k\) で表すことが出来ると分かったが, 秩序変数 \(q_k\) の計算方法がまだ分からないので, これでは答えを得たとは言えない. ここでは, 秩序変数 \(q_k\) が満たすべき関係式 (自己無頓着 (self-consistent) 方程式) を導く.

平均場方程式の導出 と同様に, ニューロンの状態 \(\sigma_k^i(t) = \Theta(u_k^i(t))\) を標準ガウス確率変数で書きなおそう. 今度は, 入力 \(u_k^i(t)\) のゆらぎをクエンチされたゆらぎ(空間ゆらぎ)と時間ゆらぎをに分け, それぞれ独立な標準ガウス確率変数 \(x_i\) と \(y_i(t)\) で表す. [1] つまり, 確率変数 \(x_i\) と \(y_i(t)\) は \(\PAvg{x_i}_i = \Avg{y_i(t)}_t = 0\) と \(\PAvg{(x_i)^2}_i = \Avg{(y_i(t))^2}_t = 1\) を満たすとする. これらの確率変数を用いて入力を

\[u_k^i(t) = u_k + c x_i + d y_i(t)\]

と書いて実数 \(c, d\) を求めよう. クエンチされたゆらぎの計算 の結果と

\[\left[ \left( \Devi \Avg{u_k^i(t)}_t \right)^2 \right] = \left[ \left( \Devi (c x_i) \right)^2 \right] = \left[ \left( c x_i \right)^2 \right] = c^2\]

より, \(c = \sqrt{\beta_k}\), 時間ゆらぎの計算 の結果と

\[\Avg{ \left[\left( u_k^i(t) - \Avg{u_k^i(t)}_t \right)^2 \right]_i }_{t} = \Avg{ \left[\left( d y_i(t) \right)^2 \right]_i }_{t} = d^2\]

より, \(d = \sqrt{\alpha_k - \beta_k}\) が言える.

[1]確率変数 \(x_i\) とある時間 \(t\) における時間ゆらぎ成分を表す確率変数 \(y_i(t)\) は独立だが, 違う時間 \(t' \neq t\) と比べて, \(y_i(t)\) と \(y_i(t')\) が独立, という意味では ない. 確率変数 \(y_i(t)\) と \(y_i(t')\) はもちろん相関を持ち, その相関構造は \(u_k^i(t)\) の自己相関関数を計算することで理解できる.

よって, ニューロンの状態 \(\sigma_k^i(t) = \Theta(u_k^i(t))\) は

\[\sigma_k^i(t) = \Theta \left( u_k + \sqrt{\beta_k} \, x_i + \sqrt{\alpha_k - \beta_k} \, y_i(t) \right)\]

と書けることが分かった. この表式では, 時間平均 \(\Avg{\bullet}_t\) は確率変数 \(y_i(t)\) に関する平均と同値 (つまり, \(\Avg{f(y_i(t))}_t = \int \D y \, f(y)\)) なので, \(m_k^i = \Avg{\AvgDyn{\sigma_k^i(t)}}_t\) は

(1)\[m_k^i = m_k(x_i) = H \left( \frac{-u_k - \sqrt{\beta_k} x_i}{\sqrt{\alpha_k - \beta_k}} \right)\]

と書ける. この表式を用いて \(q_k = \PAvg{(m_k^i)^2}\) を計算すると,

(2)\[q_k = \int Dx \left( m_k(x) \right)^2 = \int Dx \left\{ H \left( \frac{-u_k - \sqrt{\beta_k} x_i}{\sqrt{\alpha_k - \beta_k}} \right) \right\}^2\]

となる. クエンチされたゆらぎ \(\beta_k\) が \(q_k\) に依存していることを思い出せば, この式は秩序変数 \(q_k\) が満たすべき関係式であり, \(q_k\) を陰に定義していることが分かる.

  • 時間ゆらぎが無い場合 \(\alpha_k - \beta_k = 0\):

    \(\sigma_k^i(t) = \Theta \left(u_k + \sqrt{\beta_k} \, x_i \right)\) は \(y_i(t)\) に依存しないので, \(m_k^i = \Avg{\AvgDyn{\sigma_k^i(t)}}_t = \Theta \left(u_k + \sqrt{\beta_k} \, x_i \right)\) [2] となるから, \((m_k^i)^2 = m_k^i\) より,

    \[q_k = \int Dx \, \left( m_k(x) \right)^2 = \int Dx \, m_k(x) = m_k\]

    である. 時間ゆらぎの計算 で導いた関係式より, \(\alpha_k - \beta_k = \sum_{l=E,I} J_{kl}^2 (m_l - q_l) = 0\) となり, 時間ゆらぎが無いという仮定と整合性があるので, \(q_k = m_k\) は式 (2) の解のひとつである. この解を, 原著 [vanVreeswijk1998] にならい 凍結解 (frozen solution) と呼ぶ. 時間ゆらぎは二乗の平均なので正, つまり \(\sum_{l=E,I} J_{kl}^2 (m_l - q_l)\) は正である.

    また, \(0 \le m_k(x_i) \le 1\) より, 各点 \(x_i\) で \(m_k(x_i)^2 \le m_k(x_i)\) だから, \(\PAvg{m_k(x_i)^2} \le \PAvg{m_k(x_i)} = m_k\), つまり凍結解 \(q_k = m_k\) は秩序変数 \(q_k\) の上限を与えることが分かる.

    [2]

    この場合の時間平均活動率 \(m_k^i = \Theta \left(u_k + \sqrt{\beta_k} \, x_i \right)\) は, \(\alpha_k - \beta_k > 0\) の場合の Q関数 を用いた表式 (1) の極限 \(\alpha_k - \beta_k \to 0^+\) でもある.

  • クエンチされたゆらぎがない場合 \(\beta_k = 0\):

    式 (2) に \(\beta_k = 0\) を代入すると, \(m_k(x_i) = H({-u_k}/{\sqrt{\alpha_k}})\) は \(x_i\) に依存しなくなり,

    \[q_k = \int Dx \left\{ H \left( \frac{-u_k}{\sqrt{\alpha_k}} \right) \right\}^2 = \underbrace{ \left\{ H \left( \frac{-u_k}{\sqrt{\alpha_k}} \right) \right\}^2 }_{= (m_k)^2} \underbrace{ \int Dx }_{= 1} = (m_k)^2\]

    となる. しかし, クエンチされたゆらぎの計算 で求めた関係式 \(\beta_k = \sum_{l=E,I} J_{kl}^2 q_l\) にこれをあてはめると, \(m_k = 0\) または \(J_{kl} = 0\) というトリビアルな状況を除けば, \(\beta_k > 0\) となり, 仮定 \(\beta_k = 0\) とは整合性がとれない. よって, \(q_k = (m_k)^2\) は解ではない. 一方で, イェンゼンの不等式 (Jensen’s inequality) [3] を用いれば, \(\PAvg{(m_k^i)^2} \ge (\PAvg{m_k^i})^2 = (m_k)^2\), つまりクエンチされたゆらぎがない場合 \(\beta_k = 0\) が秩序変数 \(q_k\) の下限を与えることが分かる.

    [3]

    (下に)凸関数 \(f(x)\) と \(x\) に関する平均 \(\Avg{\bullet}\) について, \(f(\Avg{x}) \le \Avg{f(x)}\) が成り立つ. これを, イェンゼンの不等式 (Jensen’s inequality) という. 参考: イェンゼンの不等式 - Wikipedia / Jensen’s inequality - Wikipedia