\(\newcommand{\D}{\text{d}} \newcommand{\I}{\text{i}} \newcommand{\E}{\text{e}} \newcommand{\Prob}{\mathbb{P}} \newcommand{\Expect}{\mathbb{E}} \newcommand{\Var}{\text{Var}} \newcommand{\PAvg}[1]{\left[#1\right]} \newcommand{\Avg}[1]{\left\langle#1\right\rangle} \newcommand{\AvgJ}[1]{\Avg{#1}_{\bm J}} \newcommand{\AvgDyn}[1]{\Avg{#1}_{\text{dyn.}}} \newcommand{\CAvg}[2]{\Avg{#1}_{\left|#2\right.}} \newcommand{\Devi}{\mathfrak{d}}\)
均衡条件不等式
ここでは, はじめての興奮・抑制均衡 と
強フィードバック系 の解析を興奮・抑制ネットワークが外部からの興奮性入力を受ける系にあてはめ, このネットワークは「発火率がゼロの固定点は持たない」という条件から, 均衡条件不等式 (2)
を導く. さらに, 「発火率が飽和するような固定点を持たない」という仮定を加えれば不等式 (4), (6) などの条件も導くことが出来るが, これらは単純な条件では無いことと, 外部入力が十分弱ければつねに成立することから, ニューラルネットワークの研究ではこれらの条件は通常は無視されている. また, 「発火率が発散しない」という条件から, 不等式 (5) も導くことが出来, 原著
[vanVreeswijk1998] ではこれも含めて均衡条件不等式と呼んでいる.
無活動・均衡-固定点の非存在条件 で 均衡条件不等式
(2) を導くまでが重要で, それ以降の議論は読まなくても他の章の内容は理解できる.
強フィードバック系 の解析と同様, 強フィードバック極限
\(C \to \infty\) を考え, すべての漸近関係はすべてこの極限についてのものとするので “(as \(C \to \infty\))” は省略する.
興奮・抑制ネットワーク
強フィードバック系 で扱った力学系が二次元 \(p=2\) で,
系の状態 \(\bm x = (x_1, x_2)^\intercal = (m_1, m_2)^\intercal\)
の第1, 第2成分はそれぞ興奮性と抑制性の集団の発火率を表すとする.
つまり, つねに \(m_1, m_2 \ge 0\) である.
また, ベクトルや行列の添字は 1, 2 の代わりに \(E, I\) を適宜使い,
例えば \(J_{12}\) と \(J_{EI}\) は同義である.
強フィードバック系 と同様, 系への「全入力」を
\[\begin{split}\bm z =
\begin{pmatrix}
z_{E} \\
z_{I}
\end{pmatrix}
= C \, \{\bm J \bm x + \bm h\}
= C \,
\begin{pmatrix}
J_{EE} \, m_E + J_{EI} \, m_I + h_E \\
J_{IE} \, m_E + J_{II} \, m_I + h_I
\end{pmatrix}\end{split}\]
で定義する.
関数 \(\bm f\) は, いわゆる入出力関係 (input-output relationship;
transfer function) を表すので, \(k = E, I\) についてどんな入力 \(\bm z\) についても \(f_k(\bm z) \ge 0\) であり,
さらに \(f_k\) は強い興奮性の入力 (\(z_E, z_I \to \infty\))
で飽和し, 強い抑制性の入力 (\(z_E, z_I \to -\infty\)) で出力が無くなる, という条件を追加する. 形式的に書くと
(1)\[z_k = |\Omega(C)| \Leftrightarrow f_k(\bm z) \sim m^{\max}\]\[z_k = -|\Omega(C)| \Leftrightarrow f_k(\bm z) \ll 1\]
となる. ここで, \(m^{\max}\) はフィードバック強度 \(C\) に依存しない正の定数で, 両集団の発火率の上限を与える.
定数 \(m^{\max}\) は集団ごとに違う値を考えても良いが, \(m_k\)
と \(J_{kl}\) をスケールすれば同じ値にすることができるので,
この仮定は一般性を損なわない. さらに, 発火率の上限が存在しない場合
(\(m^{\max} = \infty\)) でも, 以下の議論は成り立つ.
興奮性の集団と抑制性のふたつの集団が興奮性の外部入力を受ける系について解析するので, パラメタには
\[\begin{split}\bm J &=
\begin{pmatrix}
J_{EE} & J_{EI} \\
J_{IE} & J_{II}
\end{pmatrix},
\qquad
(J_{EE}, J_{IE} > 0, \enskip J_{EI}, J_{II} < 0)
\\
\bm h &=
\begin{pmatrix}
h_{E} \\
h_{I}
\end{pmatrix},
\qquad
(h_{E}, h_{I} > 0)\end{split}\]
なる制限がかかる.
興奮・抑制ネットワークの均衡固定点
均衡固定点の線型性 より, 均衡固定点は
\[\bm x^0 = - \bm J^{-1} \bm h + O(1/C)\]
を満たすことが分かった. これは単なる二次の線型方程式なので,
均衡固定点は形式的に
\[\begin{split}\begin{pmatrix}
m_{E} \\
m_{I}
\end{pmatrix}
=
-
\frac{1}{\det \bm J}
\begin{pmatrix}
J_{II} & -J_{EI} \\
-J_{IE} & J_{EE}
\end{pmatrix}
\begin{pmatrix}
h_{E} \\
h_{I}
\end{pmatrix}
=
\frac{1}{\det \bm J}
\begin{pmatrix}
- J_{II} h_{E} + J_{EI} h_{I} \\
J_{IE} h_{E} - J_{EE} h_{I} \\
\end{pmatrix}\end{split}\]
と書ける. これ以降の数式では固定点を表す上付き添字 0 は省略する.
この均衡固定点以外に, 非均衡固定点が存在する可能性がある. 定性的に場合分けをすると, 次の5つの場合が想定できる.
| 固定点 |
定義 |
|---|
| 無活動-固定点 |
両方の集団の発火率がゼロ |
|---|
| 無活動・均衡-固定点 |
片方の集団の発火率がゼロで,
もう片方の集団の発火率がゼロでもなく飽和もしていない |
|---|
| 飽和-固定点 |
両方の集団の発火率が飽和している |
|---|
| 飽和・均衡-固定点 |
片方の集団の発火率が飽和していて,
もう片方の集団の発火率がゼロでもなく飽和もしていない |
|---|
| 飽和・無活動-固定点 |
片方の集団の発火率が飽和していて,
もう片方の集団の発火率がゼロ |
|---|
ただし, 発火率の上限が無い (\(m^{\max} = \infty\)) 場合, ここでの「飽和」は発火率の発散を意味する.
無活動-固定点 は, \(\bm h\) の成分が正である限り存在できない.
これは, \(z_k|_{\bm x = \bm 0} = C h_k \neq - |\Omega(C)|\)
より, 自明である.
条件: 均衡固定点の発火率は非負
この均衡固定点が存在するためには \(\bm J\) の行列式
\[\det \bm J = J_{EE} J_{II} - J_{EI} J_{IE}\]
が非ゼロであることが必要条件である. さらに, 発火率が非負であるという条件を考慮すると, \(\bm J\) と \(\bm h\) は
\[\begin{split}\det \bm J > 0, \quad
- J_{II} h_{E} + J_{EI} h_{I} > 0, \quad
J_{IE} h_{E} - J_{EE} h_{I} > 0\end{split}\]
または, 上記の不等号をすべてひっくり返した
\[\begin{split}\det \bm J < 0, \quad
- J_{II} h_{E} + J_{EI} h_{I} < 0, \quad
J_{IE} h_{E} - J_{EE} h_{I} < 0\end{split}\]
なる不等式系を満たす必要があることが分かる. これを変形すると,
\[\begin{split}&
\det \bm J = J_{EE} J_{II} - J_{EI} J_{IE} \lessgtr 0, \quad
- J_{II} h_{E} + J_{EI} h_{I} \lessgtr 0, \quad
J_{IE} h_{E} - J_{EE} h_{I} \lessgtr 0
\\
\Leftrightarrow &
J_{EE} J_{II} \lessgtr J_{EI} J_{IE}, \quad
J_{II} h_{E} \gtrless J_{EI} h_{I}, \quad
J_{IE} h_{E} \lessgtr J_{EE} h_{I}
\\
\Leftrightarrow &
\frac{J_{EE}}{J_{IE}} \gtrless \frac{J_{EI}}{J_{II}}, \quad
\frac{h_{E}}{h_{I}} \lessgtr \frac{J_{EI}}{J_{II}}, \quad
\frac{h_{E}}{h_{I}} \lessgtr \frac{J_{EE}}{J_{IE}}
\\
\Leftrightarrow &
\frac{h_{E}}{h_{I}}
\lessgtr
\frac{J_{EI}}{J_{II}}
\lessgtr
\frac{J_{EE}}{J_{IE}}\end{split}\]
を得る.
(2)\[\begin{split}\frac{h_{E}}{h_{I}} > \frac{J_{EI}}{J_{II}} > \frac{J_{EE}}{J_{IE}}\end{split}\]
(3)\[\begin{split}\frac{h_{E}}{h_{I}} < \frac{J_{EI}}{J_{II}} < \frac{J_{EE}}{J_{IE}}\end{split}\]
無活動・均衡-固定点の非存在条件
片方の集団の発火率がゼロで, もう片方の集団の発火率がゼロでもなく飽和もしていない,
無活動・均衡-固定点 存在しない(十分)条件を求める.
\(k = E, l = I\) または \(k = I, l = E\) とする.
集団 \(k\) の発火率がゼロ (\(m_k \ll 1\)) だとすると,
この状態が固定点となる必要十分条件は, 式 (1) より,
\(z_k = -|\Omega(C)|\) つまり,
\[J_{kl} m_l + h_k = - |\Omega(1/C)|\]
である. \(l = E\) ならば左辺の項はすべて正なので実現不可能である. ゆえに, \(k = E\), \(l = I\) でなければならない.
さらに, 集団 \(l = I\) の発火率が非ゼロで有限
(\(m_I = \Theta(1)\)) である必要十分条件は式 (1) より,
\(z_I = \Theta(1)\), つまり,
\[J_{II} \, m_I + h_I = \Theta(1/C)\]
である. これを \(m_I\) について解けば
\[m_I = - h_I / J_{II} + \Theta(1/C)\]
となる. これを \(z_E = -|\Omega(C)|\) となる条件にあわせると,
\[\begin{split}&
J_{EI} (- h_I / J_{II} + \Theta(1/C)) + h_E = - |\Omega(1/C)|
\\
& \Leftrightarrow
- h_I J_{EI} / J_{II} + h_E = - |\Omega(1/C)|
\\
& \Leftrightarrow
h_I \left(
\frac{J_{EI}}{J_{II}} - \frac{h_E}{h_I}
\right) = |\Omega(1/C)|
\\
& \Leftrightarrow
\frac{J_{EI}}{J_{II}} > \frac{h_E}{h_I}\end{split}\]
最後の式は, 式 (3) の必要条件であり, また,
式 (2) の下では偽である. ゆえに,
式 (2) はこの固定点が存在しない十分条件である.
以下では, すべて式 (2) が成り立つと仮定して議論を行う.
飽和-固定点の非存在条件
両方の集団の発火率が飽和した固定点 (飽和-固定点)
\(m_E = m_I = m^{\max}\)
を考える.
条件 (1)
(\(z_k = |\Omega(C)| \Leftrightarrow f_k(\bm z) \sim m^{\max}\))
より, \(k = E, I\) について,
\[J_{kE} \, m^{\max}_E + J_{kI} \, m^{\max}_I + h_k = |\Omega(1/C)|\]
が成り立つことが, 飽和-固定点が存在する必要十分条件である.
\(m^{\max} = \Omega(1)\) より, 左辺のオーダーは無条件に \(\Omega(1)\) なので, これは条件
\[\begin{split}J_{kE} \, m^{\max} + J_{kI} \, m^{\max} + h_k > 0\end{split}\]
と同値である. これをさらに同値変形することにより,
\[\begin{align*}
&
k = E, I:
\quad
(J_{kE} + J_{kI}) m^{\max} > - h_k
\\
\Leftrightarrow \enskip
&
k = E, I:
\quad
J_{kE} + J_{kI} \ge 0
\enskip \text{or} \enskip
m^{\max} < \frac{- h_k}{J_{kE} + J_{kI}}
\\
\Leftrightarrow \enskip
&
\left(
J_{EE} + J_{EI} \ge 0
\enskip \& \enskip
J_{IE} + J_{II} \ge 0
\right)
\tag{c1}
\\
& \quad \text{or} \quad
\left(
J_{EE} + J_{EI} \ge 0
\enskip \& \enskip
m^{\max} < \frac{- h_I}{J_{IE} + J_{II}}
\right)
\tag{c2}
\\
& \quad \text{or} \quad
\left(
m^{\max} < \frac{- h_E}{J_{EE} + J_{EI}}
\enskip \& \enskip
J_{IE} + J_{II} \ge 0
\right)
\tag{c3}
\\
& \quad \text{or} \quad
m^{\max} < \min_{k=E,I} \frac{- h_k}{J_{kE} + J_{kI}}
\tag{c4}
\end{align*}\]
となる.
前節までで導いた均衡条件不等式 (2) は
\[\begin{split}J_{EE} - \frac{J_{IE}}{J_{II}} J_{EI} < 0\end{split}\]
を導く. よって, 式 (2) の条件下で
\(1 \le - {J_{IE}}/{J_{II}}\) (つまり \(J_{IE} + J_{II} \ge 0\))
ならば \(J_{EE} + J_{EI} \ge 0\) は満たされないことが分かる.
ゆえに, 式 (2) の条件下で
\(J_{EE} + J_{EI} \ge 0\) と \(J_{IE} + J_{II} \ge 0\) は同時に成立しない. ゆえに 式 (2) の条件下で外部入力に依存しない飽和-固定点の存在する条件 (c1) は成立し得ない.
以上の議論をあわせると, 式 (2) の条件下で
飽和-固定点 が存在しない必要十分条件は 条件 (c2)–(c3)
である. 条件 (c3) の否定をさらに強化した条件
(4)\[m^{\max} \ge \max_{k=E,I} \frac{- h_k}{J_{kE} + J_{kI}}\]
は, 条件 (c2)–(c3) の否定を導くので, 飽和-固定点 が存在しない, 十分条件である (単なる条件 (c3) の否定は, 上式において max ではなく min を使うことに注意). これから,
\(h_E\) と \(h_I\) が十分小さければ, 飽和-固定点 は存在しないことが分かる.
発火率が発散しない条件
発火率の上限が無い (\(m^{\max} = \infty\)) 場合, 条件 (c2)-(c3) は成立しようが無いから, (c1) が存在しなければ 飽和-固定点 (この場合は発火率が発散するような解) は存在しない.
さらに, 式 (2) の条件下で
\(J_{IE} + J_{II} < 0\) は
\[\begin{split}J_{EI}
< J_{II} \frac{J_{EE}}{J_{IE}}
< - J_{IE} \frac{J_{EE}}{J_{IE}}
= - J_{EE}\end{split}\]
つまり \(J_{EE} + J_{EI} < 0\) を導く
(\(J_{IE} + J_{II} < 0\) のほうが \(J_{EE} + J_{EI} < 0\)
より厳しい条件). よって, 飽和-固定点 が存在しない,
必要十分条件は
(5)\[\begin{split}J_{EE} + J_{EI} < 0\end{split}\]
である.
飽和・均衡-固定点の非存在条件
飽和・均衡-固定点 が存在しない十分条件を求める.
\(k = E, l = I\) または \(k = I, l = E\) とする.
\(m_k \sim m^{\max}\) かつ集団 \(l\) の発火率が非ゼロで飽和していない
(\(m_l = \Theta(1)\)) という必要十分条件は,
\(z_k = |\Theta(C)|\) かつ \(z_l = \Theta(1)\), つまり,
\[J_{kk} \, m^{\max}_k + J_{kl} \, m_l + h_k = |\Theta(1)|\]\[J_{lk} \, m^{\max}_k + J_{ll} \, m_l + h_l = \Theta(1/C)\]
と同値である. 前者の式に後者の式を \(m_l\) について解いた結果
\[m_l = \frac{\Theta(1/C) - J_{lk} \, m^{\max}_k - h_l}{J_{ll}}\]
を代入して同値変形すると,
\[\begin{split}&
J_{kk} \, m^{\max}_k
- J_{kl} \, \frac{J_{lk} \, m^{\max}_k + h_l}{J_{ll}}
+ h_k = |\Theta(1)|
\\
& \Leftrightarrow
\left(
\frac{J_{kk}}{J_{kl}} - \frac{J_{lk}}{J_{ll}}
\right)
J_{kl} \, m^{\max}_k
- \frac{J_{kl}}{J_{ll}} h_l
+ h_k = |\Theta(1)|
\\
& \Leftrightarrow
\left(
\frac{J_{kk}}{J_{kl}} - \frac{J_{lk}}{J_{ll}}
\right)
J_{kl} \, m^{\max}_k
- \frac{J_{kl}}{J_{ll}} h_l
+ h_k > 0\end{split}\]
を得る. これを2つの場合に分けてさらに同値変形する.
Case 1: \(k = E, l = I\)
この 飽和・均衡-固定点 の存在する必要十分条件は,
\[\begin{split}&
\left(
\frac{J_{EE}}{J_{EI}} - \frac{J_{IE}}{J_{II}}
\right)
J_{EI} \, m^{\max}_E
- \frac{J_{EI}}{J_{II}} h_I + h_E
> 0
\\
& \Leftrightarrow
\left(
\frac{J_{EE}}{J_{IE}} - \frac{J_{EI}}{J_{II}}
\right)
J_{IE} \, m^{\max}_E
+
h_I
\left(
\frac{h_E}{h_I} - \frac{J_{EI}}{J_{II}}
\right)
> 0
\\
& \Leftrightarrow
m^{\max}_E
<
\frac{h_I}{J_{IE}}
\left(
\frac{h_E}{h_I} - \frac{J_{EI}}{J_{II}}
\right)
/
\left(
\frac{J_{EI}}{J_{II}} - \frac{J_{EE}}{J_{IE}}
\right)\end{split}\]
Case 2: \(k = I, l = E\)
この 飽和・均衡-固定点 の存在する必要十分条件は,
\[\begin{split}&
\left(
\frac{J_{II}}{J_{IE}} - \frac{J_{EI}}{J_{EE}}
\right)
J_{IE} \, m^{\max}_I
- \frac{J_{IE}}{J_{EE}} h_E
+ h_I
> 0
\\
& \Leftrightarrow
\left(
\frac{J_{EE}}{J_{IE}} - \frac{J_{EI}}{J_{II}}
\right)
\frac{J_{IE} J_{II}}{J_{EE}}
m^{\max}_I
+ h_I \frac{J_{IE}}{J_{EE}}
\left(
\frac{J_{EE}}{J_{IE}} - \frac{h_E}{h_I}
\right)
> 0
\\
& \Leftrightarrow
\left(
\frac{J_{EI}}{J_{II}} - \frac{J_{EE}}{J_{IE}}
\right)
J_{II} \, m^{\max}_I
+ h_I
\left(
\frac{h_E}{h_I} - \frac{J_{EE}}{J_{IE}}
\right)
> 0
\\
& \Leftrightarrow
m^{\max}_I
<
- \frac{h_I}{J_{II}}
\left(
\frac{h_E}{h_I} - \frac{J_{EE}}{J_{IE}}
\right)
/
\left(
\frac{J_{EI}}{J_{II}} - \frac{J_{EE}}{J_{IE}}
\right)\end{split}\]
2つの場合を統合
以上の結果を合わせると, 飽和・均衡-固定点 の2つの場合のうち少なくともいずれか1つが存在する必要十分条件は,
\[\begin{split}m^{\max}
<
\frac{h_I}{\min \left\{J_{IE}, - J_{II} \right\}}
\left(
\frac{h_E}{h_I} - \frac{J_{EE}}{J_{IE}}
\right)
/
\left(
\frac{J_{EI}}{J_{II}} - \frac{J_{EE}}{J_{IE}}
\right)\end{split}\]
である. ここで,
\(\max \left\{J_{IE}^{-1}, - J_{II}^{-1} \right\}
= 1 / \min \left\{J_{IE}, - J_{II} \right\}\)
なる関係を用いた.
よって, いかなる 飽和・均衡-固定点 も存在しない,
十分条件は,
(6)\[m^{\max}
\ge
\frac{h_I}{\min \left\{J_{IE}, - J_{II} \right\}}
\left(
\frac{h_E}{h_I} - \frac{J_{EE}}{J_{IE}}
\right)
/
\left(
\frac{J_{EI}}{J_{II}} - \frac{J_{EE}}{J_{IE}}
\right)\]
となる.
飽和・無活動-固定点の非存在条件
飽和・無活動-固定点 は,
\(m_E = m^{\max}\), \(m_I = 0\) の場合は
\(z_I = C (J_{IE} \, m^{\max} + h_I) \neq - |\Omega(C)|\)
より存在できない.
一方, \(m_E = 0\), \(m_I = m^{\max}\) は
\(z_E = C (J_{EI} \, m^{\max} + h_E) = - |\Omega(C)|\) かつ
\(z_I = C (J_{II} \, m^{\max} + h_I) = |\Omega(C)|\),
つまり
\(J_{EI} \, m^{\max} + h_E < 0\) かつ
\(J_{II} \, m^{\max} + h_I > 0\)
ならば存在する. これは,
\[\begin{split}- \frac{h_E}{J_{EI}} < m^{\max} < - \frac{h_I}{J_{II}}\end{split}\]
とも書ける. これが成立する必要条件は
\[\begin{split}\frac{h_E}{h_I} < \frac{J_{EI}}{J_{II}}\end{split}\]
だが, これは式 (2) の下では成立しない.
ゆえに, いかなる 飽和・無活動-固定点 も式 (2) の下では無条件で存在しない.