\(\newcommand{\D}{\text{d}} \newcommand{\I}{\text{i}} \newcommand{\E}{\text{e}} \newcommand{\Prob}{\mathbb{P}} \newcommand{\Expect}{\mathbb{E}} \newcommand{\Var}{\text{Var}} \newcommand{\PAvg}[1]{\left[#1\right]} \newcommand{\Avg}[1]{\left\langle#1\right\rangle} \newcommand{\AvgJ}[1]{\Avg{#1}_{\bm J}} \newcommand{\AvgDyn}[1]{\Avg{#1}_{\text{dyn.}}} \newcommand{\CAvg}[2]{\Avg{#1}_{\left|#2\right.}} \newcommand{\Devi}{\mathfrak{d}}\)

マスター方程式

\(N\) 個の二状態をとるニューロン (binary neuron) が相互に作用している確率的な系を考える. ニューロン \(i\) の状態は 0 または 1 をとる状態変数 \(\sigma_i\) で表され, 系全体の状態はベクトル \(\bm \sigma = (\sigma_1, \ldots \sigma_N)^\intercal\) で表される (つまり, \(\bm \sigma \in \{0, 1\}^N\)). ここではこれらの状態変数の連続時間 \(t \in \mathbb R\) に沿った変化を考えるが, 時間に関する依存性を表記上は省略して \(\bm \sigma(t)\)\(\bm \sigma\) と書く.

表記の準備をする. \(i\) 番目のニューロンの状態を反転した状態ベクトルを \(\hat{\bm{\sigma}}^{i}\), \(i\) 番目の成分を除いた状態ベクトルを \(\bm{\sigma}^{\setminus i}\) (つまり, \(\bm{\sigma}^{\setminus i} \in \{0, 1\}^{N-1}\)) と書くことにする. 形式的にかけば,

\[\hat{\bm{\sigma}}^{i} = (\sigma_1, \ldots, 1 - \sigma_i, \ldots, \sigma_N)^\intercal\]\[\bm{\sigma}^{\setminus i} = (\sigma_1, \ldots, \sigma_{i-1}, \sigma_{i+1}, \ldots, \sigma_N)^\intercal\]

である. ニューロン \(i\) 以外の状態 \(\bm{\sigma}^{\setminus i}\) が与えられた時に, ニューロン \(i\) が状態を \(\sigma_i'\) から \(\sigma_i\) に遷移させる単位時間あたりの確率を \(w(\sigma_i | \sigma_i', \bm{\sigma}^{\setminus i})\) で表す. つまり, \(\Delta t\) 時間の間にこの遷移を起こす確率は,

\[P_{\Delta t}(\sigma_i | \sigma_i', \bm{\sigma}^{\setminus i}) = w(\sigma_i | \sigma_i', \bm{\sigma}^{\setminus i}) \, \Delta t\]

である. ここでは, 系が時間 \(t\) に 状態 \(\bm \sigma\) をとる確率 \(P_t(\bm \sigma)\) の時間発展が, マスター方程式 (master equation) とよばれる次の微分方程式 [1] で与えられることを示す.

マスター方程式

(1)\[\frac{\D P_t(\bm \sigma)}{\D t} = - \sum_{i=1}^N w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i}) P_t(\bm \sigma) + \sum_{i=1}^N w(\sigma_i | 1 - \sigma_i, \bm{\sigma}^{\setminus i}) P_t(\hat{\bm{\sigma}}^{i})\]
[1]状態 \(\bm \sigma\)\(2^N\) (\(= \# \{0, 1\}^N\)) 個あることを思い出せば, これは \(2^N\) 次元常微分方程式と考えても良い.

マスター方程式の導出

時間微分 \({\D P_t(\bm \sigma)}/{\D t} = \lim_{\Delta t \to 0} (P_{t+\Delta t}(\bm \sigma) - P_t(\bm \sigma))/\Delta t\) を, 時間 \(t\)\(t+\Delta t\) の確率をつなぐ関係式

\[P_{t+\Delta t}(\bm \sigma) = \sum_{\bm \sigma'} P_{\Delta t}(\bm \sigma | \bm \sigma') P_t(\bm \sigma')\]

を用いて評価する. ここで, \(P_{\Delta t}(\bm \sigma | \bm \sigma')\) は時間 \(\Delta t\) の間に系の状態が \(\bm \sigma'\) から \(\bm \sigma\) へ変化する確率で推移確率 (transition probability)と呼ばれる. これは, 以下のように計算出来る.

\[\begin{split}& P_{\Delta t}(\bm \sigma | \bm \sigma') \\ & = \prod_{i=1}^N P_{\Delta t}(\sigma_i | \bm{\sigma'}) = \prod_{i=1}^N P_{\Delta t}(\sigma_i | \sigma_i', \bm{\sigma'}^{\setminus i}) \\ & \overset{(1)} = \prod_{i=1}^N \left( P_{\Delta t}(\sigma_i | \sigma_i, \bm{\sigma'}^{\setminus i}) \, \delta_{\sigma_i, \sigma_i'} + P_{\Delta t}(\sigma_i | 1 - \sigma_i, \bm{\sigma'}^{\setminus i}) \, \delta_{1 - \sigma_i, \sigma_i'} \right) \\ & \overset{(2)} = \prod_{i=1}^N \left( (1 - w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i}) \, \Delta t) \, \delta_{\sigma_i, \sigma_i'} + w(\sigma_i | 1 - \sigma_i, \bm{\sigma}^{\setminus i}) \, \Delta t \, \delta_{1 - \sigma_i, \sigma_i'} \right) \\ & = \prod_{i=1}^N \left( \delta_{\sigma_i, \sigma_i'} + \left\{ - w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i}) \, \delta_{\sigma_i, \sigma_i'} + w(\sigma_i | 1 - \sigma_i, \bm{\sigma}^{\setminus i}) \, \delta_{1 - \sigma_i, \sigma_i'} \right\} \, \Delta t \right) \\ & \overset{(3)} = \underbrace{ \prod_{i=1}^N \delta_{\sigma_i, \sigma_i'} }_{O(1)} \\ & \qquad + \underbrace{ \Delta t \sum_{i=1}^N \left\{ - w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i}) \, \delta_{\sigma_i, \sigma_i'} + w(\sigma_i | 1 - \sigma_i, \bm{\sigma}^{\setminus i}) \, \delta_{1 - \sigma_i, \sigma_i'} \right\} \prod_{\substack{j=1 \\ j \neq i}}^N \delta_{\sigma_j, \sigma_j'} }_{O(\Delta t)} \\ & \qquad + O(\Delta t^2)\end{split}\]

この式を用いて, \(P_{t+\Delta t}(\bm \sigma)\) を評価する:

\[\begin{split}P_{t+\Delta t}(\bm \sigma) & = \sum_{\bm \sigma'} P_{\Delta t}(\bm \sigma | \bm \sigma') P_t(\bm \sigma') \\ & = \underbrace{ \sum_{\bm \sigma'} P_t(\bm \sigma') \prod_{i=1}^N \delta_{\sigma_i, \sigma_i'} }_{P_t(\bm \sigma)} \\ & \qquad - \Delta t \sum_{i=1}^N w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i}) \underbrace{ \sum_{\bm \sigma'} P_t(\bm \sigma') \, \delta_{\sigma_i, \sigma_i'} \prod_{\substack{j=1 \\ j \neq i}}^N \delta_{\sigma_j, \sigma_j'} }_{P_t(\bm \sigma)} \\ & \qquad + \Delta t \sum_{i=1}^N w(\sigma_i | 1 - \sigma_i, \bm{\sigma}^{\setminus i}) \underbrace{ \sum_{\bm \sigma'} P_t(\bm \sigma') \, \delta_{1 - \sigma_i, \sigma_i'} \prod_{\substack{j=1 \\ j \neq i}}^N \delta_{\sigma_j, \sigma_j'} }_{P_t(\hat{\bm{\sigma}}^{i})} \\ & \qquad + O(\Delta t^2)\end{split}\]

これで \({\D P_t(\bm \sigma)}/{\D t} = \lim_{\Delta t \to 0} (P_{t+\Delta t}(\bm \sigma) - P_t(\bm \sigma))/\Delta t\) を評価する準備が出来た.

\[\begin{split}& \frac{P_{t+\Delta t}(\bm \sigma) - P_t(\bm \sigma)}{\Delta t} \\ & \qquad = \underbrace{ - \sum_{i=1}^N w(1 - \sigma_i | \sigma_i, \bm{\sigma}^{\setminus i}) P_t(\bm \sigma) + \sum_{i=1}^N w(\sigma_i | 1 - \sigma_i, \bm{\sigma}^{\setminus i}) P_t(\hat{\bm{\sigma}}^{i}) }_{= \D P_t(\bm \sigma)/\D t} + O(\Delta t)\end{split}\]

この式の極限 \(\Delta t \to 0\) で消えない第1項と第2項は確かに式 (1) の右辺である.