確率変数の収束¶
大数の法則 (law of large numbers)¶
課題
LNN について書く
大数の法則 (law of large numbers)
無相関変数に対する大数の法則¶
大数の法則が成り立つためには確率変数が同一の分布の従う条件や, 独立であるという条件は実は必要ではない. 確率変数の分散に「有界性」があり, (独立ではなく) 無相関であれば十分である. 本稿では, 以下の定理 ([Cinlar2011] の Proposition III.6.13 (p.121) より) を繰り返し用いる.
無相関変数に対する大数の法則
確率変数 \(X_n\) (\(n = 1, 2, \ldots\)) が無相関で, ある非ゼロで正の増加列 \(b_1, b_2, \ldots\) を用いて \(\sum_{n=1}^\infty \Var (X_n / b_n) < \infty\) とできるならば, \((\sum_{m=1}^n X_n - \Expect \sum_{m=1}^n X_n) / b_n \to 0\) が \(L^2\) 収束と確率収束の意味で成り立つ.
本稿では確率変数の収束の細かい違いについて神経質に使い分けないが, 前者は \(\Expect |(\sum_{m=1}^n X_n - \Expect \sum_{m=1}^n X_n) / b_n|^2 \to 0\), 後者は \(\Prob \{ (\sum_{m=1}^n X_n - \Expect \sum_{m=1}^n X_n) / b_n \to 0 \} = 1\) を意味する.
中心極限定理 (central limit theorem)¶
課題
CLT について書く
自己平均性 (self-averaging property)¶
確率変数 \(\bm X = (X_1, \ldots, X_N)^\intercal\) がすべての \(j = 1, \ldots, N\) について \(\lim_{N \to \infty} N^{-1} \sum_{i=1}^N X_i = \Avg{X_j}\) を満たす時, 確率変数 \(\bm X\) は自己平均的である (\(\bm X\) is self-averaging) と呼ばれる. ただし, \(\Avg{X_j}\) は 確率変数 \(\bm X\) についての平均で, “average over realisations” や “average over samples” と呼ばれる.
確率変数 \(\bm X\) は例えばネットワークの状態 \(\bm \sigma = (\sigma_1, \ldots, \sigma_N)^\intercal\) (モデルの定義 参照) である. この場合, 各 \(X_n\) は有界なので, \(b_n = n\) で 無相関変数に対する大数の法則 の「有界性」の条件 \(\sum_{n=1}^\infty \Var (X_n / b_n) < \infty\) を満たす. さらに, すべての確率変数の平均が同一 \(\Avg{X_j} = \mu\) (\(j = 1, 2, \ldots\)) ならば, この定理より, \(\lim_{N \to \infty} N^{-1} \sum_{i=1}^N X_i = \mu\) が言える.