장 41 큰 수의 법칙 (작성 예정)

작성 예정: 장 작성하기

41.1 수렴의 개념

41.1.1 거의 확실한 수렴

정의 41.1.1.

$X$ , $X_{n}$ 을 확률 공간 $\Omega$ 위의 확률 변수라고 합시다. 다음이 성립하면 $X_{n}$ 이 $X$ 로 거의 확실하게 수렴한다고 합니다.

\mu\left(\omega\in\Omega:\lim_{n}X_{n}(\omega)=X(\omega)\right)=1.

이것은 매우 강한 수렴 개념입니다. 거의 모든 세계에서 $X_{n}$ 의 값이 $X$ 로 수렴한다는 뜻입니다. 사실, 여기서는 비예시를 드는 편이 오히려 더 나을 정도입니다.

예제 41.1.2 (거의 확실한 수렴의 비예시).

불멸의 해골 궁수가 활쏘기를 연습하고 있고, $n$ 번째 화살에서 확률 $1-\frac{1}{n}$ 으로 과녁 정중앙을 맞힌다고 상상해 보십시오(궁수의 실력이 시간이 지날수록 늘기 때문에 이 확률은 $1$ 로 수렴합니다). $X_{n}\in\{0,1,\dots,10\}$ 을 $n$ 번째 화살의 점수라고 합시다.

해골 궁수는 점점 완벽에 가까워지지만, 궁수가 유한 번만 빗맞히는 세계는 거의 존재하지 않습니다. 즉, 다음과 같습니다.

\mu\left(\omega\in\Omega:\lim_{n}X_{n}(\omega)=10\right)=0.

41.1.2 확률 수렴

따라서 많은 경우에 더 약한 수렴 개념이 필요합니다.

정의 41.1.3.

$X$ , $X_{n}$ 을 확률 공간 $\Omega$ 위의 확률 변수라고 합시다. 모든 $\varepsilon>0$ 과 $\delta>0$ 에 대하여 다음이 성립하면 $X_{n}$ 이 $X$ 로 확률 수렴한다고 합니다.

\mu\left(\omega\in\Omega:\left\lvert X_{n}(\omega)-X(\omega)\right\rvert<% \varepsilon\right)\geq 1-\delta

단, $n$ 은 ( $\varepsilon$ 와 $\delta$ 에 따라) 충분히 커야 합니다.

이러한 의미에서는 우리의 해골 궁수가 실제로 성공합니다. 임의의 $\delta>0$ 에 대하여 $n>\delta^{-1}$ 이면 해골 궁수는 세계들 중 $1-\delta$ 비율에서 과녁 정중앙을 맞힙니다. 일반적으로, 이는 임의의 $\delta>0$ 에 대하여 $n$ 번째 단계에서 $\varepsilon$ -이상 사건이 일어날 확률이 결국 $\delta$ 아래로 떨어진다는 뜻으로 생각할 수 있습니다.

비고 41.1.4.

정의에서 $\delta$ 를 감추기 위해, 이것을 대신 다음과 같이 쓰기도 합니다. 모든 $\varepsilon$ 에 대하여

\lim_{n\to\infty}\mu\left(\omega\in\Omega:\left\lvert X_{n}(\omega)-X(\omega)% \right\rvert<\varepsilon\right)=1.

큰 차이는 없다고 생각하지만, 개인적으로는 이 비대칭성이 마음에 들지 않습니다.

41.1.3 분포 수렴

41.2 약한 큰 수의 법칙

이름에서 알 수 있듯이, 이것은 강한 큰 수의 법칙의 직접적인 따름정리입니다. 그럼에도 이 법칙의 증명은 더 간단하며, 일부 응용에서는 약한 법칙만으로 충분합니다.

작성 예정: 작성하기

41.2.1 응용: 바이어슈트라스 근사

41.3 강한 큰 수의 법칙

41.3.1 동기: 치우친 무작위 행보

다음과 같이 정의된 무작위 행보를 생각해 봅시다.

•

$X_{0}=1$ 이라고 합시다.
•

각 $i\geq 1$ 에 대하여, $X_{i}$ 를 확률 $p=0.6$ 으로 $X_{i-1}-1$ , 확률 $1-p=0.4$ 로 $X_{i-1}+1$ 이 되도록 정의합니다.

그러면 다음과 같이 물을 수 있습니다. 어떤 $X_{i}$ 가 $0$ 이 될 때까지 걸리는 단계 수의 기댓값은 얼마입니까?

순진한 시도는 다음과 같습니다.

$X_{0}=i$ 에서 출발하여 $0$ 에 도달하기까지 걸리는 단계 수의 기댓값을 $f(i)$ 라고 합시다.

그러면 다음이 성립합니다.

•

$f(0)=0$ ,

•

$f(1)=1+0.6f(0)+0.4f(2)$ ,

•

$f(2)=1+0.6f(1)+0.4f(3)$ ,

•

$\vdots$

항이 무한히 많으므로 이 방법으로는 진전이 없습니다. 더 나은 시도는 다음과 같습니다.

답을 $x$ 라고 합시다. $X_{0}=2$ 에서 출발한다면, $X_{i}=1$ 이 되는 첫 시점을 $i$ , $i$ 이후 $X_{j}=0$ 이 되는 첫 시점을 $j$ 라고 합시다. 그러면

$\mathbb{E}[i]=\mathbb{E}[j-i]=x.$

따라서,

$x=1+0.6\cdot 0+0.4\cdot(2x)$

방정식을 풀면 $x=5$ 를 얻습니다.

이 방법은 올바른 결과를 줍니다 — 그러나 내려갈 확률이 $p=0.4$ 일 때는 같은 방법으로 $x=-5$ 를 얻게 되는데, 이는 명백히 말이 되지 않습니다.

무엇이 잘못되었습니까? 문제는 $p=0.4$ 일 때 수열이 $0$ 에 결코 도달하지 않을 확률이 0이 아니라는¹¹1미리 보기: 다음 장의 마팅게일 이론을 이용하면, 수열이 $0$ 에 결코 도달하지 않을 확률이 정확히 $1-\frac{0.4}{0.6}$ 임을 증명할 수 있습니다. 점이며, 따라서 기댓값이 정의되지 않고 증명에서 $\infty$ 에서 $\infty$ 를 빼고 있는 셈입니다.

이 경우 큰 수의 강법칙은 거의 모든 세계에서 수열 $X_{i}$ 가 결국 $0$ 에 도달함을 보여 줌으로써 이 허점을 메우는 데 도움을 줄 수 있습니다.

41.3.2 명제

정리 41.3.1 (큰 수의 강법칙).

$X_{1}$ , $X_{2}$ , … 를 평균이 $0$ 인 i.i.d. 확률 변수라고 합시다. 부분 평균을 다음과 같이 정의합니다.

M_{n}=\frac{X_{1}+\dots+X_{n}}{n}.

그러면 거의 모든 세계에서 $M_{n}\to 0$ 입니다.

다시 말해, $M_{n}$ 은 $0$ 으로 거의 확실하게 수렴합니다.

평균이 $0$ 이라는 조건은 증명을 단순화하기 위한 것일 뿐이며, 평균이 존재하기만 하면 확률 변수에서 평균을 빼고 정리를 적용할 수 있습니다.

예제 41.3.2 (가정 $\mathbb{E}[X_{i}]=0$ 은 중요합니다).

$M_{n}\to 0$ 이 성립하지 않는 예를 생각해 봅시다 — 이는 상트페테르부르크 역설을 약간 변형한 것입니다.

각 $X_{i}$ 의 분포를 다음과 같이 둡시다.

\displaystyle X_{i}

\displaystyle=\begin{cases}1&\text{확률로}\frac{1}{4}\\ -1&\text{확률로}\frac{1}{4}\\ 2&\text{확률로}\frac{1}{8}\\ -2&\text{확률로}\frac{1}{8}\\ 4&\text{확률로}\frac{1}{16}\\ -4&\text{확률로}\frac{1}{16}\\ &\vdots\end{cases}

형식적으로, $X_{i}$ 는 $\{2^{k},-2^{k}\}$ 의 각 값을 확률 $2^{-k-2}$ 로 취합니다.

이 경우 평균 $\mathbb{E}[X_{i}]=\int_{\Omega}X_{i}(\omega)$ 는 사실 정의되지 않습니다. 게다가 분포가 아무리 대칭적으로 보이더라도, 거의 모든 세계에서 $M_{n}$ 은 $0$ 으로 수렴하지 않습니다.

직관적으로 그 이유를 알 수 있습니다.

•

처음 $16$ 개의 값 중에는 평균적으로 $|X_{i}|=4$ 인 $X_{i}$ 가 하나 있으며, 이는 $M_{16}$ 을 $\frac{1}{4}$ 만큼 치우치게 합니다.
•

처음 $32$ 개의 값 중에는 평균적으로 $|X_{i}|=8$ 인 $X_{i}$ 가 하나 있으며, 이는 $M_{32}$ 를 $\frac{1}{4}$ 만큼 치우치게 합니다.
•

이하 마찬가지입니다.

다시 말해, 앞의 해골 궁수와 마찬가지로, $M_{n}$ 이 $\frac{1}{4}$ 보다 크게 치우치는 일이 유한 번만 일어나는 세계는 거의 없습니다.

41.3.3 분산이 유한한 경우의 증명

실제로 우리가 접하는 분포는 대부분 분산이 유한하므로, 반례를 하나 드는 것이 좋겠습니다.

예제 41.3.3 (평균은 유한하지만 분산은 무한한 분포).

$X_{i}$ 가 위의 상트페테르부르크 역설 예시일 때 $Y_{i}=\operatorname{sgn}(X_{i})\sqrt{|X_{i}|}$ 로 두면 충분합니다. 직접 계산해 보면 $\mathbb{E}[Y_{i}]=0$ 이지만 $\mathbb{E}[Y_{i}^{2}]=\infty$ 임을 알 수 있습니다.

먼저 $\mathbb{E}[X_{i}^{2}]$ 이 유한한 경우의 증명을 제시하겠습니다.

먼저, 얼핏 무관해 보이는 급수를 다음과 같이 정의합니다.

T_{n}=X_{1}+\frac{X_{2}}{2}+\frac{X_{3}}{3}+\dots+\frac{X_{n}}{n}.

이 단계를 왜 밟는지 설명하기는 조금 어렵습니다. 대신 다음을 보이기는 쉽습니다.

주장 41.3.4.

거의 모든 세계에서 수열 $T_{n}$ 은 수렴합니다.

이는 다음 급수가

X_{1}+\frac{X_{2}}{2}+\frac{X_{3}}{3}+\cdots

수렴한다는 것과 같습니다.

핵심 아이디어는 각 항의 분산의 총합이 유한함을 보이는 것입니다. 실제로 다음이 성립합니다.

	$\displaystyle\operatorname{Var}\left[X_{1}\right]+\operatorname{Var}\left[% \frac{X_{2}}{2}\right]+\operatorname{Var}\left[\frac{X_{3}}{3}\right]+\cdots$	$\displaystyle=\operatorname{Var}[X_{1}]+\frac{1}{4}\operatorname{Var}[X_{2}]+% \frac{1}{9}\operatorname{Var}[X_{3}]+\cdots$
		$\displaystyle=\operatorname{Var}[X_{1}]\cdot\left(1+\frac{1}{4}+\frac{1}{9}+% \cdots\right)$

이는 유한합니다.

분산의 총합이 유한하면 왜 거의 확실하게 수렴하는 것입니까? 직관적으로 다음을 떠올려 봅시다.

정리 41.3.5 (체비쇼프 부등식).

$X$ 를 평균이 $0$ 이고 분산이 $\sigma^{2}$ 인 확률 변수라고 합시다. 그러면

\Pr[|X|\geq k\sigma]\leq\frac{1}{k^{2}}.

또는 동치로, $\sigma$ 의 정의에 암묵적으로 들어 있는 $\sqrt{-}$ 를 피하는 다음 형태로 쓸 수도 있습니다.

\Pr[|X|\geq a]\leq\frac{1}{a^{2}}\operatorname{Var}[X].

그러면 예를 들어 $T_{1000}$ 과 $T_{2000}$ 을 살펴보면 다음과 같습니다.

\operatorname{Var}[T_{2000}-T_{1000}]=\sum_{i=1001}^{2000}\frac{\operatorname{% Var}[X_{i}]}{i^{2}}

$\sum_{i=1}^{\infty}\frac{\operatorname{Var}[X_{i}]}{i^{2}}$ 이 유한하므로 $\sum_{i=1001}^{2000}\frac{\operatorname{Var}[X_{i}]}{i^{2}}$ 은 매우 작을 것으로 예상되며, 이는 $T_{2000}$ 이 $T_{1000}$ 에서 거의 벗어나지 않아야 함을 뜻합니다.

그러나 수렴을 보이려면 더 강한 무언가가 필요합니다.

정리 41.3.6 (콜모고로프 부등식).

$X_{1}$ , …, $X_{n}$ 을 평균이 $0$ 인 독립 확률 변수라고 합시다. 각 $1\leq i\leq n$ 에 대하여 $S_{i}=X_{1}+\dots+X_{i}$ 로 정의합니다. 그러면

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대하여}1\leq i\leq n]\leq\frac{1}{a^{2}}% \operatorname{Var}[S_{n}].

이 정리가 왜 더 강한지 알 수 있습니다 — 체비쇼프 부등식으로는 다음만 보일 수 있습니다

\Pr[|S_{n}|\geq a]\leq\frac{1}{a^{2}}\operatorname{Var}[S_{n}].

따라서 같은 우변으로 $|S_{1}|\geq a\vee|S_{2}|\geq a\vee\cdots$ 의 확률도 공짜로 위에서 제한할 수 있습니다!

증명.

$A_{i}$ 를 $|S_{i}|\geq a$ 를 만족하는 가장 작은 값이 $i$ 라는 사건으로 정의합니다. 그러면 위의 좌변은 다음과 같습니다

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대하여}1\leq i\leq n]=\Pr[A_{1}]+\Pr[A_{2}]+\dots% +\Pr[A_{n}].

직관적으로, 사건 $|S_{i}|\geq a$ 들이 독립이었다면 우리가 할 수 있는 최선은 체비쇼프 부등식을 사용하여 개별 확률값을 각각 위에서 제한하는 것입니다:

\Pr[|S_{i}|\geq a]\leq\frac{1}{a^{2}}\operatorname{Var}[S_{i}]

하지만 이 사건들은 전혀 독립이 아닙니다 — 사실 이들은 양의 상관관계를 가집니다! 예를 들어 다음이 성립합니다:

\mathbb{E}[S_{n}\mid S_{1}=a]=a

이는 $\mathbb{E}[X_{2}+\dots+X_{n}]=0$ 이기 때문입니다. 따라서 각 $X_{i}$ 가 대칭적으로 분포되어 있다면 $\Pr[S_{n}\geq a\mid S_{1}=a]\geq\frac{1}{2}$ 이며, 이는 $a$ 가 클 때 $\frac{1}{a^{2}}\operatorname{Var}[S_{n}]$ 보다 훨씬 큽니다.

다음은 엄밀한 증명입니다. 각 $1\leq i\leq n$ 에 대하여 다음이 성립합니다

\mathbb{E}[S_{i}^{2}\mid A_{i}]\geq a^{2}

이는 다음과 동치입니다

\Pr[A_{i}]\leq\frac{1}{a^{2}}\mathbb{E}[S_{i}^{2}\cdot\mathbf{1}_{A_{i}}]

그리고

	$\displaystyle\mathbb{E}[S_{n}^{2}\cdot\mathbf{1}_{A_{i}}]$	$\displaystyle=\mathbb{E}[(S_{i}+(S_{n}-S_{i}))^{2}\cdot\mathbf{1}_{A_{i}}]$
		$\displaystyle=\mathbb{E}[S_{i}^{2}\cdot\mathbf{1}_{A_{i}}]+\mathbb{E}[S_{i}% \cdot\mathbf{1}_{A_{i}}(S_{n}-S_{i})]+\mathbb{E}[(S_{n}-S_{i})^{2}\cdot\mathbf% {1}_{A_{i}}]$

$S_{i}\cdot\mathbf{1}_{A_{i}}$ 와 $S_{n}-S_{i}=X_{i+1}+\dots+X_{n}$ 은 독립이고 $\mathbb{E}[X_{i+1}+\dots+X_{n}]=0$ 이므로 가운데 항 $\mathbb{E}[S_{i}\cdot\mathbf{1}_{A_{i}}(S_{n}-S_{i})]$ 은 $0$ 이며, 마지막 항은 $\geq 0$ 입니다.

부등식들을 결합하면 다음을 얻습니다

a^{2}\Pr[A_{i}]\leq\mathbb{E}[S_{n}^{2}\cdot\mathbf{1}_{A_{i}}].

모든 $i$ 에 대하여 합하면 최종 결과를 얻습니다. ∎

일반화하면 다음과 같습니다:

따름정리 41.3.7.

$X_{1}$ , … 을 평균이 $0$ 인 독립 확률 변수라고 합시다. $S_{i}$ 를 위와 같이 정의합니다. 그러면

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대하여}1\leq i]\leq\frac{1}{a^{2}}\sum_{1\leq i}% \operatorname{Var}[X_{i}].

증명.

사건

|S_{i}|\geq a\text{임의의 ~{}에 대하여}1\leq i\leq n

은 다음 사건의 부분집합입니다

|S_{i}|\geq a\text{임의의 ~{}에 대하여}1\leq i\leq n+1

따라서 다음이 성립합니다

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대하여}1\leq i]=\lim_{n\to\infty}\Pr[|S_{i}|\geq a% \text{임의의 ~{}에 대하여}1\leq i\leq n].

각 $\Pr[|S_{i}|\geq a\text{, 어떤 }1\leq i\leq n]$ 에 콜모고로프 부등식을 적용하면 결과를 얻습니다. ∎

이제 핵심 아이디어는 이것을 다음 수열의 꼬리에 적용하는 것입니다

X_{1},\frac{X_{2}}{2},\frac{X_{3}}{3},\dots

따름정리에 의해, 모든 $\varepsilon>0$ 에 대하여 거의 모든 세계에서 임의의 $i\geq n_{\varepsilon}$ 에 대해 $|T_{i}-T_{n_{\varepsilon}}|<\frac{\varepsilon}{2}$ 를 만족하는 $n_{\varepsilon}$ 가 존재함을 압니다. 삼각 부등식에 의해 임의의 $i,j\geq n_{\varepsilon}$ 에 대하여 $|T_{i}-T_{j}|<\varepsilon$ 입니다.

코시의 수렴 판정법에 의해, 이는 수열 $T_{n}$ 이 거의 모든 세계에서 수렴함을 의미합니다.

마지막으로, 원래 목표와의 관계는 다음과 같습니다:

주장 41.3.8 (원래 급수와의 관계).

$T_{n}$ 이 수렴하는 모든 세계에서 $M_{n}$ 은 $0$ 으로 수렴합니다.

증명.

약간의 대수적 조작만 하면 됩니다. $M_{n}$ 을 $T_{n}$ 으로 나타내 봅시다.

다음을 얻습니다.

X_{n}=n\cdot(T_{n}-T_{n-1})

따라서

	$\displaystyle M_{n}$	$\displaystyle=\frac{(T_{1}-T_{0})+2(T_{2}-T_{1})+\dots+n(T_{n}-T_{n-1})}{n}$
		$\displaystyle=\frac{nT_{n}-(T_{0}+T_{1}+\cdots+T_{n-1})}{n}$
		$\displaystyle=T_{n}-\frac{T_{0}+T_{1}+\cdots+T_{n-1}}{n}.$

이제 이것은 쉽습니다. $T_{n}$ 이 수렴하면 $\frac{T_{0}+T_{1}+\cdots+T_{n-1}}{n}$ 또한 같은 값으로 수렴해야 하므로(Cesàro 평균), 요구한 대로 $M_{n}\to 0$ 입니다. ∎

연습문제 41.3.9.

역은 성립하지 않습니다. $M_{n}\to 0$ 이라고 해서 $T_{n}$ 이 반드시 수렴하는 것은 아닙니다. 반례를 찾으십시오. ( $T_{n}$ 을 $M_{n}$ 으로 나타내고 어떻게 되는지 살펴보십시오.)

41.3.4 일반적인 증명

기본 아이디어는 각 $X_{i}$ 의 값을 잘라내어 각각이 유한한 분산을 갖도록 하는 것입니다.

작성 예정: 다음과 같이 씁니다.

41.4 생각해 볼 만한 조금 더 어려운 문제

문제 41A (한정기호 지옥).

^†^†margin:

확률 수렴의 정의에서 ( $\delta>0$ 대신) $\delta=0$ 을 허용한다고 가정합시다. 이렇게 수정한 정의가 거의 확실한 수렴과 동치임을 보이십시오.

힌트. 이 문제는 실제로 보기보다 까다롭습니다. (이름과는 달리) 한정기호를 그냥 옮기는 것만으로는 안 되고, $m=1,2,\dots$ 에 대해 $\varepsilon=1/m$ 에 집중해야 합니다.

문제가 말하는 바는 각 $\varepsilon>0$ 에 대해 $n>N_{\varepsilon}$ 이면 $\mu(\omega:|X(\omega)-X_{n}(\omega)|\leq\varepsilon)=1$ 이라는 것입니다. 각 $m$ 마다 측도가 0인 “나쁜 세계”가 몇몇 있으니, 이들의 합집합을 취하십시오.

풀이. 각 양의 정수 $m$ 에 대해 $\varepsilon=1/m$ 일 때 어떻게 되는지 생각해 봅시다. 그러면 가정에 의해 어떤 문턱값 $N_{m}$ 이 존재하여 다음 이상 집합이

$A_{m}\coloneqq\left\{\omega:|X(\omega)-X_{n}(\omega)|\geq\frac{1}{m}\text{어떤 ~% {}에 대하여}n>N_{m}\right\}$

측도 $\mu(A_{m})=0$ 을 갖습니다. 따라서 가산 합집합 $A=\bigcup_{m\geq 1}A_{m}$ 역시 측도가 0입니다.

그러므로 $A$ 의 여집합은 측도가 $1$ 입니다. 그러면 임의의 세계 $\omega\notin A$ 에 대해 다음이 성립합니다.

$\lim_{n}\left\lvert X(\omega)-X_{n}(\omega)\right\rvert=1$

$n>N_{m}$ 일 때 그 절댓값은 ( $\omega\notin A_{m}$ 이므로) 항상 $1/m$ 이하이기 때문입니다.

문제 41B (거의 확실한 수렴은 위상화할 수 없음).

$\Omega=[0,1]$ 위의 모든 확률 변수로 이루어진 공간을 생각하십시오. 이 공간에 다음 명제를 참이 되게 하는 거리를 줄 수 없음을 증명하십시오.

확률 변수의 열 $X_{1}$ , $X_{2}$ , …,가 $X$ 로 거의 확실하게 수렴할 필요충분조건은 $X_{i}$ 가 그 거리에서 $X$ 로 수렴하는 것입니다.

풀이. https://math.stackexchange.com/a/2201906/229197