장 41 큰 수의 법칙 (작성 예정)

작성 예정: 장 작성

41.1 수렴의 개념들

41.1.1 거의 확실한 수렴

정의 41.1.1.

확률 공간 $\Omega$ 위의 확률 변수 $X$ , $X_{n}$ 이 있다고 합시다. 다음이 성립하면 $X_{n}$ 이 $X$ 에 거의 확실히 수렴한다고 말합니다.

\mu\left(\omega\in\Omega:\lim_{n}X_{n}(\omega)=X(\omega)\right)=1.

이는 매우 강한 수렴의 개념입니다: 이는 거의 모든 세계에서 $X_{n}$ 의 값이 $X$ 로 수렴한다는 것을 의미합니다. 사실, 비예시를 드는 것이 오히려 더 나을 것 같습니다.

예제 41.1.2 (거의 확실한 수렴의 비예시).

불멸의 스켈레톤 궁수가 사격을 연습하고 있으며, $n$ 번째 사격에서 확률 $1-\frac{1}{n}$ 로 명중시킨다고 상상해 봅시다 (궁수가 시간이 지날수록 향상되므로 이 확률은 $1$ 에 수렴합니다). $X_{n}\in\{0,1,\dots,10\}$ 을 $n$ 번째 사격의 점수라고 합시다.

스켈레톤이 점차 완벽에 가까워지고 있지만, 궁수가 유한 번만 빗맞히는 세계는 거의 존재하지 않습니다: 즉

\mu\left(\omega\in\Omega:\lim_{n}X_{n}(\omega)=10\right)=0.

41.1.2 확률 수렴

따라서 많은 목적을 위해서는 더 약한 수렴 개념이 필요합니다.

정의 41.1.3.

확률 공간 $\Omega$ 위의 확률 변수 $X$ , $X_{n}$ 이 있다고 합시다. 모든 $\varepsilon>0$ 과 $\delta>0$ 에 대해 다음이 성립하면 $X_{n}$ 이 $X$ 에 확률 수렴한다고 말합니다.

\mu\left(\omega\in\Omega:\left\lvert X_{n}(\omega)-X(\omega)\right\rvert<% \varepsilon\right)\geq 1-\delta

충분히 큰 $n$ 에 대해 ( $\varepsilon$ 와 $\delta$ 에 따라 결정됨).

이런 의미에서 우리의 스켈레톤 궁수는 실제로 성공합니다: 임의의 $\delta>0$ 에 대해, $n>\delta^{-1}$ 이면 스켈레톤 궁수는 $1-\delta$ 비율의 세계에서 명중시킵니다. 일반적으로, 이는 임의의 $\delta>0$ 에 대해 $n$ 번째 단계에서 $\varepsilon$ -이상 사건이 일어날 확률이 결국 $\delta$ 아래로 떨어진다는 것을 의미한다고 생각할 수 있습니다.

비고 41.1.4.

정의에서 $\delta$ 를 감추기 위해, 이는 때때로 다음과 같이 대신 쓰이기도 합니다: 모든 $\varepsilon$ 에 대해

\lim_{n\to\infty}\mu\left(\omega\in\Omega:\left\lvert X_{n}(\omega)-X(\omega)% \right\rvert<\varepsilon\right)=1.

큰 차이는 없다고 생각하지만, 저는 개인적으로 이 비대칭성이 마음에 들지 않습니다.

41.1.3 법칙 수렴

41.2 약한 큰 수의 법칙

이름에서 알 수 있듯이, 이는 강한 큰 수의 법칙의 직접적인 따름정리입니다. 그럼에도 불구하고, 이 법칙의 증명은 더 간단하며, 일부 응용에서는 약한 법칙만으로도 충분합니다.

작성 예정: 작성

41.2.1 응용: 바이어슈트라스 근사

41.3 강한 큰 수의 법칙

41.3.1 동기: 편향된 랜덤 워크

다음과 같이 정의된 랜덤 워크를 생각해 봅시다:

•

$X_{0}=1$ 이라고 합시다.
•

각 $i\geq 1$ 에 대해, $X_{i}$ 를 확률 $p=0.6$ 으로 $X_{i-1}-1$ , 확률 $1-p=0.4$ 로 $X_{i-1}+1$ 이 되도록 정의합니다.

그러면 다음과 같이 물을 수 있습니다: 어떤 $X_{i}$ 가 $0$ 이 될 때까지의 단계 수의 기댓값은 얼마입니까?

소박한 시도는 다음과 같을 것입니다.

$f(i)$ 를 $X_{0}=i$ 에서 시작하여 $0$ 에 도달하기까지의 단계 수의 기댓값이라고 합시다.

그러면:

•

$f(0)=0$ ,

•

$f(1)=1+0.6f(0)+0.4f(2)$ ,

•

$f(2)=1+0.6f(1)+0.4f(3)$ ,

•

$\vdots$

항이 무한히 많기 때문에 이 방법으로는 진전이 없습니다. 더 나은 시도는 다음과 같습니다:

답을 $x$ 라고 합시다. $X_{0}=2$ 에서 시작한다면, $i$ 를 $X_{i}=1$ 이 되는 첫 시점, $j$ 를 $i$ 이후 $X_{j}=0$ 이 되는 첫 시점이라고 합시다. 그러면

$\mathbb{E}[i]=\mathbb{E}[j-i]=x.$

따라서,

$x=1+0.6\cdot 0+0.4\cdot(2x)$

이 방정식을 풀면 $x=5$ 를 얻습니다.

이 방법은 올바른 결과를 줍니다 — 하지만 아래로 갈 확률이 $p=0.4$ 일 때 같은 방법을 적용하면 $x=-5$ 가 나오는데, 이는 명백히 말이 되지 않습니다.

무엇이 잘못되었을까요? 문제는 $p=0.4$ 일 때 수열이 결코 $0$ 에 도달하지 못할 확률¹¹1미리보기: 다음 장에서 마팅게일 이론을 이용하면, 수열이 결코 $0$ 에 도달하지 못할 확률이 정확히 $1-\frac{0.4}{0.6}$ 임을 증명할 수 있습니다.이 $0$ 이 아니라는 데 있으며, 따라서 기댓값이 정의되지 않고 증명에서 $\infty$ 에서 $\infty$ 를 빼고 있다는 것입니다.

이 경우, 강대수의 법칙은 거의 모든 세계에서 수열 $X_{i}$ 가 결국 $0$ 에 도달한다는 것을 보임으로써 이 허점을 메우는 데 도움을 줄 수 있습니다.

41.3.2 진술

정리 41.3.1 (강대수의 법칙).

$X_{1}$ , $X_{2}$ , … 를 평균이 $0$ 인 독립 항등 분포 확률 변수라고 합시다. 부분 평균을 다음과 같이 정의합니다

M_{n}=\frac{X_{1}+\dots+X_{n}}{n}.

그러면, 거의 모든 세계에서, $M_{n}\to 0$ 입니다.

다시 말해, $M_{n}$ 은 거의 확실하게 $0$ 으로 수렴합니다.

평균이 $0$ 이라는 조건은 단지 증명을 간단히 하기 위한 것으로, 평균이 존재하기만 하면 확률 변수에서 평균을 빼서 정리를 적용할 수 있습니다.

예제 41.3.2 (가설 $\mathbb{E}[X_{i}]=0$ 은 중요합니다).

$M_{n}\to 0$ 이 성립하지 않는 예를 살펴봅시다 — 이는 상트페테르부르크 역설의 약간 변형된 버전입니다.

각 $X_{i}$ 의 분포를 다음과 같다고 합시다:

\displaystyle X_{i}

\displaystyle=\begin{cases}1&\text{확률로}\frac{1}{4}\\ -1&\text{확률로}\frac{1}{4}\\ 2&\text{확률로}\frac{1}{8}\\ -2&\text{확률로}\frac{1}{8}\\ 4&\text{확률로}\frac{1}{16}\\ -4&\text{확률로}\frac{1}{16}\\ &\vdots\end{cases}

형식적으로, $X_{i}$ 는 확률 $2^{-k-2}$ 로 $\{2^{k},-2^{k}\}$ 의 각 값을 취합니다.

이 경우, 평균 $\mathbb{E}[X_{i}]=\int_{\Omega}X_{i}(\omega)$ 는 실제로 정의되지 않습니다. 게다가, 분포가 아무리 대칭적으로 보이더라도, 거의 어떤 세계에서도 $M_{n}$ 은 $0$ 으로 수렴하지 않습니다.

직관적으로, 그 이유를 알 수 있습니다:

•

처음 $16$ 개 값 중 평균적으로 $|X_{i}|=4$ 인 $X_{i}$ 가 하나 있으며, 이는 $M_{16}$ 을 $\frac{1}{4}$ 만큼 왜곡시킵니다.
•

처음 $32$ 개 값 중 평균적으로 $|X_{i}|=8$ 인 $X_{i}$ 가 하나 있으며, 이는 $M_{32}$ 을 $\frac{1}{4}$ 만큼 왜곡시킵니다.
•

이하 마찬가지입니다.

다시 말해, 우리의 해골 궁수와 마찬가지로, $M_{n}$ 이 $\frac{1}{4}$ 보다 크게 왜곡된 경우가 유한 번만 발생하는 세계는 거의 존재하지 않습니다.

41.3.3 유한 분산의 경우에 대한 증명

실제로 우리가 마주치는 대부분의 분포는 유한 분산을 가지므로, 반례를 하나 드는 편이 나을 것입니다.

예제 41.3.3 (평균은 유한하지만 분산은 무한한 분포).

위의 상트페테르부르크 역설 예시에서의 $X_{i}$ 에 대해 $Y_{i}=\operatorname{sgn}(X_{i})\sqrt{|X_{i}|}$ 로 두면 충분합니다. 계산해 보면 $\mathbb{E}[Y_{i}]=0$ 이지만 $\mathbb{E}[Y_{i}^{2}]=\infty$ 임을 알 수 있습니다.

먼저 $\mathbb{E}[X_{i}^{2}]$ 이 유한한 경우에 대한 증명을 제시하겠습니다.

먼저, 얼핏 무관해 보이는 다음과 같은 급수를 정의합니다.

T_{n}=X_{1}+\frac{X_{2}}{2}+\frac{X_{3}}{3}+\dots+\frac{X_{n}}{n}.

이 단계는 동기를 설명하기가 다소 어렵습니다. 긍정적인 측면으로는, 다음을 보이기가 쉽다는 점입니다.

주장 41.3.4.

거의 모든 세계에서 수열 $T_{n}$ 은 수렴합니다.

이는 다음 급수가

X_{1}+\frac{X_{2}}{2}+\frac{X_{3}}{3}+\cdots

수렴한다는 것과 같은 말입니다.

핵심 아이디어는 합산 항들의 총 분산이 유한함을 보이는 것입니다. 실제로:

	$\displaystyle\operatorname{Var}\left[X_{1}\right]+\operatorname{Var}\left[% \frac{X_{2}}{2}\right]+\operatorname{Var}\left[\frac{X_{3}}{3}\right]+\cdots$	$\displaystyle=\operatorname{Var}[X_{1}]+\frac{1}{4}\operatorname{Var}[X_{2}]+% \frac{1}{9}\operatorname{Var}[X_{3}]+\cdots$
		$\displaystyle=\operatorname{Var}[X_{1}]\cdot\left(1+\frac{1}{4}+\frac{1}{9}+% \cdots\right)$

이는 유한합니다.

왜 총 분산이 유한하면 거의 확실한 수렴이 성립할까요? 직관적으로, 다음을 상기해 봅시다.

정리 41.3.5 (체비쇼프 부등식).

$X$ 를 평균이 $0$ 이고 분산이 $\sigma^{2}$ 인 확률 변수라고 합시다. 그러면

\Pr[|X|\geq k\sigma]\leq\frac{1}{k^{2}}.

또는 동등하게, $\sigma$ 의 정의에 암묵적으로 포함된 $\sqrt{-}$ 를 피하기 위해 다음과 같은 형태로 쓸 수도 있습니다.

\Pr[|X|\geq a]\leq\frac{1}{a^{2}}\operatorname{Var}[X].

그러면 예를 들어 $T_{1000}$ 과 $T_{2000}$ 을 살펴보면:

\operatorname{Var}[T_{2000}-T_{1000}]=\sum_{i=1001}^{2000}\frac{\operatorname{% Var}[X_{i}]}{i^{2}}

$\sum_{i=1}^{\infty}\frac{\operatorname{Var}[X_{i}]}{i^{2}}$ 이 유한하므로, $\sum_{i=1001}^{2000}\frac{\operatorname{Var}[X_{i}]}{i^{2}}$ 은 매우 작을 것으로 예상되며, 이는 $T_{2000}$ 이 $T_{1000}$ 에서 거의 벗어나지 않아야 함을 의미합니다.

그러나 수렴을 보이려면 더 강력한 것이 필요합니다.

정리 41.3.6 (콜모고로프 부등식).

$X_{1}$ , …, $X_{n}$ 을 평균이 $0$ 인 독립 확률 변수라 합시다. 각 $1\leq i\leq n$ 에 대해 $S_{i}=X_{1}+\dots+X_{i}$ 라고 정의합니다. 그러면

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대해}1\leq i\leq n]\leq\frac{1}{a^{2}}% \operatorname{Var}[S_{n}].

이 정리가 왜 더 강력한지 알 수 있습니다 — 체비셰프 부등식으로는 다음만 보일 수 있습니다

\Pr[|S_{n}|\geq a]\leq\frac{1}{a^{2}}\operatorname{Var}[S_{n}].

따라서 같은 우변으로, $|S_{1}|\geq a\vee|S_{2}|\geq a\vee\cdots$ 의 확률도 공짜로 한계 지을 수 있습니다!

증명.

$A_{i}$ 를 $i$ 가 $|S_{i}|\geq a$ 를 만족하는 가장 작은 값이 되는 사건이라고 정의합니다. 그러면 위 좌변은 다음과 같습니다

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대해}1\leq i\leq n]=\Pr[A_{1}]+\Pr[A_{2}]+\dots+% \Pr[A_{n}].

직관적으로, 만약 사건 $|S_{i}|\geq a$ 들이 독립이었다면, 우리가 할 수 있는 최선은 체비셰프 부등식을 사용하여 개별 확률 값들을 한계 짓는 것입니다

\Pr[|S_{i}|\geq a]\leq\frac{1}{a^{2}}\operatorname{Var}[S_{i}]

하지만 이들은 전혀 독립이 아닙니다 — 사실, 이들은 양의 상관관계를 가지고 있습니다! 예를 들어, 다음이 성립합니다

\mathbb{E}[S_{n}\mid S_{1}=a]=a

왜냐하면 $\mathbb{E}[X_{2}+\dots+X_{n}]=0$ 이기 때문입니다. 따라서 각 $X_{i}$ 가 대칭 분포를 따른다면, $\Pr[S_{n}\geq a\mid S_{1}=a]\geq\frac{1}{2}$ 이며, 이는 $a$ 가 클 때 $\frac{1}{a^{2}}\operatorname{Var}[S_{n}]$ 보다 훨씬 큽니다.

여기 형식적인 증명이 있습니다. 각 $1\leq i\leq n$ 에 대해, 다음이 성립합니다

\mathbb{E}[S_{i}^{2}\mid A_{i}]\geq a^{2}

이는 다음과 동치입니다

\Pr[A_{i}]\leq\frac{1}{a^{2}}\mathbb{E}[S_{i}^{2}\cdot\mathbf{1}_{A_{i}}]

그리고

	$\displaystyle\mathbb{E}[S_{n}^{2}\cdot\mathbf{1}_{A_{i}}]$	$\displaystyle=\mathbb{E}[(S_{i}+(S_{n}-S_{i}))^{2}\cdot\mathbf{1}_{A_{i}}]$
		$\displaystyle=\mathbb{E}[S_{i}^{2}\cdot\mathbf{1}_{A_{i}}]+\mathbb{E}[S_{i}% \cdot\mathbf{1}_{A_{i}}(S_{n}-S_{i})]+\mathbb{E}[(S_{n}-S_{i})^{2}\cdot\mathbf% {1}_{A_{i}}]$

가운데 항 $\mathbb{E}[S_{i}\cdot\mathbf{1}_{A_{i}}(S_{n}-S_{i})]$ 은 $0$ 인데, 이는 $S_{i}\cdot\mathbf{1}_{A_{i}}$ 와 $S_{n}-S_{i}=X_{i+1}+\dots+X_{n}$ 이 독립이고 $\mathbb{E}[X_{i+1}+\dots+X_{n}]=0$ 이기 때문이며, 마지막 항은 $\geq 0$ 입니다.

부등식들을 결합하면, 다음을 얻습니다

a^{2}\Pr[A_{i}]\leq\mathbb{E}[S_{n}^{2}\cdot\mathbf{1}_{A_{i}}].

모든 $i$ 에 대해 합하면 최종 결과를 얻습니다. ∎

일반화하면:

따름정리 41.3.7.

$X_{1}$ , …을 평균이 $0$ 인 독립 확률 변수라 합시다. $S_{i}$ 를 위와 같이 정의합니다. 그러면

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대해}1\leq i]\leq\frac{1}{a^{2}}\sum_{1\leq i}% \operatorname{Var}[X_{i}].

증명.

사건

|S_{i}|\geq a\text{임의의 ~{}에 대해}1\leq i\leq n

은 다음 사건의 부분집합입니다

|S_{i}|\geq a\text{임의의 ~{}에 대해}1\leq i\leq n+1

따라서 다음을 얻습니다

\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대해}1\leq i]=\lim_{n\to\infty}\Pr[|S_{i}|\geq a% \text{임의의 ~{}에 대해}1\leq i\leq n].

각 $\Pr[|S_{i}|\geq a\text{임의의 ~{}에 대해}1\leq i\leq n]$ 에 콜모고로프 부등식을 적용하면, 결과를 얻습니다. ∎

이제, 아이디어는 이를 수열의 꼬리에 적용하는 것입니다

X_{1},\frac{X_{2}}{2},\frac{X_{3}}{3},\dots

따름정리에 의해, 모든 $\varepsilon>0$ 에 대해, 거의 모든 세계에서, 임의의 $i\geq n_{\varepsilon}$ 에 대해 $|T_{i}-T_{n_{\varepsilon}}|<\frac{\varepsilon}{2}$ 가 되는 $n_{\varepsilon}$ 가 존재함을 알 수 있습니다. 삼각 부등식에 의해, 임의의 $i,j\geq n_{\varepsilon}$ 에 대해 $|T_{i}-T_{j}|<\varepsilon$ 가 됩니다.

코시 수렴 판정법에 의해, 이는 수열 $T_{n}$ 이 거의 모든 세계에서 수렴함을 의미합니다.

마지막으로, 원래 목표와의 관계는 다음과 같습니다

주장 41.3.8 (원래 급수와의 관계).

$T_{n}$ 이 수렴하는 모든 세계에서, $M_{n}$ 은 $0$ 으로 수렴합니다.

증명.

약간의 대수적 조작일 뿐입니다. $M_{n}$ 을 $T_{n}$ 에 대해 표현해 보겠습니다.

다음을 얻습니다

X_{n}=n\cdot(T_{n}-T_{n-1})

따라서

	$\displaystyle M_{n}$	$\displaystyle=\frac{(T_{1}-T_{0})+2(T_{2}-T_{1})+\dots+n(T_{n}-T_{n-1})}{n}$
		$\displaystyle=\frac{nT_{n}-(T_{0}+T_{1}+\cdots+T_{n-1})}{n}$
		$\displaystyle=T_{n}-\frac{T_{0}+T_{1}+\cdots+T_{n-1}}{n}.$

이제 이것은 쉽습니다: $T_{n}$ 이 수렴한다고 할 때, $\frac{T_{0}+T_{1}+\cdots+T_{n-1}}{n}$ 도 같은 값으로 수렴해야 하므로(Cesàro 평균), 필요한 대로 $M_{n}\to 0$ 이 됩니다. ∎

연습문제 41.3.9.

역은 성립하지 않습니다: $M_{n}\to 0$ 이라 해도, $T_{n}$ 이 반드시 수렴하는 것은 아닙니다. 반례를 찾으십시오. ( $T_{n}$ 을 $M_{n}$ 에 대해 표현하고, 어떤 일이 일어나는지 살펴보십시오.)

41.3.4 일반적인 증명

기본 아이디어는 각 $X_{i}$ 의 값을 절단하여 각각이 유한한 분산을 갖도록 하는 것입니다.

작성 예정: 다음과 같이 씁니다

41.4 생각해 볼 만한 조금 더 어려운 문제

문제 41A (한정사 지옥).

^†^†margin:

확률 수렴의 정의에서 $\delta>0$ 대신 $\delta=0$ 을 허용했다고 가정합시다. 수정된 정의가 거의 확실한 수렴과 동치임을 보이십시오.

힌트. 이것은 보기보다 실제로는 더 까다로운데, (이름과는 달리) 단순히 한정사를 밀어 넣을 수는 없고, $m=1,2,\dots$ 에 대해 $\varepsilon=1/m$ 에 초점을 맞추어야 합니다.

문제는 각 $\varepsilon>0$ 에 대해, $n>N_{\varepsilon}$ 이면 $\mu(\omega:|X(\omega)-X_{n}(\omega)|\leq\varepsilon)=1$ 이라고 말하고 있습니다. 각 $m$ 에 대해 측도가 0인 ”나쁜 세계들”이 존재하는데, 그것들의 합집합을 취하십시오.

풀이. 각 양의 정수 $m$ 에 대해, $\varepsilon=1/m$ 일 때 어떤 일이 일어나는지 생각해 봅시다. 그러면 가정에 의해, 문턱값 $N_{m}$ 이 존재하여 이상 집합이

$A_{m}\coloneqq\left\{\omega:|X(\omega)-X_{n}(\omega)|\geq\frac{1}{m}\text{어떤 ~% {}에 대해}n>N_{m}\right\}$

측도 $\mu(A_{m})=0$ 을 갖도록 하는 문턱값 $N_{m}$ 이 존재합니다. 따라서 가산 합집합 $A=\bigcup_{m\geq 1}A_{m}$ 도 측도가 0입니다.

그러므로 $A$ 의 여집합은 측도 $1$ 을 갖습니다. $A$ 에 속하지 않는 임의의 세계 $\omega\notin A$ 에 대해, 다음을 얻습니다

$\lim_{n}\left\lvert X(\omega)-X_{n}(\omega)\right\rvert=1$

왜냐하면 $n>N_{m}$ 일 때 그 절댓값은 ( $\omega\notin A_{m}$ 이므로) 항상 $1/m$ 이하이기 때문입니다.

문제 41B (거의 확실한 수렴은 위상화할 수 없음).

$\Omega=[0,1]$ 위의 모든 확률 변수의 공간을 생각합시다. 다음 명제를 참으로 만드는 거리를 이 공간에 부여하는 것이 불가능함을 증명하십시오:

확률 변수 $X_{1}$ , $X_{2}$ , …,의 수열이 $X$ 로 거의 확실하게 수렴하는 것은 $X_{i}$ 가 그 거리에서 $X$ 로 수렴하는 것과 동치입니다.

풀이. https://math.stackexchange.com/a/2201906/229197