제17장 부록 A: 통계적 추론 복습

장 미리보기. 이 부록은 관심 모집단에서 추출한 관측값의 확률표본을 사용하여 그 모집단에 대한 통계적 추론을 수행하는 것과 관련된 개념과 방법을 개관합니다. 이 부록에서 17.1절은 추론에 사용되는 모집단 및 표본과 관련된 기본 개념을 소개합니다. 17.2절은 모집단 특성의 점추정에 흔히 사용되는 방법을 제시합니다. 17.3절은 모집단에서 추출한 확률표본을 사용함에 따라 발생하는 추정의 불확실성을 고려하는 구간추정을 설명합니다. 17.4절은 변수 및 모형 선택을 위한 가설검정의 개념을 소개합니다.

17.1 기본 개념

이 절에서는 통계적 추론과 관련된 다음 개념을 학습합니다.

  • 모집단 내 항목이나 개체의 목록으로 요약할 수 있는 모집단으로부터의 확률표본추출
  • 확률표본으로부터 계산된 통계량에 대해 표본추출에 따라 가능한 결과의 분포를 특징짓는 표본분포
  • 모집단에서 추출한 확률표본 평균의 분포를 규정하는 중심극한정리

통계적 추론은 표본 추출이 가능한 모집단의 항목 또는 개체 목록에서 얻은 대표성 있는 데이터 집합(예: 확률표본)을 사용하여, 대규모 항목/개체 집합(즉, 모집단)의 특성에 관한 결론을 도출하는 과정입니다. 이 과정은 과학, 공학, 보건, 사회, 경제 분야를 포함한 다양한 영역에서 폭넓게 응용되지만, 특히 통계적 추론은 보험회사가 직접 관측하지 못하는 특정 목표 고객층(즉, 모집단)의 특성(예: 위험 프로필)을 추론하기 위해 기존 보험계약자의 데이터를 사용하는 보험회사에게 중요합니다.

예제 – 위스콘신 재산 기금. 2010년 경험에서 1,377건의 개별 청구가 있다고 가정합니다. 요약 통계량은 표 17.1에, 시각적 요약은 그림 17.1에 제시되어 있습니다.

표 17.1: Wisconsin Property Fund Summary Statistics
Minimum First Quartile Median Mean Third Quartile Maximum Standard Deviation
Claim 1 789 2,250 26,623 6,171 12,922,218 368,030
Logarithmic Claims 0 6.67 7.719 7.804 8.728 16.374 1.683
위스콘신 재산 기금의 청구 분포

그림 17.1: 위스콘신 재산 기금의 청구 분포

위스콘신 재산 기금은 2010년 청구 경험(표본)을 사용하여 2010년, 2011년 등 잠재적으로 발생할 수 있는 모든 청구(모집단)의 심도를 평가하는 데 관심을 가질 수 있습니다. 이 과정은 요율 산정이나 청구 예측 모형화의 맥락에서 중요합니다. 이러한 추론이 타당하려면 다음을 가정해야 합니다.

  • 2010년 청구 집합이 모집단을 대표하는 확률표본이라는 것,
  • 평균 청구액의 표본분포를 추정할 수 있으므로, 유한 표본을 사용함에 따라 발생하는 추정의 편향과 불확실성을 정량화할 수 있습니다.
R 코드 보기 위스콘신 재산 기금을 이용한 실증 예제

17.1.1 확률표본추출

통계학에서 표본을 추출하는 목록인 표본추출틀이 관심 모집단을 적절히 근사하지 못할 때 표본추출 오차가 발생합니다. 표본은 관심 모집단, 즉 전체 집단의 대표성 있는 부분집합이어야 합니다. 표본이 대표성을 갖지 못하면 같은 실수가 계속 반복되므로, 더 큰 표본을 추출하더라도 편향이 제거되지 않습니다. 따라서 모집단을 대표하는 단순 확률표본을 만들어 내는 확률표본추출의 개념을 소개합니다.

확률변수 \(X\)가 평균이 \(\mathrm{E}[X]=\mu\)이고 분산이 \(\mathrm{Var}[X]=\mathrm{E}[(X-\mu)^2]\)인 분포함수 \(F(\cdot)\)를 갖는 모집단에서의 한 번의 추출을 나타낸다고 가정합니다. 여기서 \(E(\cdot)\)는 확률변수의 기댓값을 나타냅니다. 확률표본추출에서는 \(X_1, \ldots, X_n\)로 나타내는 이러한 추출을 총 \(n\)번 수행하며, 각 추출은 서로 무관합니다(즉, 통계적으로 독립입니다). \(X_1, \ldots, X_n\)를 모수적 형태 또는 비모수적 형태를 취하는 \(F(\cdot)\)로부터의 (복원) 확률표본이라고 합니다. 또는 \(X_1, \ldots, X_n\)가 분포함수 \(F(\cdot)\)를 갖는 독립적이고 동일한 분포(iid)를 따른다고 말할 수도 있습니다.

17.1.2 표본분포

확률표본 \(X_1, \ldots, X_n\)을 사용하여 우리는 모집단 분포 \(F(\cdot)\)의 특정 속성에 대한 결론을 내리고자 합니다. 예를 들어, \(\mu\)로 표기하는 모집단 평균에 대해 추론하고자 할 수 있습니다. 표본평균 \(\bar{X}=\sum_{i=1}^nX_i\)을 모집단 평균 \(\mu\)의 추정값으로 생각하는 것은 자연스럽습니다. 표본평균을 확률표본 \(X_1, \ldots, X_n\)으로부터 계산한 통계량이라고 부릅니다. 그 밖에 흔히 사용되는 요약 통계량으로는 표본표준편차와 표본분위수가 있습니다.

통계량(예: 표본평균 \(\bar{X}\))을 사용하여 모집단 속성(예: 모집단 평균 \(\mu\))에 대한 통계적 추론을 할 때, 추론의 질은 모집단 대신 표본을 사용함에 따라 발생하는 추정의 편향과 불확실성에 의해 결정됩니다. 따라서 통계량의 편향과 변동성을 정량화하는 통계량의 분포를 연구하는 것이 중요합니다. 특히 표본평균 \(\bar{X}\)(또는 다른 어떤 통계량)의 분포를 표본분포라고 합니다. 표본분포는 표본추출 과정, 통계량, 표본 크기 \(n\), 그리고 모집단 분포 \(F(\cdot)\)에 따라 달라집니다. 중심극한정리는 특정 조건하에서 표본평균의 대표본 (표본추출) 분포를 제공합니다.

17.1.3 중심극한정리

통계학에는 특정 조건하에서 표본 크기가 무한대로 갈 때 표본평균이 모집단 평균에 접근하고 그 표본분포가 정규분포에 접근함을 보장하는 여러 변형된 중심극한정리(CLT)가 있습니다. 여기서는 분포 \(F(\cdot)\)를 갖는 전체 모집단으로부터의 확률표본을 사용하여 계산한 표본평균 \(\bar{X}\)의 점근 표본분포를 확립하는 린데베르그-레비 CLT를 제시합니다.

린데베르그-레비 CLT. \(X_1, \ldots, X_n\)을 평균이 \(\mu\)이고 분산이 \(\sigma^2<\infty\)인 모집단 분포 \(F(\cdot)\)로부터의 확률표본이라고 합시다. 표본 크기가 무한대로 갈 때, 표본평균 \(\bar{X}\)과 \(\mu\)의 차이에 \(\sqrt{n}\)을 곱한 값은 정규분포로 분포수렴합니다. 즉, \[ \sqrt{n}(\bar{X}-\mu)\rightarrow^{d}N(0,\sigma). \]
CLT는 \(F(\cdot)\)에 대해 모수적 형태를 요구하지 않는다는 점에 유의하십시오. CLT에 근거하여 모집단 평균에 대한 통계적 추론을 수행할 수 있습니다(연역하는 것이 아니라 추론하는 것입니다). 수행할 수 있는 추론의 유형으로는 모집단의 추정, 귀무 진술이 참인지에 대한 가설검정, 그리고 모집단으로부터의 미래 표본에 대한 예측이 있습니다.

17.2 점추정과 그 성질

이 절에서는 다음 방법을 학습합니다.

  • 적률법 추정을 사용하여 모집단 모수를 추정하는 방법
  • 최대가능도 추정에 근거하여 모집단 모수를 추정하는 방법

모집단 분포함수 \(F(\cdot)\)는 보통 모수라고 하는 제한된(유한한) 수의 항으로 특징지을 수 있으며, 이 경우 그 분포를 모수적 분포라고 부릅니다. 반면 비모수적 분석에서는 표본분포의 속성이 적은 수의 모수로 제한되지 않습니다.

모집단의 특성을 얻기 위해 모집단 분포 \(F(\cdot)\)와 관련된 여러 속성이 있습니다. 이러한 측도로는 평균, 중앙값, 백분위수(예: 95번째 백분위수), 표준편차 등이 있습니다. 이러한 요약 측도는 특정한 모수적 기준에 의존하지 않으므로 비모수적 요약 측도입니다.

반면 모수적 분석에서는 특정 모수를 갖는 특정 분포족을 가정할 수 있습니다. 예를 들어, 사람들은 보통 청구액의 로그가 평균 \(\mu\), 표준편차 \(\sigma\)인 정규분포를 따른다고 생각합니다. 즉, 청구액이 모수 \(\mu\)와 \(\sigma\)를 갖는 로그정규분포를 따른다고 가정합니다. 또는 보험회사는 흔히 청구 심도가 형상모수 \(\alpha\)와 척도모수 \(\theta\)를 갖는 감마분포를 따른다고 가정합니다. 여기서 정규분포, 로그정규분포, 감마분포는 모수적 분포의 예입니다. 위의 예에서 \(\mu\), \(\sigma\), \(\alpha\), \(\theta\)와 같은 양을 모수라고 합니다. 주어진 모수적 분포족에서 분포는 모수의 값에 의해 유일하게 결정됩니다.

모집단의 요약 특성을 나타내기 위해 흔히 \(\theta\)를 사용합니다. 모수적 모형에서 \(\theta\)는 정규분포의 평균 및 분산 모수와 같은 분포의 모수이거나 모수들의 함수일 수 있습니다. 비모수적 분석에서는 모집단 평균이나 표준편차와 같은 비모수적 요약의 형태를 취할 수 있습니다. \(\hat{\theta} =\hat{\theta}(X_1, \ldots, X_n)\)를 \(\theta\)의 대용치, 즉 추정값을 제공하는 표본의 함수라고 합시다. 이는 표본 \(X_1, \ldots, X_n\)의 함수로서 통계량이라고 불립니다.

예제 – 위스콘신 재산 기금. 표본평균 7.804와 표본표준편차 1.683은 모집단 평균과 표준편차의 비모수적 추정값으로 볼 수도 있고, 로그 청구액에 관한 정규분포의 \(\mu\)와 \(\sigma\)에 대한 모수적 추정값으로 볼 수도 있습니다. 로그정규분포의 결과를 이용하면, 기대 청구액인 로그정규 평균을 10,106.8( \(=\exp(7.804+1.683^2/2)\) )로 추정할 수 있습니다.

위스콘신 재산 기금 데이터에 대해 \(\hat{\mu} =7.804\)와 \(\hat{\sigma} = 1.683\)로 표기할 수 있으며, 여기서 햇 표기는 표본에 근거한 모수의 추정값을 나타냅니다. 특히 이러한 추정값은 대응하는 모수에 대한 하나의 근사값으로서 점추정값이라고 불립니다. 점추정을 위해 흔히 사용되는 두 가지 방법인 적률법 추정과 최대가능도 추정을 소개합니다.

17.2.1 적률법 추정

적률법 추정을 정의하기에 앞서 적률의 개념을 정의합니다. 적률은 분포함수 \(F(\cdot)\)의 특성을 나타내는 모집단 특성입니다. \(F(\cdot)\)로부터의 확률 추출 \(X\)가 주어졌을 때, 기댓값 \(\mu_k=\mathrm{E}[X^k]\)를 \(X\)의 \(k\)차 적률이라고 합니다, \(k=1,2,3,\ldots\) 예를 들어, 모집단 평균 \(\mu\)는 1차 적률입니다. 또한 기댓값 \(\mathrm{E}[(X-\mu)^k]\)를 \(k\)차 중심적률이라고 합니다. 따라서 분산은 2차 중심적률입니다.

확률표본 \(X_1, \ldots, X_n\)를 이용하여 모집단 특성 \(\mu_k\)를 추정하기 위한 대응 표본적률 \(\hat{\mu}_k=(1/n)\sum_{i=1}^n X_i^k\)를 구성할 수 있습니다. 예를 들어, 앞에서 표본평균 \(\bar{X}\)를 모집단 평균 \(\mu\)의 추정량으로 사용하였습니다. 마찬가지로 2차 중심적률은 \((1/n)\sum_{i=1}^n(X_i-\bar{X})^2\)로 추정할 수 있습니다. \(F(\cdot)\)에 대해 모수적 형태를 가정하지 않으면, 표본적률은 대응하는 모집단 특성의 비모수적 추정값이 됩니다. 이처럼 대응하는 표본 적률과 모집단 적률을 일치시키는 데 근거한 추정량을 적률법 추정량(mme)이라고 합니다.

mme는 비모수 모형에서 자연스럽게 작동하지만, \(F(\cdot)\)에 대해 특정 모수적 분포족을 가정하는 경우에는 모수를 추정하는 데에도 사용할 수 있습니다. 모수적 분포 \(F(\cdot)\)에 대응하는 모수 벡터를 \(\boldsymbol{\theta}=(\theta_1,\cdots,\theta_m)\)로 나타냅니다. 분포족이 주어지면, 일반적으로 모수와 적률 사이의 관계를 알 수 있습니다. 특히 \(\mu_1=h_1(\boldsymbol{\theta}),\,\mu_2=h_2(\boldsymbol{\theta}),\,\cdots,\,\mu_m=h_m(\boldsymbol{\theta})\)를 만족하는 함수 \(h_1(\cdot),h_2(\cdot),\cdots,h_m(\cdot)\)의 구체적인 형태를 알 수 있습니다. 확률표본으로부터 mme \(\hat{\mu}_1, \ldots, \hat{\mu}_m\)가 주어지면, 모수 \(\hat{\theta}_1,\cdots,\hat{\theta}_m\)의 mme는 다음 방정식을 풀어 얻을 수 있습니다. \[ \begin{array}{ll} \hat{\mu}_1&=h_1(\hat{\theta}_1,\cdots,\hat{\theta}_m) \\ \hat{\mu}_2&=h_2(\hat{\theta}_1,\cdots,\hat{\theta}_m) \\ \vdots\ \ \ & \ \ \vdots \\ \hat{\mu}_m &=h_m(\hat{\theta}_1,\cdots,\hat{\theta}_m). \end{array} \]

예제 – 위스콘신 재산 기금. 청구가 로그정규분포를 따르며, 따라서 로그 청구가 정규분포를 따른다고 가정합니다. 구체적으로, \(\log(X)\)가 평균이 \(\mu\)이고 분산이 \(\sigma^2\)인 정규분포를 따른다고 가정하고, 이를 \(\log(X) \sim N(\mu, \sigma^2)\)로 나타냅니다. mme가 \(\hat{\mu}=\bar{X}\)와 \(\hat{\sigma}=\sqrt{(1/n)\sum_{i=1}^n(X_i-\bar{X})^2}\)임은 쉽게 알 수 있습니다. 위스콘신 재산 기금 예제에서 적률법 추정값은 \(\hat{\mu} =7.804\)와 \(\hat{\sigma} = 1.683\)입니다.

17.2.2 최대가능도 추정

\(F(\cdot)\)가 모수적 형태를 취할 때, 모집단 모수 \(\boldsymbol{\theta}\)를 추정하는 데에는 최대가능도법이 널리 사용됩니다. 최대가능도 추정은 관측된 표본이 주어졌을 때 모수의 함수인 가능도함수에 근거합니다. \(X_i=x_i\)에서 계산한 \(X_i\)의 확률함수를 \(f(x_i|\boldsymbol{\theta})\) \((i=1,2,\cdots,n)\)로 나타냅니다. 이는 이산형 \(X\)의 경우에는 확률질량함수이고, 연속형 \(X\)의 경우에는 확률밀도함수입니다. 독립성을 가정하면, 관측값 \((X_1,X_2,\cdots,X_n)=(x_1,x_2,\cdots,x_n)=\mathbf{x}\)와 연관된 \(\boldsymbol{\theta}\)의 가능도함수는 \[ L(\boldsymbol{\theta}|\mathbf{x})=\prod_{i=1}^nf(x_i|\boldsymbol{\theta}), \] 로 쓸 수 있으며, 이에 대응하는 로그가능도함수는 \[ l(\boldsymbol{\theta}|\mathbf{x})=\log(L(\boldsymbol{\theta}|\mathbf{x}))=\sum_{i=1}^n\log f(x_i|\boldsymbol{\theta}). \] 로 주어집니다. \(\boldsymbol{\theta}\)의 최대가능도 추정량(mle)은 관측된 표본이 주어졌을 때 가능도함수(로그가능도함수)를 최대화하는 \(\boldsymbol{\theta}\) 값들의 집합입니다. 즉, mle \(\hat{\boldsymbol{\theta}}\)는 \[ \hat{\boldsymbol{\theta}}={\mbox{argmax}}_{\boldsymbol{\theta}\in\Theta}l(\boldsymbol{\theta}|\mathbf{x}), \] 로 쓸 수 있으며, 여기서 \(\Theta\)는 \(\boldsymbol{\theta}\)의 모수 공간이고, \({\mbox{argmax}}_{\boldsymbol{\theta}\in\Theta}l(\boldsymbol{\theta}|\mathbf{x})\)는 함수 \(l(\boldsymbol{\theta}|\mathbf{x})\)가 최댓값에 도달하는 \(\boldsymbol{\theta}\)의 값으로 정의됩니다.

가능도함수의 해석적 형태가 주어지면, 로그가능도함수를 \(\boldsymbol{\theta}\)에 대해 1차 미분하고 그 편도함수의 값을 0으로 놓아 mle를 얻을 수 있습니다. 즉, 2차 편도함수가 음수라는 조건하에서 mle는 방정식 \[ \begin{array}{ll} \frac{\partial l(\hat{\boldsymbol{\theta}}|\mathbf{x})}{\partial\hat{\theta}_1}&=0 \\ \frac{\partial l(\hat{\boldsymbol{\theta}}|\mathbf{x})}{\partial\hat{\theta}_2}&=0 \\ \cdots \\ \frac{\partial l(\hat{\boldsymbol{\theta}}|\mathbf{x})}{\partial\hat{\theta}_m}&=0, \end{array} \] 의 해입니다.

모수적 모형에서 모수의 mle는 해석적으로(예: 정규분포와 선형 추정량의 경우) 얻을 수도 있고, Newton-Raphson 방법 및 그 적응형 변형과 같은 반복 알고리즘을 통해 수치적으로(예: 비정규 반응변수를 갖는 일반화선형모형의 경우) 얻을 수도 있습니다.

정규분포. \((X_1,X_2,\cdots,X_n)\)가 정규분포 \(N(\mu, \sigma^2)\)로부터의 확률표본이라고 가정합니다. 관측된 표본 \((X_1,X_2,\cdots,X_n)=(x_1,x_2,\cdots,x_n)\)가 주어지면, \(\mu,\sigma^2\)의 가능도함수를 \[L(\mu,\sigma^2)=\prod_{i=1}^n\left[\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{\left(x_i-\mu\right)^2}{2\sigma^2}}\right],\] 로 쓸 수 있으며, 이에 대응하는 로그가능도함수는 다음과 같이 주어집니다. \[l(\mu,\sigma^2)=-\frac{n}{2}[\log(2\pi)+\log(\sigma^2)]-\frac{1}{2\sigma^2}\sum_{i=1}^n\left(x_i-\mu\right)^2.\]

\[ \frac{\partial l(\hat{\mu},\sigma^2)}{\partial \hat{\mu}}=0, \] 를 풀면 \(\hat{\mu}=\bar{x}=(1/n)\sum_{i=1}^nx_i\)를 얻습니다. \(\frac{\partial l^2(\hat{\mu},\sigma^2)}{\partial \hat{\mu}^2}\left|_{\hat{\mu}=\bar{x}}\right.<0\)임은 쉽게 확인할 수 있습니다. 이는 임의의 \(x\)에 대해 성립하므로, \(\hat{\mu}=\bar{X}\)는 \(\mu\)의 mle입니다. 마찬가지로, \[ \frac{\partial l(\mu,\hat{\sigma}^2)}{\partial \hat{\sigma}^2}=0, \] 를 풀면 \(\hat{\sigma}^2=(1/n)\sum_{i=1}^n(x_i-\mu)^2\)를 얻습니다. 나아가 \(\mu\)를 \(\hat{\mu}\)로 대체하면, \(\sigma^2\)의 mle를 \(\hat{\sigma}^2=(1/n)\sum_{i=1}^n(X_i-\bar{X})^2\)로 유도할 수 있습니다.

따라서 정규 모집단 분포 \(F(\cdot)\) 하에서, 표본평균 \(\bar{X}\)과 \(\hat{\sigma}^2\)는 평균 \(\mu\)와 분산 \(\sigma^2\)에 대한 mme이자 MLE(MLE) 최대가능도 추정값입니다. 가능도함수의 성질에 대한 자세한 내용은 부록 19.1절에 제시되어 있습니다.

17.3 구간추정

이 절에서는 다음을 배웁니다.

  • 정규 평균의 mle의 정확한 표본분포를 유도하는 방법
  • mle의 대표본 성질을 이용하여 표본분포의 대표본 근사를 얻는 방법
  • mle의 대표본 성질에 기반하여 모수의 신뢰구간을 구성하는 방법

이제 mme와 mle를 소개했으므로, 첫 번째 유형의 통계적 추론인 구간 추정을 수행할 수 있습니다. 구간 추정은 유한한 표본을 사용함으로써 발생하는 불확실성을 정량화합니다. mle의 표본분포를 도출함으로써 모수에 대한 구간(신뢰구간)을 추정할 수 있습니다. 빈도주의 접근법(예: 최대가능도 추정에 기반한 접근법)에서는 표본추출 과정을 반복하여 구간을 계속해서 다시 계산할 경우, 동일한 무작위 표본추출 틀에서 생성된 신뢰구간이 대부분의 경우(예: 95%의 경우) 참값을 포함하게 됩니다. 이러한 과정에는 mle의 표본분포를 도출하는 일이 필요합니다.

17.3.1 정규 표본평균의 정확한 분포

정규분포의 가법성(즉, 다변량 정규분포를 따르는 정규 확률변수들의 합은 여전히 정규분포를 따름)과 정규분포가 위치–척도 족에 속한다는 사실(즉, 정규 확률변수의 위치 변환 및/또는 척도 변환은 정규분포를 가짐)로 인해, 정규 \(F(\cdot)\)로부터의 확률표본의 표본평균 \(\bar{X}\)은 임의의 유한한 \(n\)에 대해 정규 표본분포를 가집니다. \(X_i\sim^{iid} N(\mu,\sigma^2)\), \(i=1,\dots,n\)가 주어지면, \(\mu\)의 mle는 정확한 분포 \[\bar{X}\sim N\left(\mu,\frac{\sigma^2}{n}\right).\] 를 가집니다. 따라서 표본평균은 \(\mu\)의 불편추정량입니다. 또한 추정의 불확실성은 그 분산 \(\sigma^2/n\)로 정량화할 수 있으며, 이 분산은 표본 크기 \(n\)이 커짐에 따라 감소합니다. 표본 크기가 무한대로 가면, 표본평균은 참값에 놓인 단일 질량으로 수렴합니다.

17.3.2 MLE의 대표본 성질

그러나 평균 모수의 mle와 다른 모수적 분포족의 기타 모수에 대해서는 일반적으로 유한 표본에 대한 정확한 표본분포를 도출할 수 없습니다. 다행히 표본 크기가 충분히 크면 mle는 정규분포로 근사할 수 있습니다. 일반적인 최대가능도 이론에 따라 mle는 몇 가지 좋은 대표본 성질을 가집니다.

  • 모수 \(\theta\)의 mle \(\hat{\theta}\)는 일치추정량입니다. 즉, 표본 크기 \(n\)이 무한대로 갈 때 \(\hat{\theta}\)는 참값 \(\theta\)로 확률수렴합니다.

  • mle는 점근적 정규성을 가지며, 이는 표본 크기가 무한대로 갈 때 추정량이 참값을 중심으로 하는 정규분포로 분포수렴한다는 뜻입니다. 즉, \[\sqrt{n}(\hat{\theta}-\theta)\rightarrow_d N\left(0,\,V\right),\quad \mbox{as}\quad n\rightarrow \infty,\] 이며, 여기서 \(V\)는 피셔 정보의 역수입니다. 따라서 표본 크기가 클 때 mle \(\hat{\theta}\)는 평균이 \(\theta\)이고 분산이 \(V/n\)인 정규분포를 근사적으로 따릅니다.

  • mle는 효율적이며, 이는 흔히 크라메르-라오 하한이라 불리는 가장 작은 점근 분산 \(V\)을 가진다는 뜻입니다. 특히 크라메르-라오 하한은 \(\mathcal{I}(\theta)=-\mathrm{E}(\partial^2\log f(X;\theta)/\partial \theta^2)\)로 정의되는 피셔 정보의 역수입니다. 따라서 \(\mathrm{Var}(\hat{\theta})\)는 \(-\sum_{i=1}^n \partial^2\log f(X_i;\theta)/\partial \theta^2\)로 쓸 수 있는 관측 피셔 정보에 기초하여 추정할 수 있습니다.

많은 모수적 분포에서는 모수의 mle에 대한 피셔 정보를 해석적으로 도출할 수 있습니다. 보다 정교한 모수적 모형의 경우, 피셔 정보는 연속분포에 대해서는 수치 적분을, 이산분포에 대해서는 수치 합산을 사용하여 수치적으로 계산할 수 있습니다. 최대가능도 추정에 관한 더 자세한 내용은 부록 19.2절에 있습니다.

17.3.3 신뢰구간

mle \(\hat{\theta}\)가 평균이 \(\theta\)이고 분산이 \(\mathrm{Var}(\hat{\theta})\)인 정확한 정규분포 또는 근사적인 정규분포를 따른다고 하면, 분산의 제곱근을 취하고 추정값을 대입하여 \(se(\hat{\theta}) = \sqrt{\mathrm{Var}(\hat{\theta})}\)를 정의할 수 있습니다. 표준오차는 유한 표본을 사용함으로써 발생하는 추정의 불확실성을 정량화하는 추정된 표준편차입니다. 모집단 분포에 관한 몇 가지 정칙 조건하에서, 통계량 \[ \frac{\hat{\theta}-\theta}{se(\hat{\theta})} \] 가 자유도(분포의 모수) \({n-p}\)인 스튜던트-\(t\) 분포로 분포수렴함을 보일 수 있습니다. 여기서 \(p\)는 모형에서 분산을 제외한 모수의 개수입니다. 예를 들어, 정규분포의 경우 모수 \(\mu\)에 대해 \(p=1\)이고, 독립변수가 하나인 선형회귀 모형의 경우 절편과 독립변수의 모수에 대해 \(p=2\)입니다. \(\Pr\left[t< t_{n-p}\left(1-{\alpha}/{2}\right) \right]= 1-{\alpha}/{2}\)를 만족하는 스튜던트-\(t\) 분포의 \(100\times(1-\alpha/2)\)번째 백분위수를 \(t_{n-p}(1-\alpha/2)\)로 표기합니다. 다음이 성립합니다. \[ \Pr\left[-t_{n-p}\left(1-\frac{\alpha}{2}\right)<\frac{\hat{\theta}-\theta}{se(\hat{\theta})}< t_{n-p}\left(1-\frac{\alpha}{2}\right) \right]= 1-{\alpha}, \] 이로부터 \(\theta\)에 대한 신뢰구간을 유도할 수 있습니다. 위 식으로부터 \([\hat{\theta}_1, \hat{\theta}_2]\) 형태의 구간을 제공하는 한 쌍의 통계량 \(\hat{\theta}_1\)과 \(\hat{\theta}_2\)를 유도할 수 있습니다. 이 구간은 \(\Pr\left(\hat{\theta}_1 \le \theta \le \hat{\theta}_2\right) = 1-\alpha,\)를 만족하는 \(\theta\)에 대한 \(1-\alpha\) 신뢰구간이며, 여기서 확률 \(1-\alpha\)를 신뢰수준이라고 합니다. 정규분포 평균의 경우를 제외하면, 위 신뢰구간은 소표본에서는 타당하지 않다는 점에 유의하십시오.

정규분포. 정규 모집단 평균 \(\mu\)에 대해 mle는 정확한 표본분포 \(\bar{X}\sim N(\mu,\sigma/\sqrt{n})\)를 가지며, 여기서 \(se(\hat{\theta})\)를 \(\hat{\sigma}/\sqrt{n}\)로 추정할 수 있습니다. 코크란 정리에 따르면, 이렇게 얻은 통계량은 자유도가 \(n-1\)인 정확한 스튜던트-\(t\) 분포를 따릅니다. 따라서 신뢰구간의 하한과 상한을 \[ \hat{\mu}_1 = \hat{\mu} - t_{n-1}\left(1-\frac{\alpha}{2}\right)\frac{ \hat{\sigma}}{\sqrt{n}} \] 및 \[ \hat{\mu}_2 = \hat{\mu} + t_{n-1}\left(1-\frac{\alpha}{2}\right)\frac{ \hat{\sigma}}{\sqrt{n}}. \] 로 유도할 수 있습니다. \(\alpha = 0.05\)일 때, \(n\)의 값이 크면 \(t_{n-1}(1-\alpha/2) \approx 1.96\)입니다. 코크란 정리에 따르면, 이 신뢰구간은 표본 크기와 관계없이 타당합니다.

위스콘신 재산 기금 예제 보기 - 계속

17.4 가설검정

이 절에서는 다음 방법을 배웁니다.

  • 유의수준과 검정력을 포함한 가설검정의 기본 개념을 이해하는 방법
  • mle의 성질에 기반하여 스튜던트-\(t\) 검정과 같은 가설검정을 수행하는 방법
  • 동일한 통계 모형에서 단일 모수 또는 여러 모수에 대한 가능도비 검정을 구성하는 방법
  • 아카이케 정보 기준이나 베이즈 정보 기준과 같은 정보 기준을 사용하여 모형 선택을 수행하는 방법

모수적 분포의 모수 \(\boldsymbol{\theta}\)에 대해, 유의수준 \(\alpha\)(예: 5%)라고 하는 주어진 확률하에서 모수에 관한 가설이 참인지를 검증하는 또 다른 유형의 통계적 추론을 가설검정이라고 합니다. 가설검정에서는 귀무가설이 참이라고 할 때 관측된 표본만큼 극단적인 확률표본을 관측할 확률이 \(\alpha\)보다 작으면, 모수에 관한 제한적인 진술인 귀무가설을 기각합니다.

17.4.1 기본 개념

통계적 검정에서는 일반적으로 관측된 데이터가 주어졌을 때 어떤 모수에 관한 진술, 즉 귀무가설(\(H_0\)로 표기)이 참인지를 검정하는 데 관심이 있습니다. 귀무가설은 일반적인 형태 \(H_0:\theta\in\Theta_0\)를 취할 수 있으며, 여기서 \(\Theta_0\)는 여러 모수를 포함할 수 있는 \(\theta\)의 모수 공간 \(\Theta\)의 부분집합입니다. 단일 모수 \(\theta\)의 경우, 귀무가설은 보통 \(H_0:\theta=\theta_0\) 또는 \(H_0:\theta\leq\theta_0\) 형태를 취합니다. 귀무가설의 반대를 대립가설이라고 하며, \(H_a:\theta\neq\theta_0\) 또는 \(H_a:\theta>\theta_0\)로 쓸 수 있습니다. \(H_0:\theta=\theta_0\)에 대한 통계적 검정은 대립가설이 \(H_a:\theta<\theta_0\) 또는 \(\theta>\theta_0\)라는 두 부등식을 포함하므로 양측 검정이라고 합니다. 반면, \(H_0:\theta\leq\theta_0\) 또는 \(H_0:\theta\geq\theta_0\)에 대한 통계적 검정은 단측 검정이라고 합니다.

통계적 검정은 보통 통계량 \(T\)과 그 정확분포 또는 대표본 분포를 바탕으로 구성됩니다. 양측 검정은 일반적으로 \(T > c_1\) 또는 \(T < c_2\)일 때 기각되며, 여기서 두 상수 \(c_1\)와 \(c_2\)는 유의수준이라고 하는 확률 수준 \(\alpha\)에서 \(T\)의 표본분포를 바탕으로 구합니다. 특히 유의수준 \(\alpha\)는 \[ \alpha=\Pr(\mbox{reject }H_0|H_0\mbox{ is true}), \] 를 만족하며, 이는 귀무가설이 참일 때 표본추출 과정을 반복하여 검정을 계속 수행한다면 귀무가설을 기각하는 경우가 전체의 5%에 불과하다는 것을 의미합니다.

따라서 유의수준은 참인 귀무가설을 잘못 기각하는 오류인 제1종 오류(첫 번째 종류의 오류)를 범할 확률입니다. 이러한 이유로 유의수준 \(\alpha\)를 제1종 오류율이라고도 합니다. 가설검정에서 범할 수 있는 또 다른 유형의 오류는 거짓인 귀무가설을 잘못 채택하는 오류인 제2종 오류(두 번째 종류의 오류)입니다. 마찬가지로 제2종 오류율은 귀무가설이 참이 아닐 때 이를 기각하지 않을(채택할) 확률로 정의할 수 있습니다. 즉, 제2종 오류율은 \[ \Pr(\mbox{accept }H_0|H_0\mbox{ is false}). \] 로 주어집니다. 통계적 검정의 품질에 관한 또 다른 중요한 양은 검정 \(\beta\)의 검정력이라고 하며, 거짓인 귀무가설을 기각할 확률로 정의됩니다. 검정력의 수학적 정의는 \[ \beta=\Pr(\mbox{reject }H_0|H_0\mbox{ is false}). \] 입니다. 검정의 검정력은 일반적으로 특정 표본분포와 주어진 표본 크기에서 \(\theta=\theta_a\)의 특정 대립값을 바탕으로 계산한다는 점에 유의하십시오. 실제 실험 연구에서는 통계적으로 유의한 검정 결과를 얻을 가능성이 높도록(즉, 85%와 같이 미리 정한 통계적 검정력을 갖도록) 표본 크기를 정하기 위해 필요한 표본 크기를 계산하는 것이 일반적입니다.

17.4.2 mle에 기반한 스튜던트 t 검정

절 17.3.1의 결과를 바탕으로 \(H_0:\theta=\theta_0\)를 검정하기 위한 스튜던트 \(t\) 검정을 정의할 수 있습니다. 특히 검정통계량을 \[ t\text{-stat}=\frac{\hat{\theta}-\theta_0}{se(\hat{\theta})}, \] 로 정의하며, 이 통계량은 귀무가설이 참일 때(즉, \(\theta=\theta_0\)일 때) 자유도가 \({n-p}\)인 스튜던트 \(t\) 분포를 대표본 분포로 가집니다.

예를 들어 5%와 같이 주어진 유의수준 \(\alpha\)에 대해, 사건 \(t\text{-stat}<-t_{n-p}\left(1-{\alpha}/{2}\right)\) 또는 \(t\text{-stat}> t_{n-p}\left(1-{\alpha}/{2}\right)\)가 발생하면(기각역) 귀무가설을 기각합니다. 귀무가설 \(H_0\) 하에서는 \[ \Pr\left[t\text{-stat}<-t_{n-p}\left(1-\frac{\alpha}{2}\right)\right]=\Pr\left[t\text{-stat}> t_{n-p}\left(1-\frac{\alpha}{2}\right) \right]= \frac{\alpha}{2}. \] 가 성립합니다. 기각역 개념 외에도, 앞서 언급한 양측 검정에 대해 \(2\Pr(T>|t\text{-stat}|)\)로 정의되는 \(p\)-값을 바탕으로 검정을 기각할 수도 있으며, 여기서 확률변수는 \(T\sim T_{n-p}\)입니다. \(p\)-값이 \(\alpha\)보다 작거나 같으면 귀무가설을 기각합니다. 주어진 표본에 대해 \(p\)-값은 귀무가설이 기각되는 가장 작은 유의수준으로 정의됩니다.

마찬가지로 귀무가설 \(H_0:\theta\leq\theta_0\)(또는 \(H_0:\theta\geq\theta_0\))에 대한 단측 검정을 구성할 수 있습니다. 같은 검정통계량을 사용하여 \(t\text{-stat}> t_{n-p}\left(1-{\alpha}\right)\)일 때(\(H_0:\theta\geq\theta_0\)에 대한 검정이라면 \(t\text{-stat}<- t_{n-p}\left(1-{\alpha}\right)\)일 때) 귀무가설을 기각합니다. 이에 대응하는 \(p\)-값은 \(\Pr(T>|t\text{-stat}|)\)(\(H_0:\theta\geq\theta_0\)에 대한 검정이라면 \(\Pr(T<|t\text{-stat}|)\))로 정의됩니다. 정규 평균에 대한 검정의 경우를 제외하면 이 검정은 소표본에서 타당하지 않다는 점에 유의하십시오.

정규 평균에 대한 일표본 \(t\) 검정. \(H_0:\mu=\mu_0\), \(H_0:\mu\leq\mu_0\) 또는 \(H_0:\mu\geq\mu_0\) 형태의 정규 평균에 대한 검정에서는 검정통계량을 \[ t\text{-stat}=\frac{\bar{X}-\mu_0}{{\hat{\sigma}}/{\sqrt{n}}}, \] 로 정의할 수 있으며, 코크란 정리에 의해 이 통계량은 정확한 표본분포 \(t\text{-stat}\sim T_{n-1}\)를 가집니다. 여기서 \(T_{n-1}\)는 자유도가 \(n-1\)인 스튜던트 \(t\) 분포를 나타냅니다. 코크란 정리에 따르면 이 검정은 소표본과 대표본 모두에서 타당합니다.

위스콘신 재산 기금 예제 보기 - 계속

예제 – 위스콘신 재산 기금. 수치적 안정성과 회귀 응용으로의 확장을 위해, 통계 패키지는 흔히 변환된 형태의 모수를 사용합니다. 표 17.2는 R 패키지 VGAM(해당 함수)을 바탕으로 한 추정값을 제시합니다. 다른 분포족의 mle에 대한 자세한 내용은 부록 장 19에 나와 있습니다.

표 17.2: Wisconsin Property Fund Parameter Estimates
Parameter Estimate Standard Error \(t\)-stat
Gamma 10.190 0.050 203.831
-1.236 0.030 -41.180
Lognormal 7.804 0.045 172.089
0.520 0.019 27.303
Pareto 7.733 0.093 82.853
-0.001 0.054 -0.016
GB2 2.831 1.000 2.832
1.203 0.292 4.120
6.329 0.390 16.220
1.295 0.219 5.910

17.4.3 가능도비 검정

앞의 소절에서는 mle의 성질을 바탕으로 단일 모수에 대한 스튜던트 \(t\) 검정을 소개했습니다. 이 절에서는 가능도비 검정(LRT)이라고 하는 또 다른 검정을 정의합니다. LRT는 같은 통계 모형의 여러 모수를 검정하는 데 사용할 수 있습니다.

가능도함수 \(L(\theta|\mathbf{x})\)와 \(\Theta_0 \subset \Theta\)가 주어졌을 때, \(H_a:\theta\notin\Theta_0\)에 대하여 \(H_0:\theta\in\Theta_0\)를 검정하기 위한 가능도비 검정통계량은 \[ L=\frac{\sup_{\theta\in\Theta_0}L(\theta|\mathbf{x})}{\sup_{\theta\in\Theta}L(\theta|\mathbf{x})}, \] 로 주어지고, \(H_a:\theta\neq\theta_0\)에 대하여 \(H_0:\theta=\theta_0\)를 검정하기 위한 검정통계량은 \[ L=\frac{L(\theta_0|\mathbf{x})}{\sup_{\theta\in\Theta}L(\theta|\mathbf{x})}. \] 입니다. LRT는 \(L < c\)일 때 귀무가설을 기각하며, 그 임계값은 유의수준 \(\alpha\), 표본 크기 \(n\), 그리고 \(\theta\)에 포함된 모수의 개수에 따라 달라집니다. 네이만–피어슨 보조정리에 따르면, LRT는 \(H_a:\theta=\theta_a\)에 대해 \(H_0:\theta=\theta_0\)을 검정하는 균일 최강력 검정입니다. 즉, 주어진 \(\alpha\)와 주어진 대립값 \(\theta_a\)에 대해 가장 큰 검정력 \(\beta\)를 제공합니다.

윌크스 정리에 따르면, 표본 크기가 무한대로 커지고 귀무 모형이 대립 모형에 내포될 때, 가능도비 검정통계량 \(-2\log(L)\)는 모수 공간 \(\Theta\)와 \(\Theta_0\)의 차원의 차이를 자유도로 하는 카이제곱 분포로 분포수렴합니다. 즉, 귀무 모형이 제한된 표본 공간을 갖는 대립 모형의 특수한 경우일 때, \(c\)를 카이제곱 분포의 \(100\times(1-\alpha)\) 백분위수인 \(\chi^2_{p_1 - p_2}(1-\alpha)\)로 근사할 수 있으며, 여기서 \(p_1-p_2\)는 자유도이고 \(p_1\)과 \(p_2\)는 각각 대립 모형과 귀무 모형의 모수 개수입니다. LRT 역시 대표본 검정이므로 소표본에서는 타당하지 않다는 점에 유의하십시오.

17.4.4 정보 기준

실제 응용에서 LRT는 두 내포 모형을 비교하는 데 흔히 사용되어 왔습니다. 그러나 모형 선택 도구로서 LRT 접근법에는 두 가지 큰 단점이 있습니다. 1) 일반적으로 귀무 모형이 대립 모형에 내포되어 있어야 합니다. 2) LRT로 선택된 모형은 표본 내 과적합을 일으키는 경향이 있어, 표본 외 예측 성능이 떨어집니다. 이러한 문제를 극복하기 위해, 모형의 복잡도를 고려하면서 비내포 모형에도 적용할 수 있는 정보 기준 기반의 모형 선택이 모형 선택에 더 널리 사용됩니다. 여기서는 가장 널리 사용되는 두 가지 기준인 아카이케 정보 기준과 베이즈 정보 기준을 소개합니다.

구체적으로, 아카이케 정보 기준(\(AIC\))은 \[ AIC = -2\log L(\hat{\boldsymbol \theta}) + 2p, \] 로 정의되며, 여기서 \(\hat{\boldsymbol \theta}\)은 \({\boldsymbol \theta}\)의 mle를 나타내고 \(p\)는 모형의 모수 개수입니다. 추가된 항 \(2 p\)는 모형의 복잡도에 대한 벌점을 나타냅니다. 즉, 최대화된 가능도함수가 같다면 \(AIC\)는 모수가 더 적은 모형을 선호합니다. \(AIC\)는 표본 크기 \(n\)의 영향을 고려하지 않는다는 점에 유의합니다.

그 대신 표본 크기를 고려하는 베이즈 정보 기준(\(BIC\))을 사용하기도 합니다. \(BIC\)는 \[ BIC = -2\log L(\hat{\boldsymbol \theta}) + p\,\log(n). \] 로 정의됩니다. \(BIC\)는 일반적으로 모수 개수에 더 큰 가중치를 둔다는 것을 알 수 있습니다. 최대화된 가능도함수가 같다면 \(BIC\)는 \(AIC\)보다 더 간결한 모형을 제시합니다.

예제 – 위스콘신 재산 기금. \(AIC\)와 \(BIC\) 통계량 모두 GB2가 가장 잘 적합하는 모형이고 감마가 가장 나쁜 모형임을 보여 줍니다.

분포 A IC B IC
감마 28,305.2 28,315.6 로그정규 26,837.7 26,848.2 파레토 26,813.3 26,823.7 GB2 26,768.1 26,789.0

그림 17.2에서,

  • 검은색은 실제 (평활화된) 로그 청구액을 나타냅니다
  • 적합된 GB2인 초록색이 가장 잘 근사합니다
  • 파레토(보라색)와 로그정규(하늘색)도 꽤 좋습니다
  • 가장 나쁜 것은 지수분포(빨간색)와 감마분포(진한 파란색)입니다
적합된 청구 분포

그림 17.2: 적합된 청구 분포 

Sample size:  6258
R 코드 보기

기여자

  • Northern Illinois University의 Lei (Larry) Hua와 위스콘신 대학교 매디슨의 Edward (Jed) Frees가 이 장 초판의 주 저자입니다. 이 장에 대한 의견이나 개선 제안은 또는 이메일을 보내 주십시오.