제19장 부록 C: 최대가능도 이론

장 미리보기. 부록 17장에서는 모수적 분포족으로부터 모수를 추정하는 것과 관련된 최대가능도 이론을 소개했습니다. 이 부록에서는 보다 구체적인 예제를 제시하고 일부 개념을 확장합니다. 19.1절에서는 가능도함수의 정의를 복습하고 그 성질을 소개합니다. 19.2절에서는 최대가능도 추정량을 복습하고, 그 대표본 성질을 모형에 모수가 여러 개 있는 경우로 확장합니다. 19.3절에서는 최대가능도 추정량에 기반한 통계적 추론을 복습하며, 모수가 여러 개인 경우에 대한 구체적인 예제를 다룹니다.

19.1 가능도함수

이 절에서는 다음을 배웁니다.

가능도함수와 로그가능도함수의 정의
가능도함수의 성질

부록 17장에서 살펴본 바와 같이, 가능도함수는 관측된 데이터가 주어졌을 때 모수의 함수입니다. 여기서는 가능도함수의 개념을 복습하고, 최대가능도 추론의 기초가 되는 그 성질을 소개합니다.

19.1.1 가능도함수와 로그가능도함수

여기서는 부록 17장에서 다룬 가능도함수와 로그가능도함수를 간략히 복습합니다. \(f(\cdot|\boldsymbol\theta)\)를 \(X\)의 확률함수라고 합시다. 이는 \(X\)가 이산형이면 확률질량함수(pmf)이고, 연속형이면 확률밀도함수(pdf)입니다. 가능도는 데이터(\(\mathbf{x}\))가 주어졌을 때 모수(\(\boldsymbol \theta\))의 함수입니다. 따라서 가능도는 모수를 고정한 데이터의 함수가 아니라, 데이터를 고정한 모수의 함수입니다. 데이터 벡터 \(\mathbf{x}\)는 대개 부록 17장에서 정의한 확률표본의 실현값입니다.

크기가 \(n\)인 실현된 확률표본 \(\mathbf{x}=(x_1,x_2,\cdots,x_n)\)가 주어졌을 때, 가능도함수는 \[ L(\boldsymbol{\theta}|\mathbf{x})=f(\mathbf{x}|\boldsymbol{\theta})=\prod_{i=1}^nf(x_i|\boldsymbol{\theta}), \] 로 정의되고, 이에 대응하는 로그가능도함수는 \[ l(\boldsymbol{\theta}|\mathbf{x})=\log L(\boldsymbol{\theta}|\mathbf{x})=\sum_{i=1}^n\log f(x_i|\boldsymbol{\theta}), \] 로 주어집니다. 여기서 \(f(\mathbf{x}|\boldsymbol{\theta})\)는 \(\mathbf{x}\)의 결합확률함수를 나타냅니다. 로그가능도함수는 다루기 쉬운 가법 구조를 제공합니다.

부록 17장에서는 정규분포를 사용하여 가능도함수와 로그가능도함수의 개념을 설명했습니다. 여기서는 모집단 분포가 파레토 분포족에 속할 때 가능도함수와 이에 대응하는 로그가능도함수를 유도합니다.

예제 – 파레토 분포. \(X_1, \ldots, X_n\)가 모수가 \(\theta = \alpha\)이고 누적분포함수가 \[ F(x) = \Pr(X_i\leq x)=1- \left(\frac{500}{x}\right)^{\alpha}, ~~~~ x>500, \] 로 주어지는 단일모수 파레토 분포에서 추출한 확률표본이라고 가정합시다.

이에 대응하는 확률밀도함수는 \(f(x) = 500^{\alpha} \alpha x^{-\alpha-1}\)이고, 로그가능도함수는 다음과 같이 유도할 수 있습니다. \[ l(\boldsymbol \alpha|\mathbf{x}) = \sum_{i=1}^n \log f(x_i;\alpha) = n \alpha \log 500 +n \log \alpha -(\alpha+1) \sum_{i=1}^n \log x_i . \]

19.1.2 가능도함수의 성질

수리통계학에서 모수에 대한 로그가능도함수의 1계 도함수 \(u(\boldsymbol\theta)=\partial l(\boldsymbol \theta|\mathbf{x})/\partial \boldsymbol \theta\)를 점수함수라고 하며, \(\boldsymbol\theta\)에 모수가 여러 개 있을 때는 점수벡터라고 합니다. 점수 함수 또는 점수 벡터는 다음과 같이 쓸 수 있습니다. \[ u(\boldsymbol\theta)=\frac{ \partial}{\partial \boldsymbol \theta} l(\boldsymbol \theta|\mathbf{x}) =\frac{ \partial}{\partial \boldsymbol \theta} \log \prod_{i=1}^n f(x_i;\boldsymbol \theta ) =\sum_{i=1}^n \frac{ \partial}{\partial \boldsymbol \theta} \log f(x_i;\boldsymbol \theta ), \] 여기서 \(\boldsymbol\theta=(\theta_1,\cdots,\theta_p)\)일 때 \(u(\boldsymbol\theta)=(u_1(\boldsymbol\theta),u_2(\boldsymbol\theta),\cdots,u_p(\boldsymbol\theta))\)이며, 그 원소 \(u_k(\boldsymbol\theta)=\partial l(\boldsymbol \theta|\mathbf{x})/\partial \theta_k\)는 \(\theta_k\)에 대한 편도함수입니다(\(k=1,2,\cdots,p\)).

가능도함수는 다음과 같은 성질을 가집니다.

가능도함수의 기본적인 성질 중 하나는 \(\mathbf{x}\)에 대한 점수함수의 기댓값이 0이라는 것입니다. 즉, \[ \mathrm{E}[u(\boldsymbol\theta)]=\mathrm{E} \left[ \frac{ \partial}{\partial \boldsymbol \theta} l(\boldsymbol \theta|\mathbf{x}) \right] = \mathbf 0 . \] 입니다. 이를 확인해 보면 다음과 같습니다. \[ \begin{aligned} \mathrm{E} \left[ \frac{ \partial}{\partial \boldsymbol \theta} l(\boldsymbol \theta|\mathbf{x}) \right] &= \mathrm{E} \left[ \frac{\frac{\partial}{\partial \boldsymbol \theta}f(\mathbf{x};\boldsymbol \theta)}{f(\mathbf{x};\boldsymbol \theta )} \right] = \int\frac{\partial}{\partial \boldsymbol \theta} f(\mathbf{y};\boldsymbol \theta ) d \mathbf y \\ &= \frac{\partial}{\partial \boldsymbol \theta} \int f(\mathbf{y};\boldsymbol \theta ) d \mathbf y = \frac{\partial}{\partial \boldsymbol \theta} 1 = \mathbf 0.\end{aligned} \]
로그가능도함수의 이계도함수를 \(\frac{\partial^2}{\partial \boldsymbol \theta\partial \boldsymbol \theta'} l(\boldsymbol \theta|\mathbf{x})\)로 나타냅니다. 이는 이계도함수로 이루어진 \(p\times p\) 행렬이며, 로그가능도의 헤시안이라고 합니다. 가능도함수의 또 다른 기본 성질은 헤시안 행렬의 기댓값과, 점수 벡터와 그 전치의 크로네커 곱의 기댓값을 더하면 \(\mathbf 0\)이 된다는 것입니다. 즉, \[ \mathrm{E} \left( \frac{ \partial^2 }{\partial \boldsymbol \theta\partial \boldsymbol \theta^{\prime}} l(\boldsymbol \theta|\mathbf{x}) \right) + \mathrm{E} \left( \frac{ \partial l(\boldsymbol \theta|\mathbf{x})}{\partial\boldsymbol \theta} \frac{ \partial l(\boldsymbol \theta|\mathbf{x})}{\partial\boldsymbol \theta^{\prime}}\right) = \mathbf 0. \]
피셔 정보 행렬(Fisher information matrix)을 다음과 같이 정의합니다. \[ \mathcal{I}(\boldsymbol \theta) = \mathrm{E} \left( \frac{ \partial l(\boldsymbol \theta|\mathbf{x})}{\partial \boldsymbol \theta} \frac{ \partial l(\boldsymbol \theta|\mathbf{x})}{\partial \boldsymbol \theta^{\prime}} \right) = -\mathrm{E} \left( \frac{ \partial^2}{\partial \boldsymbol \theta \partial \boldsymbol \theta^{\prime}} l(\boldsymbol \theta|\mathbf{x}) \right). \]

표본 크기 \(n\)이 무한대로 갈 때, 점수 함수(벡터)는 평균이 0이고 분산(다변량의 경우에는 공분산 행렬)이 \(\mathcal{I}(\boldsymbol \theta)\)로 주어지는 정규분포(\(\boldsymbol \theta\)가 여러 모수를 포함하는 경우에는 다변량 정규분포)로 분포수렴합니다.

19.2 최대가능도 추정량

이 절에서는 다음을 배웁니다.

특정 분포족에서 모수의 최대가능도 추정량(mle)의 정의와 유도
모수에 대한 타당한 대표본 추론을 보장하는 최대가능도 추정량의 성질
mle 기반 방법을 사용하는 이유와 주의해야 할 점

통계학에서 최대가능도 추정량은 데이터를 생성했을 가능성이 가장 높은 모수 \(\boldsymbol \theta\)의 값입니다.

19.2.1 MLE의 정의와 유도

부록 장 17에서 제시한 정의에 따라, 가능도함수를 최대화하는 \(\boldsymbol \theta\)의 값, 예컨대 \(\hat{\boldsymbol \theta}_{mle}\)를 \(\boldsymbol \theta\)의 최대가능도 추정량(mle)이라고 합니다.

로그함수 \(\log(\cdot)\)는 일대일 함수이므로, 로그가능도함수 \(l(\boldsymbol \theta|\mathbf{x})\)를 최대화하여 \(\hat{\boldsymbol{\theta}}_{mle}\)를 구할 수도 있습니다. 즉, mle는 다음과 같이 정의됩니다. \[ \hat{\boldsymbol \theta}_{mle} = {\mbox{argmax}}_{\boldsymbol{\theta}\in\Theta}~l(\boldsymbol{\theta}|\mathbf{x}). \] 가능도함수의 해석적 형태가 주어지면, 로그가능도함수를 \(\boldsymbol{\theta}\)에 대해 1계 미분하고 편도함수의 값을 0으로 놓아 mle를 구할 수 있습니다. 즉, mle는 다음 방정식의 해입니다. \[ \frac{\partial l(\hat{\boldsymbol{\theta}}|\mathbf{x})}{\partial\hat{\boldsymbol{\theta}}}=\mathbf 0. \]

예제. Course C/Exam 4. 2000년 5월, 21번. 다음 다섯 개의 관측값이 주어져 있습니다: 521, 658, 702, 819, 1217. 누적분포함수가 다음과 같은 단일모수 파레토 분포를 사용합니다. \[ F(x) = 1- \left(\frac{500}{x}\right)^{\alpha}, ~~~~ x>500 . \] 모수 \(\alpha\)의 최대가능도 추정값을 계산하십시오.

예제 풀이 보기

19.2.2 MLE의 점근적 성질

부록 장 17에서 보았듯이, MLE(MLE) 최대가능도 추정값는 특정 정칙 조건하에서 몇 가지 좋은 대표본 성질을 가집니다. 부록 장 17에서는 단일 모수에 대한 결과를 제시하였지만, 이 결과는 \(\boldsymbol{\theta}\)가 여러 모수를 포함하는 경우에도 성립합니다. 특히, \(\boldsymbol{\theta}=(\theta_1,\theta_2,\cdots,\theta_p)\)인 일반적인 경우에 다음 결과를 얻습니다.

모수 \(\boldsymbol{\theta}\)의 mle인 \(\hat{\boldsymbol{\theta}}_{mle}\)는 일치 추정량입니다. 즉, 표본 크기 \(n\)이 무한대로 갈 때 mle \(\hat{\boldsymbol{\theta}}_{mle}\)는 참값 \(\boldsymbol{\theta}\)로 확률수렴합니다.
mle는 점근적 정규성 성질을 가집니다. 이는 표본 크기가 무한대로 갈 때 추정량이 참값을 중심으로 하는 다변량 정규분포로 분포수렴한다는 의미입니다. 즉, \[\sqrt{n}(\hat{\boldsymbol{\theta}}_{mle}-\boldsymbol{\theta})\rightarrow N\left(\mathbf 0,\,\boldsymbol{V}\right),\quad \mbox{as}\quad n\rightarrow \infty,\] 이며, 여기서 \(\boldsymbol{V}\)는 추정량의 점근 분산(또는 공분산 행렬)을 나타냅니다. 따라서 표본 크기가 클 때 mle \(\hat{\boldsymbol{\theta}}_{mle}\)는 평균이 \(\boldsymbol{\theta}\)이고 공분산 행렬이 \(\boldsymbol{V}/n\)인 근사적인 정규분포를 따릅니다.
mle는 효율적입니다. 즉, 흔히 Cramer–Rao 하한이라고 부르는 가장 작은 점근 분산 \(\boldsymbol{V}\)를 가집니다. 특히 크라메르-라오 하한은 이 부록 앞부분에서 정의한 피셔 정보(행렬) \(\mathcal{I}(\boldsymbol{\theta})\)의 역행렬입니다. 따라서 \(\mathrm{Var}(\hat{\boldsymbol{\theta}}_{mle})\)는 관측된 피셔 정보를 바탕으로 추정할 수 있습니다.

위의 결과를 바탕으로, 부록 17장에서 정의한 절차에 따라 통계적 추론을 수행할 수 있습니다.

예제. Course C/Exam 4. Nov 2000, 13. 10개의 관측값으로 이루어진 표본이 모수적 분포족 \(f(x,; \theta_1, \theta_2)\)에서 나왔으며, 로그가능도함수는 \[l(\theta_1, \theta_2)= \sum_{i=1}^{10} f(x_i; \theta_1, \theta_2) = -2.5 \theta_1^2 - 3 \theta_1 \theta_2 - \theta_2^2 + 5 \theta_1 + 2 \theta_2 + k,\] 이고, 여기서 \(k\)는 상수입니다. 최대가능도 추정량 \(\hat{\theta_1}, \hat{\theta_2}\)의 추정 공분산 행렬을 구하십시오.

예제 풀이 보기

19.2.3 최대가능도 추정의 활용

최대가능도 방법은 부록 17장에서 소개한 적률법과 같은 다른 방법에 비해 많은 장점이 있습니다.

최대가능도 방법은 다양한 상황에서 적용할 수 있는 범용적인 도구입니다. 예를 들어, 중도절단 데이터와 절단 데이터에 대해 닫힌 형태의 가능도함수를 쓸 수 있습니다. 최대가능도 추정은 생존 회귀, 일반화 선형모형, 혼합 모형처럼 시간에 따라 변하는 공변량을 포함할 수 있는, 공변량이 있는 회귀 모형에도 사용할 수 있습니다.
mle의 효율성으로부터, 이 추정량은 표본 크기가 클 때 모든 불편추정량의 부류 중에서 가장 작은 분산을 가진다는 의미에서 최적, 즉 가장 좋은 추정량입니다.
mle의 점근 정규성에 관한 결과로부터 추정량의 대표본 분포를 얻을 수 있으며, 이를 통해 사용자는 추정의 변동성을 평가하고 모수에 대한 통계적 추론을 수행할 수 있습니다. 이 접근법은 모형을 여러 번 적합해야 하는 재표본추출 방법보다 계산량이 적습니다.

많은 장점에도 불구하고, mle는 일반화 선형모형처럼 닫힌 해석적 형태가 존재하지 않는 경우에는 단점이 있습니다. 이러한 경우에는 수치 최적화 방법을 사용하여 최대가능도 추정량을 반복적으로 계산합니다. 예를 들어, mle를 구하기 위해 뉴턴-랩슨 반복 알고리즘이나 그 변형을 사용할 수 있습니다. 반복 알고리즘에는 시작값이 필요합니다. 어떤 문제에서는 가까운 시작값을 선택하는 것이 매우 중요하며, 특히 가능도함수에 국소 최솟값이나 국소 최댓값이 있는 경우에 그렇습니다. 따라서 시작값이 최댓값에서 멀리 떨어져 있으면 수렴 문제가 생길 수 있습니다. 알고리즘이 전역 최댓값으로 수렴했는지 확인하려면 모수 공간 전반에 걸쳐 여러 시작값에서 출발하여 최대화된 가능도 또는 로그가능도를 비교하는 것이 중요합니다.

19.3 최대가능도 추정에 기반한 통계적 추론

이 절에서는 다음 내용을 학습합니다.

\(\boldsymbol\theta\)에 여러 개의 모수가 있는 경우 mle에 기반하여 가설검정을 수행하는 방법
\(\boldsymbol\theta\)에 여러 개의 모수가 있는 경우 가능도비 검정을 수행하는 방법

부록 17장에서는 \(\boldsymbol\theta\)에 모수가 하나만 있을 때 통계적 추론을 위한 최대가능도 기반 방법을 소개했습니다. 여기서는 그 결과를 \(\boldsymbol\theta\)에 여러 개의 모수가 있는 경우로 확장합니다.

19.3.1 가설검정

부록 장 17에서 우리는 분포나 모형의 모수에 관한 진술인 귀무가설에 대한 가설검정을 정의했습니다. 중요한 추론 유형 중 하나는 모수 추정값이 통계적으로 유의한지, 즉 모수의 값이 0인지 아닌지를 평가하는 것입니다.

앞에서 우리는 mle \(\hat{\boldsymbol{\theta}}_{mle}\)가 평균이 \(\boldsymbol \theta\)이고 분산-공분산 행렬이 \(\mathcal{I}^{-1}(\boldsymbol \theta)\)인 대표본 정규분포를 따른다는 것을 배웠습니다. 다변량 정규분포에 근거하여, \(\hat{\boldsymbol{\theta}}_{mle}\)의 \(j\)번째 원소, 예컨대 \(\hat{\theta}_{MLE,j}\)은 대표본 일변량 정규분포를 따릅니다.

표준오차(추정된 표준편차) \(se(\hat{\theta}_{MLE,j})\)를 \(\mathcal{I}^{-1}(\boldsymbol \theta)_{mle}\)의 \(j\)번째 대각 원소의 제곱근으로 정의합니다. \(\theta_j=\theta_0\)라는 귀무가설을 평가하기 위해 \(t\)-통계량 또는 \(t\)-비를 \(t(\hat{\theta}_{MLE,j})=(\hat{\theta}_{MLE,j}-\theta_0)/se(\hat{\theta}_{MLE,j})\)로 정의합니다.

귀무가설하에서 이 통계량은 자유도가 \(n-p\)인 스튜던트-\(t\) 분포를 따르며, 여기서 \(p\)는 \(\boldsymbol{\theta}\)의 차원입니다.

대부분의 보험계리 응용에서는 표본 크기 \(n\)이 크므로 \(t\)-분포는 (표준) 정규분포에 매우 가깝습니다. \(n\)이 매우 크거나 표준오차가 알려져 있는 경우에는 \(t\)-통계량을 \(z\)-통계량 또는 \(z\)-점수라고 부를 수 있습니다.

부록 장 17의 결과에 근거하여, \(t\)-통계량 \(t(\hat{\theta}_{MLE,j})\)이 (절댓값으로) 임계값을 초과하면 \(j\) 모수 \(\theta_j\)에 대한 검정이 통계적으로 유의하다고 합니다. \(\theta_j\)가 \(j\)번째 독립변수의 회귀계수라면, \(j\)번째 변수가 통계적으로 유의하다고 말합니다.

예를 들어 5% 유의수준을 사용한다면, 표본 크기가 큰 경우 정규분포 근사를 사용하여 임계값은 1.96입니다. 더 일반적으로, \(100 \alpha \%\) 유의수준을 사용하면 임계값은 자유도가 \(n-p\)인 스튜던트-\(t\) 분포의 \(100(1-\alpha/2)\%\) 분위수입니다.

가설검정에서 또 하나의 유용한 개념은 확률값(probability value)의 줄임말인 \(p\)-값입니다. 부록 장 17의 수학적 정의에 따르면, \(p\)-값은 귀무가설이 기각되는 가장 작은 유의수준으로 정의됩니다. 따라서 \(p\)-값은 독자가 귀무가설로부터의 이탈에 관한 통계적 증거의 강도를 이해할 수 있게 해 주므로, 데이터 분석가가 보고하기에 유용한 요약 통계량입니다.

19.3.2 MLE와 모형 검증

부록 장 17과 앞의 소절에서 소개한 가설검정과 구간추정 외에, 또 하나의 중요한 추론 유형은 두 가지 선택지 중에서 모형을 선택하는 것으로, 이때 한 선택지는 특정 모수가 제한된 다른 선택지의 특수한 경우입니다. 한 모형이 다른 모형에 내포된 이러한 두 모형에 대해, 우리는 부록 장 17에서 가능도비 검정(LRT)을 소개했습니다. 여기서는 두 대안 모형의 구체적인 예를 바탕으로 LRT를 수행하는 과정을 간략히 복습하겠습니다.

최대가능도 추정량 \(\hat{\boldsymbol{\theta}}_{mle}\)를 도출하는 (큰) 모형이 있다고 가정합시다. 이제 \(\boldsymbol \theta\)의 원소 중 \(p\)개가 0이라고 가정하고 나머지 집합에 대해 최대가능도 추정량을 구하며, 그 결과로 얻은 추정량을 \(\hat{\boldsymbol{\theta}}_{Reduced}\)로 표기합니다.

부록 장 17의 정의에 근거하여, 통계량 \(LRT= 2 \left( l(\hat{\boldsymbol{\theta}}_{mle}) - l(\hat{\boldsymbol{\theta}}_{Reduced}) \right)\)을 가능도비 통계량이라고 합니다. 축소 모형이 옳다는 귀무가설하에서, 가능도비는 0으로 설정된 변수의 개수인 \(d\)을 자유도로 하는 카이제곱 분포를 따릅니다.

이러한 검정을 통해 관측된 데이터가 주어졌을 때 두 모형 중 어느 쪽이 옳을 가능성이 더 높은지 판단할 수 있습니다. 통계량 \(LRT\)가 카이제곱 분포의 임계값에 비해 크면, 축소 모형을 기각하고 더 큰 모형을 채택합니다. 임계값과 정보 기준에 기반한 대안적 방법에 관한 자세한 내용은 부록 장 17에 나와 있습니다.

기여자

Northern Illinois University의 Lei (Larry) Hua와 위스콘신 대학교 매디슨의 Edward (Jed) Frees가 이 장 초판의 주 저자입니다. 이 장에 대한 의견과 개선 제안은 lhua@niu.edu 또는 jfrees@bus.wisc.edu로 이메일을 보내 주십시오.
- 이 장은 Benjamin Côté가 검토했습니다.