14.5 예측과 예측 구간

회귀 모형을 사용한 종속변수 예측

선형 회귀 모형을 생성하는 핵심 목적 중 하나는 상관관계가 유의한 경우 그 모형을 예측에 활용하는 것입니다. 선형 회귀 모형을 사용하여 예측을 생성하려면 회귀방정식에 독립변수(x)의 값을 대입하고 종속변수(y)에 대해 방정식을 풉니다.

앞의 예제에서는 Fortune 500 기업의 월 매출액과 월 광고 지출액의 관계를 나타내는 선형 회귀방정식을 구했습니다. 앞의 예제에서 회귀방정식은 다음과 같이 쓸 수 있음을 확인했습니다.

여기서 x는 광고비 지출액(단위: 천 달러)을 나타내고 y는 매출액(단위: 천 달러)을 나타냅니다.

이 Fortune 500 기업이 광고비로 $80,000를 지출할 계획인 달의 월 매출을 예측하려 한다고 가정해 봅시다. 월 매출액의 추정치를 구하려면 회귀방정식에서 $x=80$로 두고 이에 대응하는 ŷ:의 값을 계산합니다.

이 y 예측값은 광고비 지출을 $80,000로 가정할 때 예상 매출이 $14,320,700임을 나타냅니다.

• Excel에서는 =FORECAST 명령을 사용하여 이 예측값을 바로 구할 수 있습니다.

• 이 예측 명령을 사용하려면 독립변수 x의 값을 입력한 다음, y 데이터의 셀 범위와 x 데이터의 셀 범위를 다음과 같이 입력하십시오: =FORECAST(X_VALUE, Range of Y-DATA, Range of X-DATA)

• 이 Excel 명령을 사용하면 광고비 지출이 $80(단위: 천 달러)일 때 매출 예측값은 $14,320.52입니다(그림 14.9 참조). (참고: 더 정밀한 Excel 결과와 공식으로 구한 결과 사이의 차이는 중간 계산 과정에서의 반올림 때문입니다.)

y 값을 예측할 때 주의할 점이 있습니다. 일반적으로 y 값은 원래 데이터 수집 범위 안에 있는 x 값만 사용하여 예측하는 것이 권장됩니다.

예를 들어, 남자 어린이의 나이를 바탕으로 키를 예측하는 선형 모형을 개발했다고 가정해 봅시다. 우리는 $x=3$세부터 $x=10$세까지의 연령 범위에 대해 데이터를 수집했으며, 산점도가 선형 추세를 보이고 상관관계가 유의하다는 것을 확인했습니다.

$x=25$는 3세부터 10세까지였던 x 데이터의 범위를 벗어나므로, 이 모형을 사용하여 25세 남성의 키를 예측하는 것은 잘못입니다. 이를 권장하지 않는 이유는, 10세를 넘는 연령에서 데이터를 수집하여 10세를 넘는 x 값에서도 선형 패턴이 일관되게 유지됨을 확인하지 않는 한, 선형 패턴이 x 값 10세를 넘어서도 계속된다고 가정할 수 없기 때문입니다.

예측 구간 생성

추정된 회귀방정식의 중요한 가치 중 하나는 하나 이상의 독립변수 값이 변할 때 그것이 y에 미치는 영향을 예측할 수 있다는 점입니다. 이것의 가치는 분명합니다. 발생할 수 있는 영향을 추정하지 않고서는 신중한 정책을 수립할 수 없습니다. 실제로 대부분의 정책 수립을 이끄는 것은 특정한 결과에 대한 바람입니다. 회귀 모형은 이러한 정책을 수립하는 데 매우 귀중한 도구가 될 수 있으며, 실제로도 그런 역할을 해 왔습니다.

점 추정값에는 특정한 확률 수준이나 신뢰 수준이 따르지 않는다는 점을 기억하십시오. 점에는 그 위로 측정할 면적이 생길 “폭”이 없기 때문입니다. 사실 독립변수(또는 독립변수들)의 변화가 종속변수에 미치는 영향을 추정하는 문제에는 서로 다른 두 가지 접근법이 있습니다. 첫 번째 접근법은 x 값의 특정한 변화로부터 y의 기대 평균값을 측정하고자 합니다.

특정한 x 값이 y에 미치는 영향을 추정하는 두 번째 접근법은 그 사건을 단 한 번의 실험으로 취급합니다. 즉 x를 선택하여 계수를 곱하면 y의 추정값 하나가 나옵니다. 이 접근법은 실험이 단 한 번뿐인 것처럼 다루므로, 모수 추정값에 존재하는 분산이 기댓값 접근법에 따르는 분산보다 큽니다.

결론적으로 독립변수 값이 종속변수에 미치는 영향을 예측하는 방법은 서로 다른 두 가지이며, 따라서 구간도 서로 다른 두 가지가 있습니다. 두 가지 모두 제기된 질문에 대한 올바른 답이지만, 질문 자체가 서로 다릅니다. 혼동을 피하기 위해, 추정된 y의 평균의 기댓값을 묻는 첫 번째 경우를 신뢰구간이라고 합니다. 두 번째 경우, 즉 x,의 한 값을 사용한 단일 실험이 종속변수 y에 미치는 영향의 추정치를 구하는 경우를 예측 구간이라고 합니다.

$x=x_p$에 대한 개별 y의 예측 구간은 다음과 같이 계산할 수 있습니다.

여기서 s_e는 오차항의 표준편차이고, s_x는 x변수의 표준편차이며, $t_{\raisebox{1ex}{$\alpha $}\!\left/ \!\raisebox{-1ex}{$2$}\right.}$는 $1 – \alpha$ 신뢰 수준에서 t분포의 임곗값입니다.

t분포의 표 값은 Engineering Statistics Handbook 같은 온라인 참고 자료에서 확인할 수 있습니다. 예측 구간을 구하는 수학적 계산은 복잡하므로, 보통 소프트웨어를 사용하여 계산을 수행합니다. 위의 공식을 Excel에서 구현하면 월 광고비로 $x=\$\mathrm{80,000}$를 지출할 때의 월 매출액 예측에 대한 95% 예측 구간을 구할 수 있습니다. 그림 14.10은 Excel에서 상세한 계산을 거쳐 월 매출액에 대한 95% 예측 구간 (13,270.95, 15,370.09)을 구하는 과정을 보여 줍니다. (이 명령들은 그림 14.9에 나타낸 Excel 데이터 표를 참조합니다.)

이 예측 구간은 다음과 같이 해석할 수 있습니다. 월 광고 지출액이 $80,000일 때, 이에 대응하는 월 매출액이 $13,270.95에서 $15,370.09 사이에 있을 것이라고 95% 신뢰할 수 있습니다.

여러 컴퓨터 회귀 소프트웨어 패키지는 회귀 함수 안에 프로그램을 제공하여, x변수에 여러 값을 선택했을 때 추정되는 y의 예측값에 대한 질의에 답을 제공합니다. 예를 들어 통계 프로그램 R은 이러한 예측 구간을 직접 제공합니다. 표준편차 크기의 차이에 따라 추정되는 구간의 크기가 달라지므로, 컴퓨터 패키지에서 정확히 어떤 구간을 검정하고 있는지 아는 것이 중요합니다. 이는 그림 14.11에 나와 있습니다.

그림 14.11는 표준편차가 추정 구간의 크기에 만드는 차이를 시각적으로 보여 줍니다. 종속변수의 기댓값을 측정하는 신뢰 구간은 같은 신뢰 수준에서 예측 구간보다 좁습니다. 기댓값 방법은 다른 방법처럼 실험을 단 한 번만 하는 것이 아니라 여러 번 수행한다고 가정합니다. 여기서의 논리는 중심극한정리를 사용하여 표본 크기와 신뢰구간의 관계를 도출할 때 논의한 것과 동일하지는 않지만 비슷합니다. 그때는 실험 횟수가 늘어날수록 분포가 좁아졌고, 신뢰구간이 평균의 기댓값 주위로 더 촘촘해졌습니다.

또한 예측에 어떤 접근법을 사용하든, 점 추정값 주위의 구간은 방정식을 추정하는 데 사용한 데이터의 범위에 크게 좌우된다는 점에도 유의해야 합니다. 모든 회귀방정식은 평균점, 즉 y의 평균값과 방정식에 포함된 모든 독립변수의 평균값으로 이루어진 점을 지난다는 것을 기억하십시오. x 값이 x의 평균값과 y의 평균값에 해당하는 (x, y) 점에서 점점 멀어질수록, 점 추정값 주위에 추정되는 구간의 폭이 넓어집니다. 방정식을 추정하는 데 사용한 데이터의 범위를 벗어난 x 값을 선택하면, 쓸모가 거의 없고 구간이 매우 크며 오류 위험이 있는 추정값을 만들어 낼 위험이 훨씬 더 커집니다. 그림 14.12는 이 관계를 보여 줍니다.

그림 14.12는 예측 구간이든 신뢰 구간이든 추정된 구간의 품질에 대한 우려를 보여 줍니다. 그래프에서 y를 예측하기 위해 선택한 값인 $X_p$가 데이터의 중심인 $\overline{X}$로부터 멀어질수록, 신뢰 수준을 일정하게 유지하더라도 구간의 폭이 넓어지는 것을 볼 수 있습니다. 이는 데이터가 가장 많이 모여 있는 범위를 벗어나 예측하려 할수록 모든 추정치의 정밀도가 떨어지며, 데이터의 범위를 벗어난 예측에서는 정밀도가 확실히 급격하게 저하된다는 것을 보여 줍니다. 안타깝게도 대부분의 예측이 필요한 곳이 바로 이 영역입니다. 이러한 예측을 할 수는 있지만, 신뢰 구간의 폭이 너무 넓어져 예측이 쓸모없어질 수도 있습니다.