14.2 선형 회귀분석

최소제곱법과 잔차

상관계수를 계산하고 상관이 유의하다는 판단이 내려지면, 일반적으로 그다음에 회귀 모형을 개발합니다. 이 논의에서는 두 변수 사이의 관계를 직선으로 모형화하는 선형 회귀에 초점을 맞춥니다. 직선 모형을 만들고 나면, 이 모형을 사용하여 독립변수의 특정 값에 대한 종속변수의 값을 예측할 수 있습니다.

대수학에서 직선의 방정식은 다음과 같이 주어진다는 것을 떠올려 보십시오.

여기서 m은 직선의 기울기이고 b는 직선의 y절편입니다.

기울기는 직선이 얼마나 가파른지를 나타내며, y절편은 그래프가 y축과 교차하는, 즉 y축을 가로지르는 y축 위의 점입니다.

선형 회귀분석에서는 직선의 방정식을 다음 모형을 사용하여 조금 다른 방식으로 씁니다.

이 형식에서 b는 직선의 기울기이고, a는 y절편입니다. 기호 $\hat{y}$는 y-햇이라고 부르며, 독립변수 x의 특정 값에 대한 종속변수 y의 예측값을 나타내는 데 사용됩니다.

직선이 왼쪽에서 오른쪽으로 올라가면 기울기는 양수이고, 직선이 왼쪽에서 오른쪽으로 내려가면 기울기는 음수입니다. 그림 14.3를 참조하십시오.

대수학에서 $y=mx+b$를 사용하여 직선의 방정식을 구할 때는 방정식을 구하는 데 두 개의 (x, y) 점이 필요했습니다. 그러나 회귀분석에서는 데이터 집합에 있는 모든 (x, y) 점을 활용하여 선형 회귀 모형을 개발합니다.

모든 회귀분석의 첫 단계는 산점도를 그리는 것입니다. 그다음 상관계수 r을 계산하고, 이 값이 유의한지 확인하십시오. 점들이 선형 관계를 보인다고 생각되면, 산점도 위에 직선을 그리고자 합니다. 이 직선은 선형 회귀라는 과정을 통해 계산할 수 있습니다. 그러나 회귀선은 한 변수가 다른 변수를 설명하거나 예측하는 데 도움이 되는 경우에만 계산합니다. x가 독립변수이고 y가 종속변수라면, 회귀선을 사용하여 주어진 x 값에 대한 y를 예측할 수 있습니다.

회귀방정식의 예로, 어느 포춘 500 기업의 월간 광고비 지출액과 월간 매출액 사이에 상관관계가 있다고 가정합시다. 일정 기간 동안 (x, y) 데이터를 수집한 후, 이 기업은 회귀방정식이 다음과 같은 형태임을 확인합니다.

여기서 x는 월간 광고비 지출액(단위: 천 달러)을 나타내고 $\hat{y}$는 기업의 월간 매출액(단위: 천 달러)을 나타냅니다.

(x, y) 데이터의 산점도는 그림 14.4에 나와 있습니다.

이 포춘 500대 기업은 경영진이 다음 달 광고에 150,000달러를 지출하기로 결정할 경우의 월 매출을 예측하고자 합니다. 월 매출의 추정값을 구하려면 회귀방정식에서 $x=150$로 두고 이에 대응하는 $\hat{y}$의 값을 계산합니다.

이 y 예측값은 광고비 지출이 150,000달러일 때 예상 매출이 18,646,700달러임을 나타냅니다.

과거 데이터에는 회사가 실제로 광고에 150,000달러를 지출한 달이 있었을 수 있으며, 따라서 회사는 해당 월 매출의 실제 결과를 가지고 있을 수 있다는 점에 유의하십시오. 이 실제 금액, 즉 관측된 금액을 선형 회귀 모형의 예측값과 비교하여 잔차를 계산할 수 있습니다.

잔차는 관측된 y값과 선형 회귀방정식으로부터 얻은 예측 y값 사이의 차이입니다. 예를 들어, 이전 어느 달에 광고비 지출 150,000달러에 대한 실제 월 매출이 19,200,000달러였고, 따라서 $y=19,200$라고 가정합시다. 이 데이터 점의 잔차는 다음과 같이 계산할 수 있습니다:

잔차는 양수, 음수 또는 0일 수 있다는 점에 유의하십시오. 관측된 y-값이 예측 y-값과 정확히 일치하면 잔차는 0이 됩니다. 관측된 y-값이 예측 y-값보다 크면 잔차는 양수가 됩니다. 관측된 y-값이 예측 y-값보다 작으면 잔차는 음수가 됩니다.

산점도의 점들에 가장 잘 맞는 선형 회귀선을 구할 때, 수학적 분석을 통해 잔차 제곱의 합이 최소가 되는 선형 방정식을 도출합니다. 이 분석을 최소제곱법이라고 합니다. 그 결과, 이 분석은 y의 예측값과 관측값 사이의 차이를 최소화한다는 의미에서 산점도의 점들에 "가장 잘 맞는" 선형 방정식을 도출합니다.

회귀분석의 목표는 다음 회귀방정식에서 계수 a와 b를 결정하는 것입니다.

(x, y) 데이터를 수집한 후에는 다음 공식을 사용하여 기울기(b)와 y절편(a)을 계산할 수 있습니다:

여기서 n은 데이터 쌍의 개수를 나타내고, $\sum x$는 x값의 합을 나타냅니다.

y절편 공식에는 기울기 결과(b)가 필요하므로, 기울기를 먼저 계산하고 y절편을 그다음에 계산해야 한다는 점에 유의하십시오.

y를 예측할 때는 항상 산점도를 먼저 그려 보는 것이 중요합니다. 산점도에서 변수 사이에 선형 관계가 나타난다면, 표본 데이터의 x값 정의역 안에 있는 x가 주어졌을 때 최적적합선을 사용하여 y, 값을 예측하는 것은 합리적이지만, x값이 그 정의역 밖에 있는 경우에는 반드시 그렇지는 않습니다.

참고: 컴퓨터 스프레드시트, 통계 소프트웨어, 그리고 많은 계산기는 최적적합선을 빠르게 계산하고 그래프를 그릴 수 있습니다. 손으로 계산하면 번거로운 경우가 많습니다.

선형 회귀의 가정

상관계수의 유의성을 검정하려면 데이터에 관한 특정 가정이 충족되어야 합니다. 이 검정의 전제는 데이터가 더 큰 모집단에서 추출한 관측점들의 표본이라는 것입니다. 모집단 전체를 조사하는 것은 불가능하거나 현실적이지 않으므로 모집단 전체를 조사하지는 않았습니다. 우리는 표본 데이터에서 보이는 x와 y 사이의 선형 관계가 모집단에서도 x와 y 사이에 선형 관계가 있다고 결론 내릴 만큼 충분히 강력한 증거가 되는지에 대한 결론을 내리기 위해 표본을 조사합니다.

표본 데이터로 계산한 회귀선 방정식은 해당 표본에 대한 최적적합선을 제공합니다. 우리는 이 표본의 최적적합선을 모집단의 최적적합선(그림 14.5)에 대한 추정치로 사용하고자 합니다. 산점도를 살펴보고 상관계수의 유의성을 검정하면 이렇게 하는 것이 적절한지 판단하는 데 도움이 됩니다.

유의성 검정의 바탕이 되는 가정은 다음과 같습니다:

1. 모집단에는 x의 다양한 값에 대해 y의 평균값을 모형화하는 선형 관계가 존재합니다. 다시 말해, 각각의 특정 값에 대한 y의 기댓값은 모집단에서 하나의 직선 위에 놓입니다. (우리는 모집단에 대한 직선의 방정식을 알지 못합니다. 표본으로부터 구한 회귀선이 모집단에서의 이 직선에 대한 최선의 추정치입니다.)
2. 임의의 특정 x값에 대한 y값은 직선을 중심으로 정규분포를 따릅니다. 이는 직선에서 멀리 흩어져 있는 y값보다 직선 가까이에 흩어져 있는 y값이 더 많다는 것을 의미합니다. 가정 (1)은 이러한 정규분포의 중심이 직선 위에 있다는 것, 즉 y값의 이러한 정규분포의 평균이 직선 위에 놓인다는 것을 의미합니다.
3. 직선을 중심으로 한 모집단 y값의 표준편차는 x의 각 값에 대해 동일합니다. 다시 말해, y값의 이러한 정규분포는 각각 직선을 중심으로 동일한 모양과 퍼짐을 가집니다.
4. 잔차 오차는 서로 독립적입니다(패턴이 없습니다).
5. 데이터는 잘 설계된 무작위 표본이나 무작위 실험에서 생성됩니다.