5.11 변수 사이의 평균적 관계 추정

5.11 변수 사이의 평균적 관계 추정

한 값이 달라질 때 다른 값이 평균적으로 어떻게 달라지는지를 직선으로 요약하고, 실제 값과 직선 사이에 남은 차이를 읽는 것이 이 페이지의 목표다.

학생 네 명의 하루 공부 시간과 시험 점수를 관찰했다고 하자.

공부 시간과 시험 점수의 가상 관측 자료

학생	공부 시간	시험 점수
A	0시간	44점
B	1시간	46점
C	2시간	56점
D	3시간	74점

학생 한 명에게서 얻은 공부 시간과 시험 점수 한 쌍이 Observation(관측값) 하나다. 관계를 설명할 때 기준으로 삼는 공부 시간은 Explanatory variable(설명변수) $X$, 그 값에 따라 달라지는 모습을 살펴볼 시험 점수는 Response variable(반응변수) $Y$라고 부른다.

Scatter plot(산점도)은 관측값 한 쌍을 점 하나로 그린 그림이다. 가로축에는 공부 시간, 세로축에는 시험 점수를 놓으면 오른쪽으로 갈수록 점들이 대체로 높아지는 모습을 볼 수 있다.

같은 공부 시간을 가진 학생을 아주 많이 관찰했을 때 그 학생들의 평균 점수를 생각해 보자. 이렇게 $X$가 특정 값일 때의 평균적인 $Y$를 Conditional mean(조건부 평균)이라고 한다. Simple linear regression(단순 선형회귀)은 이 평균적인 관계를 하나의 직선으로 단순하게 추정하는 방법이다.

관측점 회귀선적합값잔차

1. 01관측점을 놓는다점 하나가 학생 한 명의 공부 시간과 시험 점수를 함께 나타냅니다.
2. 02직선을 그린다점들이 대체로 향하는 평균적인 방향을 직선 하나로 요약합니다.
3. 03적합값을 읽는다각 공부 시간에서 직선의 높이를 읽으면 적합값을 얻습니다.
4. 04남은 거리를 본다실제 점수에서 적합값을 뺀 수직 차이가 잔차입니다.

직선의 두 숫자를 읽는다

회귀선은 Intercept(절편)와 Slope(기울기)라는 두 숫자로 표현한다. 직선이 각 공부 시간에서 가리키는 점수는 Fitted value(적합값)이며 $\widehat{y}_i$로 나타낸다.

$$\widehat{y}_i = b_0+b_1x_i$$

$\widehat{y}_i$

$i$번째 공부 시간에서 회귀선이 나타내는 Fitted value(적합값)

단위: 점

$x_i$

$i$번째 학생의 Explanatory variable(설명변수)인 공부 시간

단위: 시간

$b_0$

공부 시간이 0시간일 때 직선이 나타내는 Intercept(절편)

단위: 점

$b_1$

공부 시간이 1시간 늘 때 직선이 나타내는 평균 점수 변화인 Slope(기울기)

단위: 점/시간

이 자료를 요약하는 직선이 $\widehat{y}=40+10x$라고 하자. 절편 40점은 공부 시간이 0시간일 때 직선이 나타내는 점수다. 기울기 10점/시간은 공부 시간이 1시간 길어질 때 평균 점수가 10점 높아지는 관계를 뜻한다.

절편은 언제나 현실적인 의미가 있는 값은 아니다. 예를 들어 자료에 공부 시간이 5~10시간인 학생만 있다면 관찰하지 않은 0시간의 점수를 절편만으로 단정해서는 안 된다.

실제 점과 직선 사이에는 잔차가 남는다

Residual(잔차)은 실제로 관측한 점수에서 같은 공부 시간의 적합값을 뺀 수직 차이다.

$$e_i = y_i-\widehat{y}_i$$

$e_i$

$i$번째 학생의 Residual(잔차)

단위: 점

$y_i$

$i$번째 학생에게서 실제로 관측한 Response variable(반응변수) 점수

단위: 점

$\widehat{y}_i$

$i$번째 공부 시간에서 회귀선이 나타내는 Fitted value(적합값)

단위: 점

잔차가 양수이면 실제 점이 직선 위에 있고, 음수이면 직선 아래에 있다. 잔차의 절댓값이 클수록 실제 점과 직선의 수직 거리가 멀다.

네 학생의 적합값은 [40, 50, 60, 70]점이고 잔차는 [+4, -4, -4, +4]점이다. 실제 점과 직선 사이의 수직 거리가 그림에서도 분명하게 보인다.

직선 $\widehat{y}=40+10x$의 적합값과 잔차

학생	공부 시간 $x_i$	관측 점수 $y_i$	적합값 $\widehat{y}_i$	잔차 $e_i$
A	0시간	44점	40점	+4점
B	1시간	46점	50점	-4점
C	2시간	56점	60점	-4점
D	3시간	74점	70점	+4점

예를 들어 D 학생의 적합값은 70점이고 실제 점수는 74점이므로 잔차는 $74\text{점}-70\text{점}=+4\text{점}$이다. 직선은 자료의 평균적인 방향을 요약하지만 모든 점을 정확히 지나갈 필요는 없다.

3시간 공부한 D 학생의 점수

74점

관측점 회귀선적합값잔차

현재 회귀식

ŷ = 40.00 + 10.00x

기울기

10.00점/시간

절편

40.00점

D 학생 적합값

70.00점

D 학생 잔차

4.00점

D 학생의 점수를 움직이면 한 점뿐 아니라 전체 점을 요약하는 직선과 모든 잔차가 함께 달라집니다.

학생별 관측값, 적합값과 잔차

학생	공부 시간	관측 점수	적합값	잔차
A	0시간	44점	40.00점	4.00점
B	1시간	46점	50.00점	-4.00점
C	2시간	56점	60.00점	-4.00점
D	3시간	74점	70.00점	4.00점

함께 움직인다는 사실만으로 원인을 알 수는 없다

공부 시간과 점수가 함께 높아졌다고 해도 이 관계만으로 Causal effect(인과효과)를 증명할 수는 없다. 수면 시간이나 이전 학습 수준처럼 두 값에 함께 영향을 주는 다른 조건이 있을 수 있고, 높은 점수를 기대하는 학생이 공부 시간을 더 정했을 수도 있다.

관찰한 공부 시간이 0~3시간이라면 8시간의 점수를 직선으로 계산하는 것은 Extrapolation(외삽)이다. 관찰 범위 밖에서도 같은 관계가 이어진다는 근거가 없으므로 계산값을 사실처럼 받아들이지 않는다. 점들이 휘어진 모양이라면 하나의 직선도 관계의 중요한 부분을 놓칠 수 있다.

자주 생기는 오해

• 기울기가 양수라는 사실은 X가 Y를 일으킨다는 증명이 아니다.
• 적합값은 실제로 관측한 점수와 같아야 하는 값이 아니다.
• 절편은 X=0이 현실적이고 해석 가능한 경우에만 직접적인 의미가 있다.
• 관찰 범위 안의 직선 관계가 범위 밖에서도 그대로 이어진다고 보장할 수 없다.

이해 점검

이 예시에서 설명변수와 반응변수는 무엇인가?

기준으로 삼는 공부 시간이 Explanatory variable(설명변수)이고, 그에 따라 달라지는 모습을 살펴보는 시험 점수가 Response variable(반응변수)다.

기울기 10점/시간은 무엇을 뜻하는가?

공부 시간이 1시간 늘 때 회귀선이 나타내는 평균 점수가 10점 높아지는 관계를 뜻한다. 인과효과를 증명하는 값은 아니다.

공부 시간이 2시간인 학생의 적합값과 잔차는 얼마인가?

직선이 나타내는 적합값은 60점이고 실제 점수는 56점이므로 잔차는 $56\text{점}-60\text{점}=-4\text{점}$이다.

3시간까지 관찰한 자료로 8시간의 점수를 단정하면 안 되는 이유는 무엇인가?

관찰 범위 밖에서도 같은 직선 관계가 유지된다는 보장이 없는 Extrapolation(외삽)이기 때문이다.

완료 기준

설명변수와 반응변수를 정하고, 회귀선의 절편·기울기·적합값을 해석하며, 실제 값에서 적합값을 빼 잔차를 구할 수 있으면 다음 페이지로 넘어간다. 다음 페이지에서는 여러 직선 가운데 자료를 요약할 직선을 어떤 기준으로 선택하는지 살펴본다.

이 자료의 공부 시간과 시험 점수는 통계 원리를 설명하기 위한 가상 자료이며 실제 학습 효과나 미래 점수를 확정하지 않는다.