5.12 잔차 제곱합을 줄이는 추정

5.12 잔차 제곱합을 줄이는 추정

여러 직선 가운데 어떤 직선이 관측점에 더 잘 맞는지 하나의 계산 기준으로 비교하고, 그 기준이 가장 작은 직선을 찾는 것이 이 페이지의 목표다.

5.11에서는 학생 네 명의 공부 시간과 시험 점수를 직선 $\widehat{y}=40+10x$로 요약했다. 적합값은 [40, 50, 60, 70]점, 실제 점수에서 적합값을 뺀 잔차는 [+4, -4, -4, +4]점이었다.

5.11에서 사용한 직선의 적합값과 잔차

학생	공부 시간	실제 점수	적합값	잔차
A	0시간	44점	40점	+4점
B	1시간	46점	50점	-4점
C	2시간	56점	60점	-4점
D	3시간	74점	70점	+4점

잔차를 그대로 더하면 맞지 않는 정도가 사라진다

네 잔차를 그대로 더하면 다음처럼 0이 된다.

$$4+(-4)+(-4)+4=0$$

하지만 실제 점과 직선 사이에는 각각 4점의 거리가 남아 있다. 위쪽의 양수 잔차와 아래쪽의 음수 잔차가 서로 상쇄되었을 뿐이다. 따라서 잔차 합이 0이라는 사실만으로 직선이 모든 점에 정확히 맞는다고 판단할 수 없다.

1. 01잔차를 구한다실제 점수에서 직선의 적합값을 빼 부호가 있는 거리를 구합니다.
2. 02각각 제곱한다양수와 음수가 서로 지워지지 않도록 각 잔차를 제곱합니다.
3. 03하나로 더한다모든 잔차제곱을 더해 직선 하나를 나타내는 숫자를 만듭니다.
4. 04직선을 비교한다후보 직선마다 같은 계산을 반복해 가장 작은 합계를 찾습니다.

잔차를 제곱하고 모두 더한다

Squared residual(잔차제곱)은 잔차를 자기 자신과 곱한 값이다. 잔차가 +4점이든 -4점이든 제곱하면 모두 $16\text{점}^2$가 되므로 부호 때문에 거리가 사라지지 않는다.

이 잔차제곱을 모든 학생에 대해 더한 값을 Residual sum of squares(잔차제곱합, RSS)라고 한다.

$$\begin{aligned} RSS &=\sum_{i=1}^{n}e_i^2 \\ &=\sum_{i=1}^{n}(y_i-\widehat{y}_i)^2 \\ &=4^2+(-4)^2+(-4)^2+4^2 \\ &=64\text{점}^2 \end{aligned}$$

$RSS$

Residual sum of squares(잔차제곱합)

단위: $\text{점}^2$

$e_i$

$i$번째 학생의 Residual(잔차)

단위: 점

$y_i$

$i$번째 학생의 실제 시험 점수

단위: 점

$\widehat{y}_i$

$i$번째 공부 시간에서 직선이 나타내는 Fitted value(적합값)

단위: 점

$n$

관찰한 학생 수

단위: 명

RSS가 작을수록 관측점과 직선 사이의 수직 거리가 전체적으로 작다. 또한 잔차의 크기가 4점에서 8점으로 두 배가 되면 잔차제곱은 $16\text{점}^2$에서 $64\text{점}^2$로 네 배가 된다. 멀리 떨어진 점일수록 합계에 더 크게 반영되는 셈이다.

후보 직선마다 RSS를 비교한다

같은 네 학생에게 조금 더 평평한 후보 직선 $\widehat{y}=44+8x$를 그리면 적합값은 [44, 52, 60, 68]점이고 잔차는 [0, -6, -4, +6]점이다.

같은 관측자료에 그린 두 후보 직선의 비교

후보 직선	적합값	잔차	잔차제곱	RSS
$\widehat{y}=44+8x$	[44, 52, 60, 68]	[0, -6, -4, +6]	[0, 36, 16, 36]	$88\text{점}^2$
$\widehat{y}=40+10x$	[40, 50, 60, 70]	[+4, -4, -4, +4]	[16, 16, 16, 16]	$64\text{점}^2$

두 후보만 비교하면 RSS가 $64\text{점}^2$인 두 번째 직선이 더 잘 맞는다. 실제로는 가능한 절편과 기울기가 무수히 많다. 그 모든 후보 가운데 RSS를 가장 작게 만드는 절편과 기울기를 찾는 방법이 Ordinary least squares(최소제곱법)다. 이 자료에서는 $\widehat{y}=40+10x$가 최소 RSS $64\text{점}^2$를 만든다.

이 최소값을 찾는 실제 계산은 보통 통계 라이브러리의 OLS 적합 함수에 맡긴다. 이 페이지에서는 절편과 기울기를 유도하는 복잡한 계산 과정은 다루지 않고, 라이브러리가 선택한 직선의 적합값·잔차·RSS를 계산해 결과의 의미를 확인하는 데 집중한다.

후보 직선의 절편

44점

후보 직선의 기울기

8점/시간

최소 RSS 직선 보기

관측점 후보 직선 최소 RSS 직선잔차

현재 후보 직선

ŷ = 44.00 + 8.00x

현재 RSS

88.00점 제곱

최소 RSS

64.00점 제곱

최소값과의 차이

24.00점 제곱

절편과 기울기를 움직여 현재 RSS를 최소값 64점 제곱에 가깝게 만들어 보세요.

학생별 RSS 기여도

막대가 길수록 해당 학생의 잔차제곱이 전체 RSS에서 큰 몫을 차지합니다.

1. A0.00점 제곱
2. B36.00점 제곱
3. C16.00점 제곱
4. D36.00점 제곱

후보 직선의 적합값, 잔차와 잔차제곱

학생	공부 시간	실제 점수	적합값	잔차	잔차제곱
A	0시간	44점	44.00점	0.00점	0.00점 제곱
B	1시간	46점	52.00점	-6.00점	36.00점 제곱
C	2시간	56점	60.00점	-4.00점	16.00점 제곱
D	3시간	74점	68.00점	6.00점	36.00점 제곱
RSS					88.00점 제곱

제곱은 멀리 떨어진 점의 영향도 키운다

Outlier(이상치)는 나머지 관측값에서 유난히 멀리 떨어진 값이다. 최소제곱법에서는 큰 잔차를 제곱하므로 이상치 하나가 직선의 위치를 크게 바꿀 수 있다. 따라서 RSS가 최소라는 이유만으로 직선이 언제나 자료를 안전하게 요약한다고 단정하지 않고, 멀리 떨어진 점이 자료 오류인지 실제로 중요한 관측인지 함께 확인해야 한다.

RSS $64\text{점}^2$라는 숫자만 보고 적합이 좋거나 나쁘다고 단정할 수도 없다. 관측 수가 많아지거나 점수 대신 다른 단위를 사용하면 RSS의 크기도 달라진다. 다음 페이지에서는 RSS를 같은 자료의 전체 변동과 비교해 단위 없는 비율로 바꾼다.

자주 생기는 오해

• 잔차 합이 0이라고 모든 관측점이 직선 위에 있는 것은 아니다.
• 최소 RSS 직선도 모든 관측점을 정확히 지날 필요는 없다.
• RSS가 가장 작다는 사실은 두 변수의 인과관계를 증명하지 않는다.
• 큰 잔차는 제곱되므로 작은 잔차보다 RSS에 훨씬 크게 기여한다.
• 관측 수나 점수 단위가 다른 자료의 RSS를 숫자만으로 직접 비교하지 않는다.

이해 점검

잔차가 +4점, -4점일 때 잔차 합과 두 잔차의 제곱합은 얼마인가?

잔차 합은 $4+(-4)=0$점이지만 제곱합은 $4^2+(-4)^2=32\text{점}^2$다.

후보 직선 $\widehat{y}=44+8x$의 RSS는 얼마인가?

잔차 [0, -6, -4, +6]점을 각각 제곱해 더하면 $0+36+16+36=88\text{점}^2$다.

최소제곱법은 여러 후보 직선 가운데 무엇을 고르는가?

같은 관측자료에서 잔차제곱합인 RSS를 가장 작게 만드는 절편과 기울기의 직선을 고른다.

이상치가 최소제곱 직선에 큰 영향을 줄 수 있는 이유는 무엇인가?

큰 잔차를 제곱하므로 멀리 떨어진 점의 잔차가 RSS에서 매우 큰 몫을 차지하기 때문이다.

완료 기준

잔차 합이 왜 직선 비교에 부족한지 설명하고, 후보 직선의 적합값·잔차·잔차제곱과 RSS를 계산하며, 최소제곱법이 무엇을 고르는지 말할 수 있으면 다음 페이지로 넘어간다. 다음 페이지에서는 RSS를 전체 변동과 비교해 $R^2$로 바꾼다.

이 자료의 공부 시간과 시험 점수는 최소제곱 원리를 설명하기 위한 가상 자료이며 실제 학습 효과나 미래 점수를 확정하지 않는다.