11.4① 이중 기계학습으로 두 잔차 비교하기

시장 여건으로 설명하고 남은 점수와 수익률을 비교한다

최근 6개월에 많이 오른 상장지수펀드(Exchange-Traded Fund, ETF)의 다음 21거래일 수익률을 본다고 하자. 금리와 변동성이 바뀌는 시기에는 과거 점수도 미래 성과도 같이 달라진다. 팀은 같은 금리·변동성 조건에서 예상되는 점수와 수익률을 각각 구하고, 두 값에서 예상을 넘어선 부분이 서로 어떤 관계인지 확인한다.

Double/Debiased Machine Learning(이중·편향 보정 기계학습, DML)은 여러 통제가 처치와 결과를 움직이는 관계를 별도로 학습한 뒤 관심 있는 효과를 추정한다. 효과 자체가 분석 목표이고, 효과를 계산하는 데 필요한 두 예측 관계를 Nuisance Function(보조 함수)이라 한다.

1. 처치 전 통제
2. →처치 예측
3. →처치 잔차

1. 처치 전 통제
2. →결과 예측
3. →결과 잔차

1. 두 잔차
2. →잔차 회귀
3. →효과와 불확실성

각 잔차는 해당 행을 학습에 사용하지 않은 예측값을 빼서 계산한다.

예측값을 빼고 잔차의 기울기를 구한다

한 펀드의 모멘텀 점수가 4점이고 그 시장 상태에서 예측한 값이 3점이라면 처치 잔차는 +1점이다. 미래 수익률이 1%이고 통제만으로 예측한 값이 1.5%라면 결과 잔차는 −0.5%포인트다. 다른 관측의 두 잔차가 −1점과 +0.5%포인트라면, 이 두 행의 원점 통과 회귀는 다음과 같다.

$$\frac{1 \times (-0.5) + (-1) \times 0.5}{1^2+(-1)^2} = -0.5\ \text{\%p/점}$$

처치 잔차가 1점 클 때 결과 잔차가 평균 0.5%포인트 낮은 방향이다. 이 산술은 잔차 계산을 보여 준다. 실제 추정에는 충분한 자료와 처치 잔차의 변동, 유효한 조정 집합이 필요하다. 처치 효과가 일정하다고 놓는 Partially Linear Model(부분 선형 모형)에서는 통제의 영향은 유연하게 예측하되, 남은 처치와 결과의 관계는 직선 기울기로 요약한다. 선형 회귀에서 양쪽 변수를 통제에 대해 잔차화하는 Frisch–Waugh–Lovell Theorem(프리슈–워–로벨 정리)과 연결되는 방식이다.

직교 점수와 교차 적합이 예측 오차를 줄인다

Orthogonal Score(직교 점수)는 보조 예측기가 조금 틀렸을 때 그 오차가 효과 추정식에 일차적으로 전달되지 않도록 설계한다. 참 보조 함수 근처에서는 작은 오차가 곱이나 제곱 수준으로 작용한다. 예측기가 크게 틀리거나 빠진 공통 원인이 있다면 효과가 여전히 편향될 수 있다.

Cross-fitting(교차 적합)은 보조 모델을 학습한 행에서 바로 잔차를 만들 때 생기는 과적합을 줄인다. 시간 순서가 있는 자료라면 1–6월로 학습해 7월을 예측하고, 다음에는 과거 구간을 확장하거나 이동해 더 뒤의 달을 예측한다. 21거래일 미래 수익률을 쓸 경우, 검증 시작일까지 결과가 확정되지 않은 학습 행을 제외한다. 폴드마다 얻은 표본 외 잔차를 합쳐 마지막 효과와 구간을 계산한다.

가정과 보조 모델을 각각 점검한다

먼저 ATE, ATT 또는 CATE를 정하고 처치 이전 통제가 후문 경로를 차단하는지 확인한다. 위 잔차 회귀는 일정 효과의 직관이다. 처치군 효과나 개인·국면별 효과를 추정하려면 목표에 맞는 직교 점수와 Causal Forest(인과 포리스트) 같은 학습기가 필요하다.

다음으로 선형 모델, Gradient Boosting(그래디언트 부스팅), Random Forest(랜덤 포리스트) 등 보조 모델을 과거 폴드에서 조정해 결과를 비교한다. ETF 모멘텀 분석에서는 선형 −0.055, 얕은 부스팅 −0.060, 깊은 부스팅 −0.088로 부호는 같았지만 최대 절댓값이 최소의 약 1.6배였다. 어느 모델을 쓰느냐에 따라 효과의 크기 판단이 달라진다는 뜻이다.

후보 요인이 이미 알려진 많은 요인을 넘어 설명력을 갖는지도 비슷한 원리로 살필 수 있다. Post-Double-Selection LASSO(이중 선택 후 라쏘)는 처치를 잘 설명하는 통제와 결과를 잘 설명하는 통제를 각각 고른 뒤 합쳐 사용한다. 네 후보 중 단순 검사에서 유의했던 평균회귀 요인은 자산 수익률의 첫 열 개 Principal Component(주성분)를 통제하자 유의성을 잃었다. 시장의 공통 움직임을 어떤 방식으로 반영하느냐가 요인 평가에 영향을 준 사례다.