4.4 예측 점수와 거래 성과 구분하기

점수가 좋아졌는데 계좌에는 덜 남을 수 있다

지우는 새 모델로 ETF 순위를 매겼더니 다음 달 상승 종목을 더 잘 찾았다. 그런데 새 순위가 자주 바뀌어 사고파는 ETF가 늘었다. 이전 후보의 비용 전 수익이 1.0%, 비용이 0.2%라면 순수익은 0.8%다. 새 후보는 1.2%를 벌었어도 비용이 0.5%면 0.7%가 남는다. 두 후보 모두 같은 비용 규칙을 썼지만 주문량이 달라 실제 부담이 달라졌다.

1. ●모델 진단
   예측값을 정답과 비교한다. 오차와 확률 보정을 확인한다.↓
2. ●신호 진단
   거래 규칙이 사용하는 점수 순서나 문턱의 쓸모를 확인한다.↓
3. ●전략 결과
   실제 비중과 주문을 계산하고 제약·비용을 적용한다.

첫 두 단계가 좋아져도 주문량이 늘면 최종 성과가 나빠질 수 있다.

같은 후보를 세 층에서 본다

Model Diagnostics(모델 진단). 다음 달 수익을 2%로 예측하고 실제로 1%가 나왔다면 절대 오차는 1%포인트다. 오차가 특정 구간에서만 작거나, 상승 확률 70%라고 말한 관측 중 실제 상승이 꾸준히 절반뿐이면 예측이 불안정하다. Calibration(보정)은 이렇게 예측 확률과 실제 발생 비율이 맞는 정도다. 여러 시간 구간의 오차와 보정을 비교한다. 이 단계에는 주문 비용이나 비중 계산이 필요 없다.

Signal Diagnostics(신호 진단). 상위 종목을 고르는 전략에서는 수익률 숫자가 정확하지 않아도 순서가 맞으면 도움이 된다. 지우가 A·B·C를 이 순서로 높게 두고 실제 수익률이 각각 3%·1%·2%였다면 A는 맞혔지만 B와 C가 뒤집혔다. 순위를 1·2·3과 1·3·2로 적으면 순위 차이는 0·−1·1이다. 차이 제곱의 합은 2이고, 같은 순위가 없는 세 종목의 스피어만 계산은 다음과 같다.

$$1 - \frac{6 \times 2}{3 \times (3^2 - 1)} = 0.5$$

Spearman Rank Correlation(스피어만 순위 상관계수)은 완전히 같은 순서면 1, 반대면 −1이다. 의사결정 시각별 점수와 이후 수익률 순위 사이에 이를 계산한 값이 Information Coefficient(정보계수, IC)의 한 형태다. 한 달의 0.5만으로 신호가 안정적이라고 할 수 없고, 순위 상관이 양수여도 상위 종목의 움직임이 비용보다 작은지 따로 본다. 점수 문턱을 쓰는 전략이라면 문턱을 넘은 거래의 결과도 살펴야 한다.

Strategy Outcomes(전략 결과). 모든 주문과 보유량을 시간순으로 계산해 비용 후 손익과 위험을 보고한다. 수익률의 흔들림인 Volatility(변동성), 이전 계좌 고점 대비 하락인 Drawdown(낙폭), 위험 대비 수익, 자산군 노출과 집중도, 실제로 갈아탄 비중인 Turnover(회전율)를 함께 본다. 적은 수의 종목이 만든 고수익과 여러 시기에 걸친 고른 성과는 다르다.

선택용 지표 하나와 보고용 지표를 미리 적는다

지우는 후보를 고를 때 시간순 검증의 평균 IC를 주 지표로 쓰기로 한다. 먼저 오차와 구간별 신호를 보고, 선택을 마친 뒤 순수익률·낙폭·회전율을 보고한다. 거래 손익으로 매번 특성과 주문 문턱을 함께 고치면, 과거 체결 가정이나 우연한 반등에 잘 맞는 후보가 선택될 수 있다.

Conformal Prediction Interval(컨포멀 예측 구간)은 이전 예측 오차를 이용해 점 예측에 불확실성 범위를 붙이는 방법이다. 예를 들어 90% 구간을 만들었는데 평가에서 실제 값이 10번 중 6번만 들어왔다면 너무 좁거나 시장이 달라졌을 수 있다. 10번만으로 보정 실패를 단정하지 않고 여러 기간을 본다. 이 방법은 수익률의 특정 분포를 지정하지 않아도 되지만, 기본적인 보장에는 자료의 교환 가능성 같은 조건이 필요하다. 시계열에서는 의존과 분포 변화에 맞춘 절차와 실제 포함률 점검이 필요하다.