8.7 요약

금요일의 판단을 다시 재현할 수 있게 남긴다

연구자는 다음 21거래일에 상대적으로 오를 ETF를 찾았다. 금요일 장 마감 기준 모멘텀과 변동성으로 Ridge(릿지) 점수를 만들고, 다음 체결 가능 시점에 정해 둔 순위 규칙을 적용했다. 같은 날을 나중에 재현하려면 최종 점수 외에 어떤 데이터가 언제 들어왔는지, 모델을 어디까지의 자료로 학습했는지, 점수로 어떤 거래가 발생했는지 남겨야 한다.

1. ●입력과 목표 고정
   특성의 관측 시점, 라벨 기간, 체결 가능한 첫 시점, 순위나 방향 중 필요한 출력을 기록한다.↓
2. ●과거에서 학습
   훈련창의 변환과 계수를 저장하고, 앞선 검증 구간에서 고른 벌점을 더 늦은 시험에서 평가한다.↓
3. ●시험 예측 생성
   점수·순위, 특성별 기여, 보정 예측 구간을 기록한다. 확률이 비중에 쓰이면 확률 보정도 확인한다.↓
4. ●결과 확정
   IC, 방향 점수, 구간 포함률을 폴드별로 집계한다. 체결 수량과 비용으로 포트폴리오 순손익을 계산한다.

시험 기간을 같게 유지하면 이후 모델에서 달라진 결과가 어디에서 시작됐는지 비교할 수 있다.

한 단계에서 좋은 결과가 나와도 다음 결과를 따로 읽는다

비슷한 입력이 많으면 Ridge(릿지)로 계수를 함께 줄이는 모델이 출발점이 된다. 적은 수의 입력에 정보가 모였다는 가설이라면 LASSO(라쏘)를, 비슷한 입력군과 약한 입력이 섞였다면 Elastic Net(엘라스틱 넷)을 비교한다. Logistic Regression(로지스틱 회귀)은 거래 방향 범주의 확률을 낸다. 이때 같은 미래 기간에서 순위, 확률 보정, 실제 거래 빈도를 각각 확인한다.

SHAP(섀플리 가산 설명)은 예측이 기준에서 움직인 이유를 모델 입력 단위로 기록한다. 설명이 납득돼도 미래 순위가 좋아진다는 증거는 별도로 필요하다. Conformal Prediction(적합 예측)은 보정 자료의 오차로 미래 범위를 제시한다. 전체 포함률이 목표에 가까워도 급변장에서 자주 빗나갈 수 있으므로 국면별 포함률과 폭을 함께 남긴다.

더 복잡한 후보도 같은 기준선을 통과해야 한다

아홉 시장 비교에서 세 시장의 대표 라벨은 양의 선형 순위 효과를 보였다. 다른 시장에서는 같은 입력과 기간의 선형 모델로 효과를 뚜렷하게 확인하기 어려웠다. Gradient Boosting(그래디언트 부스팅)은 입력 사이의 조건부 관계를, Deep Learning(딥러닝)은 더 유연한 표현을, Latent Factor Models(잠재 요인 모형)는 여러 자산에 공통인 구조를 탐색한다.

비교할 때는 후보와 선형 기준선의 거래 대상, 라벨, 시점 분할, 비용 가정을 맞춘다. 먼저 모델이 기존에 놓쳤던 종목 순위나 방향을 더 잘 잡았는지 확인한다. 그다음 개선이 여러 폴드에서 이어졌는지, 달라진 주문과 비용을 반영한 뒤에도 남는지 확인한다.