16.3 예측 품질과 최고 설정의 불확실성 읽기

높은 IC가 높은 계좌 성과로 이어지는 조건

ETF 연구자가 두 모델을 비교한다. 하나는 100개 상품의 순위를 전체적으로 더 잘 맞혔고, 다른 하나는 실제로 담은 상위 종목에서 더 나은 수익을 냈다. 일간 IC는 전체 순위가 얼마나 비슷한지 평균하지만, 계좌에는 선택된 종목의 수익 크기와 비중, 매매 비용이 들어간다.

아래 표는 같은 사례의 주 예측 목표에서 모델군마다 가장 높은 검증 IC를 기록한 설정을 비교한다. 선형 모델은 입력별 기여를 더하고, 그래디언트 부스팅 머신은 앞선 나무의 오차를 후속 나무로 줄인다. Tabular Deep Learning(표 형식 딥러닝)은 한 시점의 표에서 상호작용을 학습한다. Sequence Deep Learning(순차 딥러닝)은 이전 관측들의 순서를 사용한다. Latent Factor Model(잠재 요인 모델)은 여러 자산에 공통인 움직임을 자료에서 추정한다.

빈 칸은 시험하지 않은 조합이다. 부스팅 4개, 잠재 요인 3개, 순차 딥러닝 2개 사례에서 해당 모델군이 가장 높았다. 미국 주식과 주식·옵션 결합에서는 다른 목표를 쓴 전략의 IC가 위 표의 주 목표 최고값을 넘어섰다. ETF의 Stochastic Discount Factor(확률적 할인요인, SDF) 모델은 IC +0.085, Long Short-Term Memory(장단기 기억, LSTM) 모델은 IC +0.052로 신호 단계 샤프 +0.89를 기록했다. 순위표와 계좌 성과표의 1위가 달라진 예다.

여러 구성의 IC와 검증 샤프를 짝지은 산점도의 상관계수는 +0.34였다. 단순 직선에서 제곱하면 약 0.12라 구성 간 성과 차이의 약 12%가 IC와의 선형 관계로 설명됐다. 나스닥100은 IC가 0.005 안팎이고 전체 종목에서 약했다. 호가 비용을 감당할 종목을 남긴 뒤에야 양의 점 추정치가 나왔다. 관측된 IC 상단 +0.085는 이 입력과 실험 범위에서 나온 값이다.

수준, 구간 안정성, 학습 단계 민감도

두 전략의 평균 IC가 0.02라고 하자. 하나는 세 구간에서 0.01, 0.02, 0.03이고, 다른 하나는 −0.03, 0.02, 0.07이다. 양수 구간 비율은 각각 3분의 3과 3분의 2다. Information Coefficient Information Ratio(정보계수 정보비율, ICIR)를 구간 평균 IC를 구간 간 표준편차로 나눈 값으로 정의하면, 표본 표준편차가 각각 0.01과 0.05여서 2.0과 0.4가 된다. 분모를 평균의 표준오차로 정의한 값과 비교할 때는 계산식을 먼저 맞춰야 한다. 두 구간만 있는 실험은 한 번의 음수로 비율이 절반이 되므로, 16개 구간 실험과 같은 무게로 읽기 어렵다. 미국 기업 전략의 ICIR은 10개 구간에서 약 2.1, ETF 릿지는 8개 구간에서 약 1.3이었다.

CME에서는 12개월씩 이동하며 구한 연율 샤프와 평균 IC를 같은 시간축에서 비교했다. 2020년 3월 충격 이후 1년 창에서 약해졌고, 2022년 3월 금리 인상기에는 강해졌다. 두 지표가 함께 움직였고 수익이 몇 달에만 몰리지 않았다. 연달아 그린 점이 같은 자료를 상당 부분 공유하므로 점 개수를 독립 증거의 개수로 세면 안 된다.

Checkpoint(학습 중간 저장점)는 반복 학습의 특정 시점에서 저장한 모델이다. 같은 입력과 모델이라도 나무를 더 추가하거나 한 바퀴 더 학습하면 종목 점수가 바뀐다. 일부는 초반에 좋아진 뒤 평평해지고, 일부는 끝까지 개선되며, 일부는 다시 하락했다. 최고점 한 곳에 의존하면 선택 오차가 커진다. 상위 세 저장점의 예측을 평균하거나, 안쪽 검증에서 학습 횟수를 선택하고 바깥 검증에서 그 선택 절차를 평가하는 Nested Cross-validation(중첩 교차검증)을 적용할 수 있다. 후자는 적합을 여러 번 반복해야 한다.

최고점과 비슷한 후보가 여럿일 때

같은 날짜의 두 수익률을 한 쌍으로 유지한 채 연속 블록을 재추출한다. 재추출할 때마다 각 구성의 샤프를 다시 계산하고 차이를 저장한다. 차이의 신뢰구간에 0이 들면 관측된 최고점만으로 상대 우위를 가리기 어렵다. Stationary Block Bootstrap(정상 블록 부트스트랩)은 블록 길이를 무작위로 바꾸면서 연속한 수익률의 의존성을 일부 남긴다. PSR은 각 샤프의 기준 초과를 보는 별도 지표다.

검증 1위와 10위의 차이는 미국 기업 0.04, ETF 0.08이었다. CME는 0.39였지만 구간 샤프의 표준오차와 비슷했다. 나스닥100의 5개 보유 슬롯 선형 구성은 검증 +2.11로 다른 다수 구성의 +0.2~+1.4를 앞섰다가 시험 −0.21을 냈다. 이후 비교에서 여러 부스팅 모델을 합친 구성은 +0.53이었다. 시험 결과를 보고 구성을 고르면 그 시험은 선택 자료가 되므로, 이 후보의 재현성은 새 기간에서 확인해야 한다.

모델을 바꾸기 전에 맞힐 값을 점검하기

• 방향과 크기. 다음 달 수익률이 +1%, +8%, −2%라면 방향 목표는 처음 두 종목을 같은 상승으로 기록한다. 연속 수익률 목표는 두 종목을 다른 크기로 학습한다. 기업 특성 사례에서 방향 목표의 IC가 높았지만 배분 뒤에는 연속 목표의 샤프가 앞섰다.
• 예측 기간. FX 부스팅의 IC는 1일에서 21일로 늘릴 때 개선됐고 ETF도 소폭 나아졌다. 예측 기간에 맞춰 주문을 덜 자주 내면 회전율도 줄 수 있다. FX의 개선값은 이 실험에서 통계 기준을 넘기에 충분하지 않았다.
• 극단값 제한. Winsorization(윈저화)은 월 수익률의 하위 1%보다 작은 값을 하위 1% 경계로, 상위 1%보다 큰 값을 상위 1% 경계로 바꾼다. 극단값의 크기가 학습 오차를 과도하게 끌고 가지 않도록 한다. 미국 기업 사례에서 모델이 새로 매긴 순위의 IC가 개선됐다. 순위 상관을 계산할 때 극단값 크기를 직접 반영해서 생긴 효과로 해석할 수는 없다. 경계는 학습 데이터에서 추정한다.