16.1 아홉 전략의 검증과 최종 시험 비교하기

같은 규칙을 나중 기간에 다시 적용하기

연구자는 검증에서 여러 전략을 비교한 뒤 하나를 골라 뒤쪽 기간을 평가한다. 예측 기간은 모델이 맞히는 미래의 길이이고, Rebalancing(리밸런싱)은 실제 목표 비중을 다시 정하는 주기다. 매일 자료를 받아 21일 수익률을 예측하더라도 주문은 월간으로 낼 수 있다. 아래 자산 수는 평균 거래 가능 수이며 기간은 학습부터 최종 시험까지 합친 범위다.

예측 순위, 수익의 흔들림, 고점 이후 손실

같은 날 점수 상위 종목이 실제 수익률 순위에서도 위에 있었는지 본다. 순위 두 개의 일치 정도가 Spearman Rank Correlation(스피어먼 순위 상관계수)이다. 날짜별로 계산하고 평균한 값이 이 장의 Information Coefficient(정보계수, IC)다. 0에 가까우면 평균적으로 뚜렷한 순위 관계가 약하다. 다음 5일 수익률을 매일 재면 이웃한 결과가 4일씩 겹친다. 그래서 IC의 Confidence Interval(신뢰구간)은 날짜별 관측의 의존성을 고려하는 Heteroskedasticity and Autocorrelation Consistent(이분산·자기상관 일관, HAC) 오차로 계산한다.

Sharpe Ratio(샤프 비율)는 수익을 수익률의 흔들림과 비교한다. 이 비교에서는 일별 기하평균 수익률을 일별 변동성으로 나눈 뒤 연간 거래 기간 수의 제곱근을 곱했다. Probabilistic Sharpe Ratio(확률적 샤프 비율, PSR)는 유한 표본의 길이와 수익률 분포를 고려해 샤프 비율이 정해 둔 기준을 넘는지 평가한다. Maximum Drawdown(최대 낙폭, MDD)은 계좌가 직전까지 기록한 최고점에서 가장 깊게 떨어진 폭이다. Compound Annual Growth Rate(연복리 성장률, CAGR), 회전율과 거래 건수는 같은 계좌 기록에서 읽는다.

예를 들어 두 계좌가 모두 100만 원에서 시작해 110만 원에 끝난다. 하나는 중간 고점 120만 원에서 90만 원까지 내려갔다. 고점 대비 30만 원 손실을 120만 원으로 나누면 최대 낙폭은 25%다. 다른 계좌가 105만 원까지 상승한 뒤 100만 원으로 떨어졌다면 최대 낙폭은 약 4.76%다. 종료 수익률은 둘 다 10%지만 중간에 견뎌야 했던 손실은 다르다.

검증에서 고른 구성의 시험 성과

대표 검증 IC와 실제 비중 조정 주기는 미국 기업 특성 +0.037(월간), 미국 주식 패널 +0.036(주간), 주식·옵션 결합 +0.041(주간), CME +0.032(주간), ETF +0.085(월간), 암호화폐 +0.026(24시간), S&P 500 옵션 −0.002(주간), FX +0.012(일간), 나스닥100 +0.004(15분)였다. 앞의 여섯 사례에서 검증 IC와 샤프 비율은 0과 구별됐고, CME의 IC는 5% 수준, 나머지는 1% 수준이었다. 예측 단계의 대표 IC와 전략 단계의 최고 샤프 비율은 설정 집계 범위가 다를 수 있다.

성과가 유지된 세 사례

미국 기업 특성은 기업 50개를 같은 비중으로 담은 Gradient Boosting Machine(그래디언트 부스팅 머신, GBM) 전략에서 시험 샤프 +1.77, 시험 IC +0.048(95% 구간 +0.031~+0.065)을 냈다. 검증 샤프가 비슷한 10종목 구성의 시험 낙폭은 34%였고 50종목의 낙폭은 8.6%였다. 더 집중한 구성에서 높은 순위 정확도를 얻더라도 한 종목의 급락이 계좌를 더 크게 흔든다. 두 구성의 차이에는 비중과 모델이 모두 들어 있으므로 한 요인만의 효과로 읽기 어렵다. 매수 종목이 소형주에 몰려 실제 주문 규모에는 별도 제한이 있다.

CME 선물은 만기가 바뀔 때 생기는 가격 단절을 비율로 조정한 연속 계열에서 5일 목표를 만들었다. 시험 샤프 +1.11의 95% 구간은 −0.43~+2.77이다. 검증 +1.36에 가까운 점 추정치와 넓은 오차를 함께 읽어야 한다. 계열을 잇는 방식은 모델이 학습하는 수익률을 바꿀 수 있다.

ETF는 시험에서도 샤프 +1.00이었지만 같은 기간 비교 기준은 +1.33이었다. 두 전략의 일별 수익률을 같은 날짜 묶음으로 다시 뽑는 Paired Block Bootstrap(짝지은 블록 부트스트랩)은 공통 시장 움직임을 살린 채 차이의 오차를 평가한다. 검증 대비 시험 성과는 오차 범위 안에 있었다. 주식시장과 투자 성향 등 공통 요인을 따로 반영한 분석에서 연율 초과수익 추정치는 6.7%였으나 HAC 검정 통계량은 약 1.77이었다. 시장 상승을 덜 따라가면 기준선에 뒤질 수 있고, 이 요인 모형 추정에도 오차가 남는다.

강한 검증 뒤 손실로 바뀐 세 사례

미국 주식 패널은 약 4,000거래일, 16개 검증 구간에서도 +2.03을 냈다. 시험에서는 IC가 약한 음수로 돌아섰고 최대 낙폭이 약 48%였다. 같은 시험 기간 동일 비중 주식 기준선의 샤프는 +1.82였다. 검증 기간이 길어도 뒤쪽 구간의 순위 관계까지 보장하기 어렵다.

주식·옵션 결합은 Instrumented Principal Component Analysis(도구변수 주성분 분석, IPCA)로 여러 종목에 공통인 잠재 움직임과 각 종목의 민감도를 추정했다. 5일 위험 조정 목표에서 유효한 신호였지만 2021년 시험에서는 샤프 −0.73으로, 동일 비중 기준선 +1.82에 뒤졌다. 옵션에서 읽은 지표가 모멘텀과 변동성에도 연결되어 있어 당시 시장 환경에서 약해졌을 가능성이 남는다.

암호화폐 무기한 선물은 매수·매도 보유자 사이의 Funding Rate(자금조달률) 차이를 이용했다. 2024~2025년 시험 IC는 유의한 음수인 −0.029, 최대 낙폭은 약 65%였다. 동일 비중 시장 성과도 0 근처였고, 자금조달률에 따른 상대 순위 자체가 뒤집혔다. 이 기록은 수수료 인하만으로 해결하기 어려운 변화에 해당한다.

첫 결과가 약한 세 사례

S&P 500 옵션은 같은 만기와 행사가의 콜·풋을 함께 파는 Short Straddle(매도 스트래들)을 사용했다. 시험 샤프는 +0.97이었지만 동일 비중 매도 스트래들은 +2.55였다. 옵션 가격에 반영된 위험 보상의 성과와 모델의 종목 선택 가치를 나누어 봐야 한다.

FX는 계수의 크기를 억제하는 Ridge Regression(릿지 회귀)으로 21일 수익률 순위를 매겼다. 검증 샤프 +0.05의 구간은 −0.56~+0.73, 시험 +0.19의 구간은 −0.92~+1.31이었다. 두 기간 모두 동일 비중 기준선이 앞섰다. 나스닥100은 114종목에서 호가 차이가 작은 종목을 골라낸 뒤 +1.13과 +0.53을 기록했다. 둘 다 오차 범위가 0을 포함했고 같은 선별 종목의 수동 보유 기준선보다 낮았다.

성과 곡선에서 성장과 손실을 따로 읽기

누적 성과 곡선은 시작 자산을 1로 두고 시점별 계좌 가치를 표시한다. 로그 축에서는 1에서 2로 가는 높이 차이와 2에서 4로 가는 높이 차이가 같다. 두 경우 모두 두 배가 됐기 때문이다. 아래쪽 낙폭 곡선은 매 시점 계좌를 직전 고점과 비교해 그린다. 이 값이 0으로 돌아오면 이전 고점을 회복한 것이다. 아래 표는 검증과 시험 곡선의 요약값이다. 두 구간의 길이가 달라 CAGR은 연간 비율로 맞췄다.

CME는 성장률과 낙폭이 두 구간에서 비슷했다. 암호화폐는 성장률의 부호가 바뀌면서 낙폭도 43.1%포인트 깊어졌다. 미국 주식 패널은 검증 성장률이 높았을 때도 43.7%의 낙폭을 겪었다. 시험 샤프의 구간이 모두 0을 걸친다는 점을 감안하면 점 추정치가 양수인 사례에도 불확실성이 크다.

변화의 출발점 찾기

• Prediction-quality Drift(예측 품질 변화)는 주식 패널과 암호화폐처럼 시험 IC와 샤프가 같이 꺾일 때 의심한다. 입력·목표·예측 기간을 바꿀 근거를 먼저 찾는다.
• Portfolio-translation Drift(포트폴리오 변환 성과 변화)는 ETF처럼 순위 신호가 남아도 비교 기준 대비 계좌 성과가 약할 때 살핀다. 비중과 시장 노출이 수익률 차이에 얼마나 기여했는지 분해한다.
• Regime Change(시장 국면 변화)는 금리·시장 주도주·변동성 구조가 바뀌어 같은 입력의 뜻이 달라지는 경우다. 주식·옵션 결합과 암호화폐에서는 여러 원인이 겹칠 수 있다. 사건 전후를 나눠 확인하고, 국면별 규칙은 새 시험에 남긴다.