5.4 후보를 많이 시험한 대가 계산하기

좋은 점수 뒤에 몇 번의 시도가 있었는지 세기

연구자가 보유 기간 5개, 라벨 기준 3개, 특성 변형 10개를 모두 조합한다. 시험한 후보는 150개다. 실제 예측력이 하나도 없고 각 검정이 5% 확률로 잘못 통과한다면, 기대하는 거짓 통과 건수는 150건의 5%인 7.5건이다. 이 기대값을 계산하는 데 후보 간 독립은 필요하지 않지만, 한 건이라도 통과할 확률에는 의존 관계가 영향을 준다.

이처럼 후보를 많이 보고 최고 점수를 고르면 잡음이 실력처럼 보이는 Selection Bias(선택 편향)가 생긴다. 50개 자산의 252일 자료에 예측력이 없는 특성 100개를 만들어도 가장 높은 IC가 0.020인 실험 결과가 나왔다. 같은 실험을 200번 반복해 얻은 최고 IC의 중앙값은 0.022였다. 한 후보의 점수와 100개 중 최고점은 서로 다른 기준으로 비교해야 한다.

Searched Set(탐색 집합)에는 같은 결정을 위해 실제 평가한 모든 라벨 기준, 관측 기간, 특성 변환과 국면 조건을 포함한다. 생성 규칙, 중복 제외 기준, 실행을 중단한 이유와 후보 수를 기록한다. 결과를 본 후 21일을 18일로 바꾸거나 결측 처리 방식을 다시 고르면 새 시도다. 마지막 표에 실린 후보만 세면 선택 과정에서 사용한 증거의 양을 잘못 보고하게 된다.

탐색에서 배운 내용을 별도 기간에서 확인하기

정확한 p-value(p값)는 효과가 없다는 가정 아래 지금만큼 또는 더 극단적인 통계량이 나올 확률이다. 효과가 없을 확률이나 실제 수익이 날 확률과는 다른 양이다. 입력을 확정한 뒤 분할별 진단과 시간 의존성을 반영한 추론으로 개별 p값을 얻고, 평가한 집합의 크기에 맞춰 Multiple Testing(다중 검정)을 처리한다.

한 건의 거짓 통과와 거짓 통과의 비율은 다르다

비싼 검증에 넘길 후보를 소수만 뽑는 연구팀은 거짓 양성이 한 건이라도 나올 확률을 통제하고 싶다. 이것이 Family-wise Error Rate(검정군 오류율)다. Holm–Bonferroni Procedure(홀름–본페로니 절차)에서는 p값이 가장 작은 후보부터 시작한다. 첫 기준은 전체 허용 오류율을 전체 후보 수로 나눈 값이다. 통과하면 남은 후보 수를 분모로 다음 기준을 계산하고, 처음 실패한 순위에서 멈춘다.

$p_{(i)}$

Ordered p-value(정렬된 p값), 작은 쪽에서 $i$번째인 확률 비율.

$\alpha$

Family-wise Error Target(검정군 오류율 목표), 확률 비율.

$m$, $i$

Number of Tests(검정 개수)와 Rank(오름차순 순번), 각각 건수와 순번.

유용한 입력을 여럿 모아 다음 모델에서 다시 확인한다면, 선별한 후보 중 거짓 통과가 차지하는 비율의 기댓값을 관리할 수 있다. 이것이 False Discovery Rate(거짓 발견율)이다. Benjamini–Hochberg Procedure(벤저미니–호크버그 절차)에서는 정렬한 p값을 순번에 따라 올라가는 기준선과 비교한다. 기준을 만족하는 가장 큰 순번을 찾고 거기까지 모두 통과시킨다.

$p_{(i)}$

Ordered p-value(정렬된 p값), 작은 쪽에서 $i$번째인 확률 비율.

$q$

False Discovery Rate Target(거짓 발견율 목표), 비율.

$m$, $i$

Number of Tests(검정 개수)와 Rank(오름차순 순번), 각각 건수와 순번.

목표를 둘 다 5%로 놓았다. 홀름은 첫 행을 통과시키고 0.030이 0.025를 넘는 두 번째 행에서 멈춘다. 벤저미니–호크버그는 세 번째 행이 실패하지만 두 번째 행의 0.030이 약 0.0333 아래이므로 첫 두 행을 통과시킨다. 이 절차의 거짓 발견율 보장은 검정의 독립 또는 특정 양의 의존 조건을 전제로 한다. 홀름은 개별 p값이 유효하면 후보 간 의존성에도 검정군 오류율을 통제할 수 있다.

서로 비슷한 관측 기간을 수십 개 비교하면 후보 수만큼 독립적인 선택 기회가 생기지는 않는다. 후보군이 잡음에 얼마나 잘 맞는지 보는 Rademacher Complexity(라데마허 복잡도)처럼 후보군의 구조를 이용하는 방법도 있다. 관련 연구가 이미 수백 개의 특성을 시험했다면 새 특성을 판단할 때 더 엄격한 증거를 요구할 이유가 있다. 실제 ETF 특성 13개를 비교한 한 진단에서는 가장 높은 후보도 두 절차에서 5% 기준을 통과하지 못했다. 시험한 기간과 후보군에 한정된 결론이다.

통과 여부와 경제적 크기를 따로 보고하기

표본이 크면 비용 15bp에 비해 2bp에 불과한 차이도 통계적으로 눈에 띌 수 있다. 후보마다 탐색 집합 크기와 생성법, 분할 중앙값과 최악 분할, 방향의 일관성과 성과 집중 시기, 탐색 또는 확증 중 어느 쪽인지 남긴다. 그래야 통계적 근거와 주문으로 얻을 수 있는 크기를 각각 판단할 수 있다.

전략의 위험 대비 수익인 Sharpe Ratio(샤프 비율)로 여러 백테스트 중 하나를 골랐다면 전략 수준에서도 선택을 확인한다.

• Deflated Sharpe Ratio(보정 샤프 비율)는 많은 전략을 시험할수록 우연한 최고점도 높아진다는 점과 수익률 분포의 비대칭·꼬리를 반영해, 관측한 샤프 비율의 증거를 평가한다.
• Probability of Backtest Overfitting(백테스트 과적합 확률)은 자료 구간을 나눠 표본 안에서 우승한 전략이 표본 밖에서 순위 중간보다 아래로 떨어지는 빈도를 본다. 반복 분할을 어떻게 구성했는지에 따라 추정이 달라진다.
• Minimum Track Record Length(최소 성과 기록 길이)는 관측한 위험 대비 성과를 기준과 구별하는 데 필요한 자료 길이를 추정한다. 거래가 겹치거나 실적 변동이 크면 달력상 같은 길이에서도 얻는 증거가 적다.