12.10 후보 탐색으로 높아진 성과 보정하기

우연히 가장 높았던 후보를 골랐을 때

연구원이 같은 데이터에 모멘텀 조회 기간과 비용 조건을 바꿔 후보 100개를 시험했다고 하자. 어떤 후보에도 실제 초과수익이 없어도 하나쯤 운 좋게 높게 나올 수 있다. 실제 능력이 0인 후보 100개의 모의 실험에서는 가장 높은 연환산 샤프가 2.54였다. 이 값은 후보 수와 표본 조건이 달라져도 그대로 쓰는 문턱이 아니다.

하나를 미리 정한 검정에서는 그 규칙의 기대 초과수익이 0 이하라는 Null Hypothesis(귀무가설)를 둔다. 검색 뒤 승자를 고른 경우에는 후보 전체 중 어느 것도 기준을 이기지 못한다는 가설에서, 그중 가장 높은 결과가 얼마나 자주 나오는지 따진다. 독립 후보가 많아질수록 우연한 최댓값은 각 추정치의 표준오차에 후보 수 로그의 제곱근을 곱한 규모로 커진다.

같은 날짜의 차이를 묶어서 재표집하기

White's Reality Check(화이트 현실 검정)는 후보가 모두 기준을 앞서지 못하는 상황에서도 탐색의 최고 성과가 나올 수 있는지 확인한다. 연구원은 같은 날짜에서 후보별 순수익과 기준 순수익의 차이를 계산한다. 가령 첫날 기준이 0.1%, 후보 A가 0.3%, B가 0.2%라면 차이는 각각 0.2%p와 0.1%p다. 날짜별 차이를 평균 낸 뒤 후보 평균들 중 가장 큰 값을 관측 통계량으로 쓴다. 표본 크기의 제곱근을 곱해 비교할 수도 있다.

1. ●날짜별 차이
   모든 후보에서 같은 날짜의 기준 수익을 빼고 후보별 평균을 구한다.↓
2. ●우위가 없도록 중심 조정
   후보별 차이에서 그 후보의 평균을 빼고 여러 번 날짜 블록을 뽑는다.↓
3. ●재표집마다 승자 선택
   각 반복에서 후보별 평균을 구하고 그중 최댓값을 기록한다.↓
4. ●관측값과 비교
   모의 최댓값이 실제 최댓값 이상인 비율로 후보군의 증거를 평가한다.

후보마다 날짜를 따로 뽑으면 같은 시장에 반응하는 후보 간 상관이 사라진다.

블록 안에서 날짜 순서를 유지해 수익이 이어지는 성질도 일부 보존한다. 여기서 작은 유의확률은 탐색한 후보군의 최고 결과가 우연만으로 나오기 어렵다는 증거다. 후보 A를 평가 전에 고정했을 때의 유의확률과 해석이 다르다. 형편없는 후보가 많이 포함되면 검정이 지나치게 보수적일 수 있다. Superior Predictive Ability Test(우월 예측 능력 검정, SPA)는 중심 조정을 개선해 이런 후보가 기준 분포에 미치는 영향을 줄인다.

샤프지수를 비교할 문턱을 높이기

Probabilistic Sharpe Ratio(확률적 샤프지수, PSR)는 관측 샤프가 정한 문턱을 넘는다는 증거를 수치화한다. 관측값과 문턱의 차이가 클수록, 관측이 많을수록 증거가 커진다. 수익이 한쪽으로 치우치거나 큰 변동이 자주 발생하면 정규 수익을 가정한 오차와 달라진다. 이를 반영해 같은 빈도의 샤프와 수익률 분포로 다음 값을 계산한다.

$$\operatorname{PSR}(S^*)=\Phi\left( \frac{(\widehat S-S^*)\sqrt{T-1}} {\sqrt{1-\gamma_3\widehat S+(\gamma_4-1)\widehat S^2/4}} \right)$$

$\operatorname{PSR}(S^*)$

Probabilistic Sharpe Ratio(확률적 샤프지수), 0부터 1 사이의 값

$\widehat S$, $S^*$

Observed and Benchmark Sharpe(관측 샤프와 검정 문턱), 같은 기간 빈도의 무차원 값

$T$

Observation Count(표본 수), 관측 개수

$\gamma_3$, $\gamma_4$

Skewness and Kurtosis(왜도와 첨도), 무차원이며 정규분포의 첨도는 3

$\Phi$

Standard Normal Cumulative Distribution(표준정규 누적분포 함수), 확률로 환산

시계열 의존성이 크면 관측 수를 그대로 대입하기보다 유효 표본 수나 의존성을 고려한 방법으로 조정한다. Deflated Sharpe Ratio(탐색 보정 샤프지수, DSR)는 문턱을 0으로 놓는 대신 실력이 없는 후보들을 같은 규모로 검색했을 때 나올 법한 최고 샤프로 높인다. 비슷한 조회 기간 100개가 모두 독립적인 아이디어는 아니므로 후보 간 상관을 반영한 유효 탐색 횟수가 필요하다. 한 후보의 샤프가 그대로여도 비교 문턱이 높아지면 통과 증거는 줄어든다.

통과 목록 전체의 오류를 제한하기

Family-wise Error Rate(검정군 오류율, FWER)는 후보군에서 거짓 양성이 하나라도 생길 확률을 제어한다. Holm–Bonferroni 절차는 유의확률을 작은 순으로 정렬한 뒤, 처음에는 허용 수준을 전체 후보 수로 나눈 엄격한 기준을 적용한다. 통과한 후보를 제외하면서 기준을 완화하고 처음 실패한 곳에서 멈춘다. 거짓 후보 한 개의 통과도 부담이 큰 경우에 맞는다.

False Discovery Rate(거짓 발견율, FDR)는 통과 후보 중 거짓인 비율의 기대값을 제어한다. Benjamini–Hochberg 절차는 정렬한 각 순위에 비례해 허용 문턱을 늘리고, 문턱을 충족하는 가장 큰 순위까지 채택한다. 표준 절차는 독립 또는 일정한 양의 의존 조건에서 쓰며, 복잡한 의존성이 강하면 그에 맞는 방법이 필요하다. 많은 신호를 1차 선별해 이후 검증을 거치는 상황에서는 두 오류율이 허용하는 판단이 다르다.

후보들이 비슷할 때 실제 탐색 폭 측정하기

Rademacher Anti-Serum(라데마허 탐색 보정, RAS)은 후보별 성과를 같은 기간에 나란히 둔 행렬에서 출발한다. 각 행은 평가 기간, 각 열은 후보 전략이다. 샤프에 가까운 지표를 쓰려면 각 기간의 포트폴리오 수익을 당시 가중치와 공분산으로 얻은 위험 추정치로 나눈다. 신호를 비교할 때는 기간별 Information Coefficient(정보계수, IC)를 넣을 수 있다. 예를 들어 신호 벡터와 시장 공통 움직임을 뺀 실제 수익 벡터의 내적을 두 벡터 길이의 곱으로 나눠 방향 일치를 평가한다.

각 날짜에 무작위로 +1 또는 −1을 붙이고, 같은 날짜의 모든 후보에 동일한 부호를 곱한다. 그런 뒤 후보별 평균의 최댓값을 구한다. 여러 번 반복한 최댓값 평균이 Empirical Rademacher Complexity(경험적 라데마허 복잡도)다. 모든 후보가 거의 같은 손익을 내면 무작위 부호에 잘 들어맞는 후보를 따로 고르기 어렵다. 다양한 손익 패턴이 있으면 어떤 후보가 우연히 부호와 맞아 최댓값이 커질 수 있다.

두 기간의 위험 조정 수익이 A는 0.02와 −0.02, B는 −0.02와 0.02라고 하자. 두 후보의 실제 평균은 모두 0이다. 첫 기간에 +1, 둘째 기간에 −1을 붙인 한 번의 반복에서는 A의 평균이 0.02, B의 평균이 −0.02가 된다. 이 반복의 최댓값은 0.02다. 두 기간에 같은 부호를 붙이면 두 평균 모두 0이다. 여러 반복에서 최댓값을 평균내면 부호만 달라져도 후보 선택이 만들어 낼 수 있는 우위의 크기를 추정할 수 있다.

이 값과 표본 오차 항을 각 후보 평균에서 빼서 후보군 전체에 동시에 적용되는 하한을 만든다. 기간 수익이 강하게 의존하면 겹치지 않는 기간 블록 등 의존성을 고려한 설계가 필요하다. 이 하한은 후보군을 포함한 입력과 적용 조건에 의존한다. DSR은 승자의 샤프 문턱, 현실 검정은 후보군 최고 성과, 오류율 보정은 통과 목록, 라데마허 방법은 후보군 동시 하한을 다룬다.

탐색 폭을 표본 길이와 함께 기록하기

단순 독립 모형에서 필요한 표본 길이는 후보 수의 로그에 비례하고, 구분하려는 샤프의 제곱에 반비례한다. 기간 샤프를 쓰면 기간 수로, 연환산 샤프를 쓰면 연수로 계산한다. 이 근사는 수익의 비정규성, 시계열과 후보 간 의존성, 검정력과 거래비용 오차를 생략한다. 짧은 기록에서 후보를 크게 늘릴 때 필요한 증거가 얼마나 늘어나는지 감을 잡는 용도로 쓴다.

기록에는 특성·정답·예측 기간·조회 기간, 모델·설정값·학습 창, 비중·리밸런싱·후보 자산·비용·제약·위험 관리·시장 상태와 선택 지표를 포함한다. 오류를 고쳐 같은 가설을 재계산하는 경우와 결과를 본 뒤 투자 규칙을 변경하는 경우를 구분한다. 탐색에서 후보를 찾고, 확증에서는 규칙을 고정한 뒤 후보를 고르는 데 쓰지 않았던 구간에서 제한된 비교를 수행한다.