16.2 특성 선별 결과와 전략 성과 구분하기

많은 후보 중 다시 볼 특성을 고르기

연구자가 가격·거래량에서 만든 지표 70개를 하나씩 확인한다. 아무 관계가 없어도 70개를 각각 5% 기준으로 검사하면 평균 3.5개가 우연히 통과할 수 있다. 이는 관계가 없다고 가정했을 때 기대하는 개수다. 실제 후보에는 관계가 있는 것과 없는 것이 섞인다. False Discovery Rate(거짓 발견율, FDR)는 통과로 판정한 후보 중 잘못 통과한 비율의 기댓값을 다룬다.

Benjamini–Hochberg Procedure(벤저미니–호크버그 절차)는 각 후보의 p-value(유의확률)를 작은 순서로 놓고, 뒤 순위로 갈수록 커지는 문턱과 비교한다. 후보가 20개이고 목표가 5%라면 3위의 문턱은 3을 20으로 나눈 뒤 5%를 곱한 0.75%다. 3위가 이 기준을 만족하고 더 뒤에는 만족하는 후보가 없다면 1~3위를 통과시킨다. p값은 관계가 없다는 가정 아래 이 정도로 극단적인 결과가 나올 확률이며, 관측된 후보 자체가 거짓일 확률과는 다른 수치다. 검정 간 의존 구조에 따라 FDR 제어의 조건도 확인한다.

구간별로 IC가 양수·음수를 반복하는 후보는 전체 평균이 양수여도 불안정하다. 특성 순위를 10개 구간으로 나눈 뒤 실제 미래 수익률을 비교하면 점수가 오를 때 수익률도 대체로 같은 방향으로 움직이는지 알 수 있다. 중간 구간만 유난히 수익이 높다면 높은 점수부터 순서대로 매수하는 규칙에 연결하기 어렵다. Fold(검증 구간) 부호와 Monotonicity(단조성)는 이 두 문제를 살핀다. 진행은 후보를 다음 단계에서 평가한다는 뜻이며, 근거가 모호하면 수정하거나 중단한다.

비슷한 진행률에서 다른 시험 성과가 나온 이유

암호화폐에서는 45개 중 32개, 즉 71.1%가 진행 판정을 받았다. 미국 기업은 57개 중 40개로 70.2%였다. 그런데 검증에서 고른 구성의 시험 샤프는 1.90 차이가 났다. 암호화폐에서 관찰한 순위 관계가 뒤쪽 시장에서 약해졌기 때문이다. 주식·옵션 결합에서는 FDR 통과가 0개였지만 구간 부호와 단조성에서 근거를 보여 4개가 진행됐다. 이 경우에도 시험 결과는 음수였다.

아홉 사례의 진행률과 시험 샤프를 직선으로 연결해 비교했을 때 R-squared(결정계수)는 0.14였다. 진행률 50% 미만인 일곱 사례만 놓으면 0.45였다. 좁힌 표본의 직선이 더 잘 맞았어도 그 차이만으로 새 시장의 성과를 예측하기는 어렵다. 표본이 작고 비용과 상품, 시점이 서로 다르다.

특성 하나의 순위 관계에는 주문 비용을 넘는 수익의 크기나 여러 특성의 결합 효과가 들어 있지 않다. 예를 들어 자금조달률 지표 여러 개가 같은 거래 흐름에 반응하면 진행 개수만 많아질 수 있다. 모델 적합 뒤 전체 예측을 움직이는 특성과 유난히 손실이 컸던 개별 거래를 움직인 특성을 나눠 살피면 다음에 수정할 입력을 좁힐 수 있다.