16장 개요와 전략의 성과가 어디에서 달라지는지 찾기

종목을 잘 고른 모델의 계좌가 손실로 끝날 때

한 연구자가 매달 다음 달에 오를 만한 주식을 고른다. 검증 기록에는 상위 점수 종목이 대체로 높은 수익을 냈다고 나온다. 그런데 실제로 투자할 종목에 돈을 나누고 매매 비용을 빼자 수익이 줄고, 뒤의 시장에서는 손실로 바뀐다. 종목 순위를 맞히는 능력과 계좌에 수익을 남기는 능력을 확인하려면 각각의 기록이 필요하다.

1. 공개된 자료로 다음 수익률 예측
2. ↓종목을 고르고 투자 비중 결정
3. ↓체결 비용과 청산 규칙 반영
4. ↓남겨 둔 기간에서 같은 규칙 시험

단계마다 결과를 저장해 두면 마지막 수익이 나빠졌을 때 처음 변화가 나타난 지점을 찾을 수 있다.

아홉 시장에서 같은 절차 적용하기

미국 주식부터 선물, 옵션, 외환과 무기한 선물까지 아홉 사례에 공통 절차를 적용한다. 관측 주기는 15분부터 한 달까지 다르다. 가격과 수익률 중심의 입력에 시장별 기본 특성을 더했다. 기업 특성 및 주식·옵션 결합 사례에서는 각각 기업 정보와 옵션에서 읽은 정보를 추가로 썼다. 대부분의 사례에는 장중 호가 잔량, 외환의 금리차, 암호화폐의 블록체인 활동처럼 시장별로 유용할 수 있는 입력이 빠져 있다.

연구자는 시간 순서대로 학습 구간과 Validation(검증 구간)을 앞으로 옮기면서 설정을 비교한다. 이 방식이 Walk-forward Validation(순차 이동 검증)이다. 다음으로 선택한 설정을 다시 적합하고, Holdout(최종 시험 구간)의 1~2년 동안 고정해 평가한다. 시험 중 재학습하거나 손실을 보고 설정을 바꾸면 뒤쪽 데이터를 다시 연구에 사용하게 된다. 재학습이나 중단 규칙을 연구하려면 그 규칙을 먼저 정하고 새 기간에서 평가한다.

어디에서 성과가 달라졌는지 기록하기

순위가 시험 구간에서부터 어긋났다면 예측 목표와 입력을 살핀다. 순위는 유지됐는데 계좌만 부진하면 선택 종목, 비중, 회전율과 비교 기준을 확인한다. 주문 규모를 키울 때 체결 가격이 달라진다면 같은 과거 수익률도 운용 가능한 금액을 알려주기 어렵다. 각 사례는 표준 설정으로 한 차례 진행한 결과다. 설정 간 작은 차이는 표본 오차와 탐색의 영향을 함께 확인한 뒤 해석한다.