4.7 후보와 실행 기록 남기기

가장 좋은 성과표를 만든 실행을 다시 찾는다

지우가 ETF 점수 조합을 여러 번 시험하고 최종 그래프만 남겼다고 가정한다. 지난달 수익률을 바꿔서 좋아진 것인지, 수수료를 바꾼 날에 실행해서 좋아진 것인지 알 수 없다. Run Log(실행 기록)는 실행 때 자동으로 남기는 설정과 결과 위치다. 나중에 그래프를 만든 실행 번호에서 코드, 자료, 분할과 주문 결과를 다시 찾을 수 있다.

기록에는 세 가지 쓰임이 있다. 첫째, 같은 비용·자료·분할에서 한 입력을 바꾼 결과를 비교한다. 둘째, 얼마나 많은 대안을 어떤 기준으로 비교했는지 드러낸다. 셋째, 노트북의 어느 셀을 실행했는지 추측하지 않고 결과를 복구한다. 언어 모델이 제안한 아이디어도 후보에 추가된다면 선택 과정에 포함된다.

후보 수와 실행 횟수는 다르다

1. ●Strategy(전략)
   월말 ETF 매수 전략과 목적, 거래 대상·주기·비중 방식·비용 종류를 고정한다.↓
2. ●Trial Family(비교군)
   나머지는 고정하고 과거 수익률 관측창만 비교한다.↓
3. ●Trial(후보 설정)
   관측창 20일, 60일, 120일을 각각 완전한 설정으로 저장한다.↓
4. ●Run(실행)
   각 설정을 두 번씩 실행하고 코드 버전, 자료, 난수 시드와 환경을 남긴다.

이 비교군에는 후보가 3개, 실행은 6개다. 실행 번호로 그래프를 찾고, 후보 기록으로 탐색 범위를 파악한다.

후보 설정에는 정확한 점수 정의, 입력, 모형과 학습 설정, 비중 규칙이 들어간다. 같은 후보를 다른 시드로 실행해 평균을 미리 보고하기로 했다면 후보 수를 두 배로 셀 이유가 없다. 가장 좋은 시드까지 골랐다면 그 선택도 기록해야 한다. 비슷한 세 규칙은 서로 독립인 세 규칙만큼 다른 기회를 주지는 않지만, 실패한 두 후보를 기록에서 없애면 우연히 뽑힌 성과를 평가하기 어렵다.

Deflated Sharpe Ratio(보정 샤프 비율)는 많은 후보 중 가장 높은 위험 대비 수익률을 골랐을 때 우연으로 설명하기 쉬워진다는 점을 반영한다. 후보 수와 서로 비슷한 정도, 수익률의 분포와 표본 길이가 해석에 영향을 준다. 기록이 없다면 보정에 필요한 탐색 규모도 추정하기 어렵다.

다섯 범주를 실행과 함께 저장한다

실행 기록의 다섯 범주

무엇을 남기는가	나중에 확인하는 일
출처: 설정 버전, 후보와 실행 ID, 코드 변경 식별자, 시각, 난수 시드	어떤 코드와 조건으로 다시 실행할지 찾는다.
자료와 평가: 데이터 버전, 당시 이용 조건, 개발·보류 날짜, 이동 간격, 라벨·특성 버퍼와 정답 구간	뒤의 자료가 학습에 들어갔는지와 같은 날짜를 비교했는지 확인한다.
계산 설정: 기준 전략, 특성·전처리, 모델·학습 설정, 비중 규칙, 위험·비용	바꾼 요소와 결과의 차이를 연결한다.
결과물: 특성·라벨, 예측, 포지션, 거래, 손익과 진단의 저장 위치	어떤 주문이 비용을 만들었는지까지 따라간다.
선택과 통과 기준: 주 지표, 선택 규칙, 보고할 지표, 최종 평가 판정	유지한 이유와 봉인 기간을 사용한 시점을 확인한다.

재현·비교·보류 판정에 쓰는 항목을 먼저 자동화한다. MLflow나 Weights & Biases 같은 실행 관리 도구도 쓸 수 있다. 어떤 도구든 전략이 어떤 날짜와 비용을 사용했는지 자동으로 정확히 알아내지는 못하므로 설정을 직접 연결한다.

탐색 결과를 새 가설로 넘기고 확증은 따로 한다

지우는 120일 점수가 예상 밖으로 좋았던 이유를 개발 자료에서 조사할 수 있다. 그 결과를 바탕으로 경제적 이유, 점수 규칙, 평가 기준을 쓰고 아직 보지 않은 기간에서 시험한다. 이렇게 결과를 보기 전에 시험을 적는 것을 Preregistration(사전 등록)이라고 한다. 탐색 중에 고른 결과를 처음부터 정한 시험처럼 보고하지 않고, 확증 후보 중에서 다시 최고를 골랐다면 그 비교도 보정에 포함한다.

이미 본 기록에서 후보를 많이 골랐을 때 우연한 이득의 크기를 가늠하는 방법으로 Rademacher Anti-Serum(라데마허 탐색 보정) 같은 접근도 있다. 보정은 선택 비용을 이해하는 데 도움이 되지만 누출된 자료를 정당화하지는 못한다. 기록과 봉인 구간이 함께 있어야 어느 결과가 다음 가설을 만들었고 어느 결과가 그 가설을 시험했는지 구분할 수 있다.