1장 도입. 프로세스가 곧 경쟁 우위다

같은 모델에서 결과가 달라지는 이유

5월 11일 08:30에 지우가 알 수 있었던 영업이익은 10억 원이다. 가상의 A사는 5월 8일 16:00에 이전 분기 영업이익 10억 원을 공개했다. 새 분기 영업이익 20억 원은 지우가 종목을 고른 뒤인 5월 12일 16:00에 공개됐다.

지우와 민서는 같은 Machine Learning(머신러닝, ML) 모델에 A사의 실적을 넣어 수익률을 예측한다. 지우는 10억 원을 넣는다. 민서는 20억 원을 공시 공개일 대신 3월 31일 분기 종료일에 붙인다. 그러면 5월 11일 Backtest(백테스트, 과거 데이터로 매매를 재현하는 검증)에 아직 공개되지 않은 20억 원이 들어간다. 민서의 결과가 더 좋아 보여도, 두 모델이 사용한 정보부터 다르므로 성과 차이를 모델의 실력으로 돌릴 수 없다.

1. ●5월 8일 16:00
   이전 분기 영업이익 10억 원 공개↓
2. ●5월 11일 08:30
   종목 선정. 당시 공개된 값인 10억 원으로 예측↓
3. ●5월 12일 16:00
   새 분기 영업이익 20억 원 공개

3월 31일은 새 실적이 설명하는 기간의 마지막 날이다. 20억 원을 알게 된 날은 5월 12일이다.

이런 오류를 Look-ahead Bias(미래 정보 편향)라고 한다. 실적이 어느 기간을 설명하는지와 언제 공개됐는지를 따로 기록하면 오류를 막을 수 있다. 같은 입력을 재현할 수 있으면 성과 차이가 모델에서 나왔는지, 자료를 다룬 방식에서 나왔는지 확인할 수 있다. 결과가 좋을 때도 그 결과를 만든 정보와 결정을 거슬러 올라가 확인할 수 있어야 한다.

아이디어에서 실제 매매 전략까지

Machine Learning for Trading(트레이딩을 위한 머신러닝, ML4T)에서는 예측 점수를 만든 뒤에도 여러 결정이 남는다. 지우가 이 공시 전략을 검증한다고 생각해 보자. 먼저 공시의 대상 기간, 공개 시각, 수정 이력을 담은 Data Infrastructure(데이터 기반)를 마련한다. 이 기반이 있어야 과거의 종목 선정 시각을 골라 당시 공개되어 있던 정보를 다시 꺼낼 수 있다.

1. 연구 범위 설정. 어떤 종목을 대상으로 언제 결정하고, 어느 기간의 수익률을 예측할지 정한다. 이 규칙이 이후에 만들 데이터의 대상과 시간 범위를 정한다.
2. Feature Engineering(특성 공학). 공개된 실적에서 직전 분기 대비 영업이익 변화처럼 모델이 읽을 수 있는 입력값을 만든다. 계산 방식과 사용 가능한 시각을 기록하고, 날짜와 종목별로 정리된 입력 데이터를 모델에 넘긴다.
3. 모델링. 과거 구간에서 모델을 학습하고 이후 구간에 예측 점수를 낸다. 날짜별로 남긴 점수가 다음 단계의 종목 선정에 쓰인다.
4. 전략 설계와 검증. 점수가 높은 종목을 몇 개 살지, 비중을 어떻게 나눌지, 주문은 언제 체결된다고 가정할지 정한다. 수수료와 매매 가격 차이를 반영한 성과를 보고, 이 규칙을 실제로 실행할 만한지 판단한다.
5. 배포와 모니터링. 운영 환경에서 같은 규칙으로 데이터를 받고 주문을 내보낼 수 있는지 확인한다. 공시 수집이 늦거나 체결 비용이 가정보다 커지면, 운영 기록으로 원인을 추적하고 필요에 따라 거래를 멈추거나 연구 단계로 돌아간다.

백테스트에서 탐색과 확인을 구분하는 법

지우가 실적 증가율의 계산 방식, 종목 수, 보유 기간을 바꿔 스무 가지 후보를 비교했다고 하자. 우연히 특정 시기에 잘 맞은 후보도 상위에 오를 수 있다. 최고 성과 하나만 남기면 독자는 애초에 정한 규칙을 한 번 시험했는지, 여러 결과를 본 뒤 그 규칙을 골랐는지 구분할 수 없다.

Exploration(탐색)에서는 후보를 바꿔 보며 가설을 다듬고, 어떤 조건을 시도했는지와 결과를 기록한다. Confirmation(확인)에서는 평가할 규칙과 기준을 먼저 고정하고, 그 후보를 고르는 데 쓰지 않은 이후 기간에서 검증한다. 결과를 본 뒤 종목 수를 다시 바꿨다면 그 기간도 탐색에 쓰인 셈이다. 책에서 말하는 Evidence Boundary(증거 경계)는 어느 데이터가 아이디어를 고르는 데 쓰였고 어느 데이터가 그 아이디어를 검증하는 데 쓰였는지 가르는 선이다. Selection-adjusted Inference(선택을 반영한 추론)는 여러 후보 중 하나를 골랐다는 사실까지 고려해 성과의 증거를 해석하는 방법이다.

시장 변화에 따른 전략 점검

공시 전략이 과거에는 잘 작동했는데 최근에는 약해졌다고 가정해 보자. 시장이 어떻게 변했는지에 따라 확인할 기록도 달라진다.

• Structural Break(구조적 단절)는 어느 시점을 경계로 기존 관계가 크게 달라지는 경우다. 공시 제도가 바뀌어 실적 정보가 시장에 전달되는 시간이 갑자기 달라졌다면, 변경 전후의 공개 시각과 주가 반응을 비교해 볼 수 있다.
• Market Regime(시장 국면)은 비슷한 시장 환경이 한동안 이어지는 상태다. 평온한 시기와 변동성이 높은 시기에는 같은 종목 선정 규칙이라도 주문 체결 비용과 손실 폭이 다를 수 있다. 어느 환경에서 성과가 약해졌는지 나누어 보면 취약한 조건이 드러난다.
• Drift(드리프트)는 데이터의 분포나 입력값과 수익률의 관계가 시간에 따라 달라지는 현상이다. 예를 들어 비슷한 실적 발표에 대한 시장 반응이 몇 분기에 걸쳐 약해진다면, 최근 구간별로 예측 점수와 실제 수익률의 관계를 추적해 볼 수 있다.

연구에서 인과 추론과 생성형 인공지능의 역할

Causal Inference(인과 추론)는 실적과 주가가 함께 움직일 때, 업종 전체의 상승처럼 두 현상에 함께 영향을 주는 요인을 고려해 실적 정보의 효과를 따져 보는 데 쓰인다. Generative AI(생성형 인공지능)는 공시에서 연구할 후보 정보를 찾거나 실험 기록의 초안을 정리하는 데 쓸 수 있다. 예를 들어 공시에서 뽑은 숫자와 날짜를 모델에 넣기 전에 원문과 대조해야 한다. 어떤 도구를 쓰더라도 정보를 언제 알 수 있었고 어떤 근거로 판단했는지가 연구 기록에 남아야 한다.