CHAPTER 01 / SECTION 01
1.1 프로세스 규율이 중요한 이유
시장이 변할 때 모델의 가정을 점검하고 연구 오류를 줄이는 방법을 설명합니다.
좋은 예측도 거래 과정에서 무너질 수 있다
지우의 모델은 5월 11일 시가보다 5월 18일 시가가 높은 종목을 잘 골랐다. 그런데 막상 주문을 내자 예상보다 비싸게 샀다. 거래량이 적은 종목에 매수 주문이 몰렸기 때문이다.
이때 수익이 줄었다는 사실만으로는 원인을 알 수 없다. 종목을 잘못 골랐을 수도 있고, 종목은 잘 골랐지만 주문 비용이 예상보다 컸을 수도 있다. 두 원인은 확인할 기록도, 고칠 부분도 다르다.
시장 상황이 바뀌면 어긋나는 가정도 달라진다. 거래 상대가 줄면 원하는 가격에 주문을 채우기 어렵다. 한 종목에 투기적 매수가 몰리면 가격이 곧 내려올 것이라는 가정이 흔들린다.
포트폴리오도 영향을 받는다. 주식과 채권이 함께 하락하면 두 자산을 나눠 담았을 때 기대한 방어 효과가 줄어든다. 지수 상승이 몇몇 대형주에 집중되면 종목을 넓게 담는 전략도 지수만큼 오르지 못할 수 있다.
서로 다른 네 충격이 드러낸 가정
| 시장에서 벌어진 일 | 영향을 받은 가정 | 연구자가 확인할 기록 |
|---|---|---|
| 2020년 팬데믹 때 미 국채 시장에서 거래를 중개하기 어려워졌다. | 급할 때도 국채를 평소 가격 근처에 팔 수 있고 자산별 손실이 서로 상쇄된다는 가정 | 호가 차이, 체결량, 자산별 일간 수익률 |
| 2021년 밈 주식에 매수와 기존 매도 포지션의 청산이 몰렸다. | 급등한 종목이 보유 기간 안에 평소 가격대로 돌아온다는 가정 | 급등 이후 반전까지 걸린 시간과 그 사이 손실 |
| 2021~2023년 물가 상승으로 금리와 자산 가격의 관계가 바뀌었다. | 주식이 떨어질 때 채권이 방어해 준다는 가정 | 주식과 채권이 함께 떨어진 날짜, 금리 변화 |
| 일부 초대형주가 지수 상승을 이끌었다. | 지수를 사면 위험이 많은 기업에 골고루 분산된다는 가정 | 상위 종목의 비중과 지수 상승 기여도 |
네 사례는 충격이 시작된 이유가 다르다. 공통으로 드러난 문제는 과거에 확인한 체결·반전·분산 조건을 계속 적용할 수 있다고 가정한 것이다. 조건별로 확인할 기록을 정해 두면 새 사건이 생겼을 때 시장 전체가 변했다는 설명에서 한 단계 더 나아갈 수 있다.
시장 변화와 모델의 이상 징후
공시 제도가 바뀐 뒤 실적 정보가 갑자기 더 빨리 가격에 반영됐다고 하자. 관계가 크게 바뀐 날짜에 주목하면 Structural Break(구조적 단절) 후보다.
변동성이 높고 거래가 어려운 상태가 한동안 이어졌다면 Market Regime(시장 국면)으로 볼 수 있다. 앞의 예가 변화가 시작된 시점에 초점을 둔다면, 이 예는 어떤 시장 환경이 이어졌는지에 초점을 둔다.
모델을 운영하다 보면 입력이나 예측 관계가 예전과 달라졌다는 신호가 잡힌다. 이를 Drift(드리프트)라고 한다.
- 입력이 바뀐 경우. 실적 변화율이 큰 종목이 예전보다 많아졌다. Data Drift(데이터 드리프트)의 예다.
- 입력과 결과의 관계가 바뀐 경우. 비슷한 실적 개선이 예전만큼 높은 수익률로 이어지지 않는다. Concept Drift(개념 드리프트)의 후보다.
두 변화가 함께 나타날 수도 있다. 경보가 뜨면 먼저 공시 수집에 문제가 없었는지 살핀다. 그다음 시장 환경과 신호 성과를 확인한다. Online Detection(실시간 탐지)에서 경보를 낼 때는 그 시점까지 확보한 정보만 사용한다.
같은 신호에서 수익이 달라지는 과정
지우의 가상 실험에서 모델이 고른 종목의 주간 수익률이 비교 기준보다 0.4%포인트 높았다. 비교 기준은 그대로 두고, 이 전략의 매수·매도 비용만 바꿔 보자.
- 비용이 0.15%포인트면 기준보다 0.25%포인트 높다.
- 비용이 0.50%포인트로 오르면 기준보다 0.10%포인트 낮다.
두 경우에 모델이 고른 종목은 같다. 따라서 주문 비용이 문제인 상황에서 모델만 다시 학습하면 성과가 나빠진 이유를 놓칠 수 있다.
반대로 거래 비용이 비슷한데 상위 종목과 하위 종목의 수익률 차이가 사라졌다면 신호 쪽을 먼저 확인한다. 공시 시각이나 결측 처리 방식이 달라졌는지 확인하고, 데이터에 문제가 없다면 실적 정보가 예전보다 빨리 가격에 반영되는지 살펴본다. Adaptive Markets Hypothesis(적응적 시장 가설)는 시장 참여자가 배우고 경쟁하면서 이런 기회가 약해지거나 다시 나타날 수 있다고 본다. 과거에 효과가 있었던 이유와 지금도 그 조건이 남아 있는지를 함께 기록해야 하는 이유다.
다음 단계가 사용할 결과를 검수하기
지우가 예측 모델의 점수를 주문 코드에 넘긴다고 하자. 점수가 날짜별로 잘 만들어져도 종목 코드가 주문 시스템과 다르면 다른 종목이 거래될 수 있다. 완성된 모델의 점수만으로는 발견하기 어려운 오류다.
Cross-Industry Standard Process for Data Mining(범산업 데이터 마이닝 표준 절차, CRISP-DM)은 문제를 정의하는 일부터 배포까지 이어지는 흐름을 제시한다. Cross-Industry Standard Process for Machine Learning with Quality Assurance(품질 보증을 포함한 범산업 머신러닝 표준 절차, CRISP-ML(Q))에서는 목표와 자료를 먼저 살피고, 각 인계 단계에서 품질을 확인하며 배포 후에도 감시한다. 공시 전략에 적용하면 아래 순서가 된다.
- 목표와 데이터 이해
보유 기간과 거래 가능 종목을 정의하고, 당시 자료가 남아 있는지 확인한다. - 자료 준비
종목 코드와 공개 시각을 붙여 모델 입력을 만들고, 시점 오류와 누락을 점검한다. - 모델링
간단한 순위 규칙부터 예측 점수를 만든다. - 평가
선택에 쓰지 않은 기간에서 비용과 위험을 포함해 통과 기준을 확인한다. - 배포
점수가 같은 종목 코드와 주문 비중으로 이어지는지 확인한다. - 모니터링과 유지
입력·신호·체결을 나누어 감시하고, 원인에 따라 자료 준비나 목표 설정으로 돌아간다.
각 단계는 다음 단계가 다시 확인할 수 있는 결과를 남긴다.
검증과 운영을 하나의 과정으로 관리하기
유연한 모델과 빠른 자동화는 더 많은 가설을 시험할 수 있게 한다. 그만큼 우연히 맞는 조합을 찾고 나중에 그럴듯한 이유를 붙이기도 쉬워진다. 그래서 연구를 시작할 때 기각 기준을 정하고, 당시 알 수 있던 데이터로만 실험하며, 실패한 시도까지 기록한다. 체결 비용과 거래 가능 규모를 반영한 뒤에도 전략이 버티는지 점검한다.
가령 현재 상장된 종목만 남기고 과거를 재현하면 사라진 종목의 손실이 빠진다. 이것이 Survivorship Bias(생존 편향)다. 과거 결과를 본 뒤 잘 맞는 업종 설명을 붙이는 Narrative Overfitting(이야기 과적합)도 있다. 연구 장부에 조사한 후보와 사전에 정한 기각 기준을 남기면, 처음부터 예상한 결과와 나중에 찾아낸 패턴을 나눌 수 있다. 여러 후보 중 가장 좋은 것을 고른 뒤 한 번만 시험한 것처럼 해석하는 Multiple Testing(다중 검정) 문제도 같은 장부에서 드러난다.
배포 후에는 신호 성과, 데이터 품질, 주문 결과를 구분해 감시한다. 실패 기준에 걸린 전략을 계속 돌릴지 판단할 때는 과거에 들인 시간보다 지금 확보한 증거를 기준으로 삼는다. 이런 기록과 대응 절차가 있으면 모델을 바꾼 뒤에도 어떤 가정이 개선됐는지 비교할 수 있다.