1.5 현실의 개인 연구자와 기관 워크플로

한 사람이 여러 역할을 맡을 때 필요한 기록

기관에서는 연구자가 모델을 제안해도 주문 담당자가 체결 가정을, 위험 담당자가 거래 한도를 따로 살펴볼 수 있다. 개인 연구에서는 한 사람이 모델을 만들고 평가하며 주문 조건도 정하는 경우가 많다. 그래서 결과를 보기 전에 판단 기준을 적어 두는 편이 도움이 된다.

예를 들어 지우가 처음에는 비용을 뺀 수익률로 성공 여부를 정했다. 결과가 기대에 못 미치자 손실 폭이 작다는 이유로 성공 기준을 바꾼다면 처음 가설을 통과했는지 알기 어렵다. 이렇게 결과를 본 뒤 잣대를 옮기는 일을 Goalpost Drift(목표 기준 이동)라고 한다.

체결은 빠르고 비용은 낮고 거래량은 충분하다고 동시에 가정할 수도 있다. 각각은 작은 차이처럼 보여도 세 조건이 한꺼번에 유리해야 수익이 남는다면 실전에서 결과를 재현하기 어렵다. 이를 Assumption Stacking(유리한 가정의 누적)이라고 한다. 실험 초기에 비용과 주문 조건을 바꿔 보면 어느 가정이 성과를 떠받치고 있는지 찾을 수 있다.

혼자서 입력과 모델을 계속 바꾸면 무엇을 시도했는지 잊기 쉽다. 가장 좋은 결과만 남으면 새 정보가 성과를 개선했는지, 여러 후보 중 운 좋게 남은 것인지 구별하기 어렵다. 또 체결 검토를 미루면 몇 주 동안 다듬은 신호가 작은 지연이나 거래량 한도에도 버티지 못한다는 사실을 늦게 알 수 있다. 실험 장부와 초기 거래 점검은 기관의 독립 검토가 수행하는 역할 일부를 대신한다.

시작부터 운영까지 남길 점검 기록

1. 범위 설정. 사용할 정보, 주문 시간, 규모, 기각 기준을 실험 전에 적는다. 필요한 거래 규모에서 비용이 신호를 잠식하면 조기에 중단할 수 있다.
2. 데이터 무결성. 종목 선정 시각을 하나 골라 공시 공개와 정정 시각을 대조하고, 당시 입력이 재현되는지 점검한다.
3. 신호 견고성. 학습 구간, 입력 처리, 시장 상태를 조금 바꿔도 성과가 유지되는지 본다. 한 설정에서만 성과가 좋으면 탐색 후보로 둔다.
4. 거래 가능성. 체결을 늦추거나 비용을 높이고 주문 참여율을 낮춰 본다. 하나의 유리한 가격 가정에 수익이 몰리는지 확인한다.
5. 운영 진단. 주문 전 점수, 데이터 도착 시각, 실제 체결가를 분리해 보관한다. 입력이 늦게 도착했으면 수집 경로를, 점수가 같은데 체결 비용이 올랐으면 주문 방식을 조사한다.

전략을 중단하거나 다시 검토하는 기록

지우는 실험을 시작하기 전에 중단 기준을 정한다. ‘주문 체결을 늦추고 비용을 높였을 때 수익이 사라지면, 모델 설정을 더 바꾸기 전에 거래 조건부터 다시 검토한다.’

기본 실험에서 주간 수익률이 비용 전 0.4%포인트, 왕복 비용이 0.15%포인트라면 차이는 0.25%포인트다. 비용을 두 배인 0.30%포인트로 올려도 0.10%포인트가 남는다. 그런데 체결까지 늦춰 비용 전 차이가 0.25%포인트로 줄면, 0.30%포인트를 뺀 결과는 −0.05%포인트다. 비용과 지연을 한 번에 바꾸는 실험에 앞서 하나씩 바꾸면 어느 가정에 더 민감한지 알 수 있다. 지우는 두 결과와 중단 이유를 함께 기록한다. 나중에 비용 가정을 다시 검토할 근거가 생기면, 기존 기록을 덮어쓰지 않고 변경 이유를 적은 새 실험을 시작한다.

주문 가정	비용 전 차이	왕복 비용	비용 후 차이
기본	+0.40%포인트	0.15%포인트	+0.25%포인트
비용 두 배	+0.40%포인트	0.30%포인트	+0.10%포인트
비용 두 배와 체결 지연	+0.25%포인트	0.30%포인트	−0.05%포인트

운영에서 성과가 나빠졌을 때도 기록을 한꺼번에 판단하지 않는다. 공시가 늦게 들어왔다면 먼저 수집 과정을 본다. 입력과 점수는 그대로인데 체결가만 나빠졌다면 주문 조건을 확인한다. 입력도 체결도 정상인데 높은 점수의 종목이 계속 성과를 내지 못한다면, 그때는 신호를 다시 검증할 근거가 있다.

관측 기록	먼저 확인할 곳
공시 도착이 늦어짐	수집 경로와 공개 시각
점수는 같지만 체결가 악화	주문 규모와 시장 유동성
입력과 체결이 정상이고 순위만 약화	예측 규칙과 시장 변화

다음 연구에도 남는 작업

속도나 고가 데이터에 크게 의존하는 전략은 개인 연구자가 같은 조건에서 검증하기 어렵다. 반대로 큰 자금이 들어가면 가격 충격이 커지는 전략은 작은 규모에서 따로 검토할 여지가 있다. 이 경우에도 거래량과 주문 규모가 맞는지 확인해야 한다. Capacity(수용 규모)는 거래 때문에 가격이 불리하게 움직여 기대 이익이 사라지기 전까지 운용할 수 있는 규모다. 개인이 작은 주문으로 검증할 수 있다는 사실을 큰 주문으로 그대로 옮길 수는 없다. 개인은 대신 승인 절차가 짧아 실패 원인을 확인하고 다음 연구에 반영하기 쉽다. 매번 같은 비용 계산기와 기록 양식을 쓰면 더 빠른 반복이 실험 횟수만 늘리는 결과로 이어지는 일을 줄일 수 있다.

매주 어떤 공시를 썼는지 다시 확인할 수 있도록 당시의 데이터 사본을 남긴다. 비용을 높여 보는 실험이나 주문 결과를 기록하는 양식도 다음 전략에 그대로 쓸 수 있다. 중단한 전략의 기록에는 어떤 조건에서 성과가 사라졌는지 적는다. 그래야 새 전략을 만들 때 같은 실패를 처음부터 되풀이하지 않아도 된다.