1.6 요약

모델의 성과를 판단할 수 있는 연구 과정

지우는 5월 11일 08:30에 종목을 고를 때, A사가 5월 8일 16:00에 공개한 영업이익 10억 원을 모델에 넣는다. 새 영업이익 20억 원은 5월 12일 16:00에 공개되므로 5월 11일 결정에 쓸 수 없다.

모델이 종목을 고른 뒤에는 주문할 비중과 가격을 정한다. 비용이 높거나 시장에서 주문을 다 채울 수 없다면, 예측이 맞아도 성과가 줄어들 수 있다.

공시 전략을 검토한 순서

1. 데이터 시점. 종목 선정 시각까지 공개된 공시를 고르고, 그 시각에 확인할 수 있었던 버전으로 모델 입력을 재현한다.
2. 검증 설계. 거래 범위와 수익률 구간, 비용과 평가 기준을 먼저 적는다. 후보를 바꾼 시도는 장부에 남기고 선정에 쓰지 않은 구간에서 최종 규칙을 확인한다.
3. 거래 가능성. 종목 점수로 목표 비중을 만든 뒤 주문 가격과 규모를 점검한다. 시장이 불안정했던 기간을 따로 살펴 신호가 약해졌는지 비용이 늘었는지 구분한다.
4. 운영 판단. 실거래에서 데이터 도착, 예측 점수, 실제 체결을 따로 기록한다. 수집 오류라면 입력을 복구하고, 체결 문제라면 주문 조건을 점검하며, 신호가 약해졌다면 기존 가설을 다시 검증한다.

검증 결과를 운영 판단에 연결하기

지우는 탐색 기간에 여러 후보를 시험하고 실패한 조합까지 적어 둔다. 확인 기간에는 고른 규칙을 그대로 적용한다. 가장 좋아 보이는 결과가 스무 번의 시험 끝에 나왔는지, 처음부터 한 번만 시험한 결과인지를 알면 성과를 더 신중하게 해석할 수 있다.

Causal Inference(인과 추론)는 실적 공시와 업종 뉴스의 영향처럼 서로 섞인 원인을 나누어 보는 데 도움을 준다. Generative AI(생성형 인공지능)는 공시를 읽어 모델에 넣을 후보 값을 정리하는 데 쓸 수 있다. 두 방법으로 얻은 결과도 어떤 자료에 근거하는지, 거래 시점에 알 수 있는 정보인지 확인한다.

확인 실험이 끝난 뒤에도 같은 원칙을 유지한다. 예를 들어 시장의 호가 차이가 커졌지만 종목 순위는 여전히 맞는다면 주문 크기를 먼저 줄여 볼 근거가 있다. 공시가 정상 도착하고 체결 비용도 그대로인데 순위 성과만 떨어졌다면, 실적 정보가 가격에 반영되는 과정이 달라졌는지 확인한다. 개인 연구자는 어떤 조치가 발동할지 미리 적고, 시도한 규칙과 판단 근거를 함께 보관한다.

이런 비교를 하려면 어떤 데이터가 언제 생기고, 언제 공개되며, 어떻게 저장되는지부터 알아야 한다. 2장에서는 이 데이터 기반을 다룬다.