1.3 워크플로에서 인과 추론과 생성형 인공지능의 역할

예측과 작동 원리에서 시작하는 연구

지우가 5월 11일 시가부터 5월 18일 시가까지의 수익률을 예측한다고 하자. 공시나 가격 등 여러 입력 중 어떤 것이 이후 수익률을 잘 예측하는지 시험할 수 있다. 목표를 먼저 정하고 도움이 되는 입력을 찾는 방식이 Prediction-first(예측 우선)다. 여러 입력을 비교할수록 시험 이력을 남기고 시간 순서대로 검증하는 일이 중요해진다.

지우는 투자자들이 낯선 공시를 이해하는 데 시간이 걸린다는 생각에서 출발할 수도 있다. 이 경우에는 그 생각이 맞다면 어떤 종목에서 반응이 늦어질지 정하고 검증한다. 이렇게 작동할 법한 이유부터 세우는 방식이 Mechanism-first(작동 원리 우선)다. 나중에 효과가 약해지면 공시가 가격에 반영되는 속도가 달라졌는지 먼저 살펴볼 수 있다.

1. ●가설과 예측 목표
   예측할 수익률을 먼저 정하거나, 공시 반응이 늦어질 이유부터 세운다.↓
2. ●공통 검증
   당시 자료인지, 시간 순서를 지켰는지, 몇 후보를 시험했는지 확인한다. 비용과 위험을 반영하고 운영 중 변화도 감시한다.↓
3. ●산출물의 용도
   신호는 주문과 성과로, 측정값은 위험 한도나 위험을 상쇄하는 포지션의 근거로 쓰인다.

한 연구가 예측과 작동 원리를 함께 살피고 두 산출물을 모두 만들 수도 있다.

예측 우선에서는 많은 특성을 후보로 둘 수 있다. 모델이 과거의 작은 우연까지 외우지 않도록 Regularization(정규화)으로 과도하게 복잡한 규칙을 억제하고, Ensemble(앙상블)로 서로 다른 모델의 점수를 합쳐 한 모델에만 의존하는 정도를 줄인다. 두 방법의 효과도 이후 구간에서 확인한다. 작동 원리 우선에서는 공시를 읽기 어려운 기업의 반응이 더 느리다는 가설로 후보를 좁힐 수 있다. 이런 설명은 조사할 범위와 감시할 조건을 정하는 데 도움이 된다.

두 출발점 모두 주문에 쓸 신호를 만들 수 있다. 작동 원리에서 출발한 연구는 보유 종목이 업종에 얼마나 민감한지 같은 측정값을 만들기도 한다. 신호는 비용을 뺀 주문 성과로 평가한다. 측정값은 그 값으로 업종 위험을 줄였을 때 의도한 만큼 노출이 낮아지는지 확인한다. 중요한 변수 하나를 빠뜨려 측정값이 치우치면 수치가 정밀해 보여도 위험 한도가 어긋날 수 있다.

함께 움직인다는 관찰에서 효과 추정까지

호실적 발표 뒤에 주가가 올랐다. 그런데 같은 날 그 업종 전체에도 좋은 뉴스가 있었다. 주가에 두 사건의 영향이 함께 들어 있다면, 상승분을 공시의 효과로 얼마나 볼 수 있는지 판단하려면 비교가 필요하다.

Causal Inference(인과 추론)는 이 비교를 설계하는 방법이다. 어떤 기업을 비교 대상으로 삼을지, 두 기업이 비슷하다는 가정을 어떤 자료로 뒷받침할지 정한다. 가정을 확인하기 어렵더라도 다음에 어떤 기록을 더 살펴볼지 정하는 데 도움이 된다.

매매에 쓸 예측과 공시의 효과를 측정하는 일에는 서로 다른 기준을 적용한다. 매매 신호는 그 점수대로 주문했을 때 비용을 빼고도 성과가 남는지 본다. 효과를 측정할 때는 업종 뉴스처럼 함께 영향을 주는 요인을 빼고도 추정값을 믿을 수 있는지 본다.

업종 뉴스와 기업 공시의 효과가 섞이는 과정

같은 업종의 A사와 B사가 있다고 하자. A사만 실적을 발표한 날 업종 전체에 좋은 뉴스가 나오고, A사와 B사의 주가가 모두 오른다. A사의 주가 상승분 전체를 공시 효과라고 해석하면 업종 공통 움직임까지 포함된다. B사처럼 공시가 없었지만 같은 뉴스의 영향을 받은 기업을 비교 대상으로 두면 공통 움직임을 일부 가려낼 수 있다. 다만 A사와 B사가 평소 뉴스에 반응하는 정도가 다르거나 A사에 또 다른 사건이 있었다면, 둘의 차이에도 다른 영향이 남는다.

이런 연구에서는 비교 대상과 시점을 고른 근거를 먼저 적는다. 예를 들어 두 기업이 발표 전에도 비슷하게 움직였는지 확인하고, 다른 뉴스가 겹친 날을 제외해도 결과가 유지되는지 본다. 검증이 충분하지 않을 때도 업종 영향을 따로 감시한다는 운영 판단은 가능하다. 효과의 크기를 주장하는 일과 가능한 원인을 좁히는 일에는 필요한 증거가 다르다.

예를 들어 A사가 3%, B사가 2% 올랐다면 두 값을 뺀 차이는 1%포인트다. A사가 발표하지 않았을 때도 B사처럼 2% 올랐으리라는 가정이 성립해야 그 차이를 공시 효과로 읽을 수 있다. 두 회사가 업종 뉴스에 다르게 반응하거나, B사도 A사의 공시 때문에 움직였다면 이 가정이 흔들린다.

Confounding(교란)은 다른 요인이 설명하려는 사건과 결과에 함께 영향을 주는 상황이다. Causal Diagram(인과 도식)으로 어떤 변수가 양쪽에 영향을 주는지 표시하면 통제할 대상을 고르기 쉽다. 예를 들어 발표 이후에 발생한 거래량 변화가 공시 효과의 일부라면, 이를 같은 수준으로 맞출 때 공시가 거래를 거쳐 가격에 영향을 준 경로까지 잘릴 수 있다. Instrumental Variable(도구변수)은 관심 변수에 영향을 주면서 결과에는 그 변수를 통해서만 영향을 준다고 볼 수 있는 별도 변화를 이용한다. 이 가정을 뒷받침할 근거가 약하면 효과의 크기 대신 가능한 원인과 감시 지표를 좁히는 데 쓴다.

생성 결과를 검증 가능한 후보로 관리하기

Generative AI(생성형 인공지능)의 한 종류인 Large Language Model(대규모 언어 모델, LLM)은 공시에서 사업 부문이나 실적 설명을 뽑고, 코드와 실험 기록의 초안을 만들 수 있다. 공시에서 어떤 값을 뽑았다면 근거가 된 문장과 공개 시각을 함께 남긴다. 뽑은 값 일부를 원문과 비교하면 어떤 유형의 문장에서 실수가 나는지도 확인할 수 있다.

가령 4월 공시를 분석하는 과정에 5월 정정 공시가 섞이면, 4월의 모델이 5월에야 알 수 있었던 사실을 쓰게 된다. 같은 기업과 분기의 문서라도 공개 시점이 다르면 구분해 보관해야 한다.

과거 공시만 모델에 보여 줘도, 모델이 훈련 과정에서 이후의 회사 사건을 접했을 가능성이 있다. 당시 문서에서 확인할 수 있는 구절을 출력에 함께 붙이고, 회사와 사건을 이미 아는 데서 이득을 얻는지 별도로 점검한다. 근거를 확인할 수 있는 문장 추출과 개방형 미래 예측은 같은 실험으로 해석하기 어렵다.

생성된 전략이나 코드는 일반 실험과 동일한 기준으로 검증한다. 대조용 입력과 예상 결과로 변환 코드를 검사하고, 생성된 후보들도 실험 장부에 기록한다. 여러 후보를 빨리 만들어도 각 후보가 어떤 정보에서 나왔는지 추적할 수 있어야 한다.

예를 들어 모델이 공시 문장을 읽고 “해외 수요 증가”라는 범주를 붙이게 할 수 있다. 원문에 “해외 수요가 다음 분기부터 회복될 것으로 예상한다”라고 적혀 있다면, 이를 이번 분기 수요 증가로 분류하면 의미가 바뀐다. 확인 단계에서는 원문 구절과 추출값을 나란히 대조하고, 판단 근거가 없으면 해당 값을 비워 둔다. 이때 공시의 대상 분기와 실제 공개 시각도 함께 보관해야 추출 결과를 어떤 종목 선정 시각부터 쓸 수 있었는지 확인할 수 있다.

연구 단계마다 도구가 내놓는 결과

연구 단계	머신러닝이 계산할 수 있는 것	생성형 인공지능이 도울 수 있는 것
전략 가설	예외적으로 큰 가격 반응이나 이상값을 표시한다.	가설을 정리하고 기각 조건의 초안을 작성한다.
데이터와 품질 확인	누락이나 평소와 다른 입력을 찾아낸다.	공시를 읽고 회사와 보고 기간을 연결할 후보를 제안한다.
특성과 레이블	비슷한 문서를 가까운 숫자 표현으로 바꾼다.	공시 속 사건을 추출하고 어떤 값을 입력으로 만들지 제안한다.
모델과 평가	수익률을 예측하고 불확실성 범위가 실제 결과를 얼마나 포함하는지 확인한다.	분석 코드 초안과 실험 간 차이를 요약한다.
포트폴리오	종목이 함께 움직일 위험을 추정하고 한도 안에서 비중을 계산한다.	한도에 걸리는 상황을 정리하고 검사 항목을 만든다.
주문과 비용	주문 규모에 따라 체결 비용이 얼마나 달라질지 추정한다.	거래소 규칙을 요약하고 운영 절차의 초안을 작성한다.
모니터링	입력 분포나 예측 성능이 달라졌는지 감시한다.	경보와 장애 기록을 정리해 담당자가 조사할 순서를 제안한다.

예측값이 같은 두 종목이라도 한쪽의 오차가 더 크다면 주문 규모를 다르게 정할 수 있다. Conformal Prediction(컨포멀 예측)은 별도로 남긴 자료에서 예측 오차를 재고, 그 오차에 근거해 새 예측의 범위를 만든다. 급격한 시장 변화로 보정 구간과 새 구간의 오차가 달라지면 목표만큼 결과를 포함하는지 다시 확인해야 한다. Hidden Markov Model(은닉 마르코프 모형)은 바로 보이지 않는 시장 상태를 수익률 같은 관측값에서 추정하고, 상태가 어떻게 바뀌는지도 함께 모형화한다. 더 복잡한 시계열 모델이나 여러 단계를 실행하는 자동화 도구도 간단한 기준과 비교하고 당시 정보만 쓰는지 검증한다. 담당자는 공시 근거, 계산 결과, 주문 한도와 경보 대응을 확인한 후 다음 단계에 넘긴다.