5.5 상관관계가 생긴 이유 검증하기

점수가 높았던 이유를 그림으로 적기

연구자가 지난 몇 달간 오른 종목이 다음 달에도 더 올랐다는 결과를 얻었다. 그때 시장 전체의 변동성이 낮았고 위험을 감수하려는 자금이 늘었다면, 과거 수익률과 미래 수익률에 모두 영향을 줄 수 있다. 시장 상황이 바뀌어도 관계가 유지되는지 보려면 어떤 경로로 연결됐다고 생각하는지 먼저 적는다. 관측 자료에서는 연구자가 변동성만 바꾸고 나머지를 그대로 둔 시장을 볼 수 없으므로, 가능한 설명을 세우고 맞지 않는 증거를 찾는다.

Directed Acyclic Graph(방향성 비순환 그래프), 즉 DAG에서는 변수가 점이고, 화살표는 원인이라고 가정한 방향이다. 화살표를 따라 출발점으로 돌아오는 고리는 없다. 같은 시장의 되먹임을 표현해야 한다면 오늘과 다음 달처럼 시점이 다른 변수로 구분한다. 작은 그래프는 한 특성이 어떤 조건에서 유용할지 명시하는 데 쓰인다.

같은 변수를 통제해도 결과가 달라지는 세 가지 이유

Conditioning(조건화)는 변동성이 비슷한 날끼리 비교하거나 같은 조건에서의 관계를 추정하는 일이다. 비교 조건을 추가하기 전에 그 변수가 원인인지, 중간 전달 경로인지, 두 변수의 결과인지를 정해야 한다.

변동성이 두 수치에 공통으로 영향을 주면, 조용한 때와 불안한 때의 차이가 합쳐져 과거 상승의 효과처럼 보일 수 있다. 비슷한 변동성 안에서 관계가 줄면 공통 원인 가설과 일치한다. 다만 변동성 하나를 맞춘 뒤 다른 원인이 남아 있을 수 있다.

유동성은 반대로 전달 경로일 수 있다. 과거에 오른 종목에 새 주문이 몰려 거래가 쉬워지고, 그 변화가 다음 수익률을 높인다고 가정한다. 유동성이 같은 종목만 비교하면 이 경로를 가린다. 유동성을 거치지 않은 효과를 묻는 경우에는 그 제한이 연구 목적에 맞을 수 있다.

두 변수 중 하나만 높아도 대규모 자금 유입을 얻는다고 가정하자. 유입이 큰 종목만 남기면 과거 상승이 낮은 종목은 미래 수익률이 높아야 표에 남기 쉽다. 과거 상승이 높으면 미래 수익률이 낮아도 표에 남는다. 이렇게 표본을 고르는 조건만으로 음의 관계가 생길 수 있다. 미래 수익률 이후에 측정한 자금 유입을 당시의 특성으로 쓰면 시점 오류도 별개로 생긴다. 입력 창이 결과 창과 겹치는 경우에는 시장의 작동 경로를 검토하기 전에 자료를 수정한다.

가설에서 예상한 패턴을 네 가지로 검사하기

신호를 과거 값으로 바꿔 보기

오늘 신호를 5일, 21일, 63일, 126일, 252일 전의 신호로 바꿔 같은 미래 수익률과 비교한다. 이것이 Timing Placebo(시차 위약 검사)다. 최근 정보가 중요한 신호라면 보통 현재 신호의 IC가 높고 더 오래된 값에서 약해진다. 단, 60일 이동값을 10일 미루면 두 입력 창이 50일을 공유한다. 관측창보다 더 멀리 이동한 뒤에도 비슷한 IC가 나오는지 본다. 오래 유지된다면 지속적인 상태를 대신 측정했을 가능성을 조사한다.

관련이 없을 결과와 비교하기

주식의 주문 흐름을 통해 다음 수익률을 예측한다는 가설이라면, 같은 특성을 관련 경로가 없다고 예상한 국채 수익률과 비교할 수 있다. Shared-driver Check(공통 동인 검사)에서 대조 결과까지 예측하면 시장 전체 충격, 잘못 붙인 시각이나 공통 위험이 관여했는지 본다. 대조 결과는 가설상 영향받지 않으면서 의심하는 공통 원인은 공유할 수 있어야 유용하다.

또 날짜별로 자산과 정답의 짝을 바꿔 IC를 반복 계산한다. 원래 IC가 이 분포의 가운데라면 우연한 짝과 비슷하다. 분포 바깥이라면 짝을 없앴을 때와는 다르다는 증거다. 이것만으로 해당 특성이 직접 원인이라고 결론 내릴 수는 없다.

시장이 조용할 때와 불안할 때 나눠 보기

Regime Heterogeneity(국면별 이질성) 검사는 당시 관측 가능한 시장 지표로 날짜를 나누고 각각 같은 IC를 다시 계산한다. 예를 들어 Cboe Volatility Index(시카고옵션거래소 변동성 지수)인 VIX를 낮음·중간·높음으로 나눈다. 신호가 한쪽에서 작아지더라도 방향이 같은 경우와, 확실한 양·음의 관계가 상쇄되어 전체 IC가 0에 가까운 경우는 다르다. 뒤의 경우 전체 평균을 거래 방향으로 쓰기 어렵다. 공통 원인 때문인지 실제 작동 경로가 국면마다 달라서인지는 이 검사만으로 구별하기 어렵다.

사건 직전과 직후에 나타나는 효과 비교하기

실적 공시를 보고 주문한다면 발표 시각을 0으로 놓고 각 종목의 시간을 맞춘다. 발표 전, 발표 직후, 그 이후 수익률 창에 같은 검사를 적용한다. 이것이 Event-time Alignment(사건 시간 정렬)이다. 발표 직후만 반응해야 한다는 가설인데 직전에 더 강하다면 공개 전 기대, 다른 동시 사건이나 미래 정보 누출을 조사한다. 장 마감 후 공시는 다음 거래 가능 시점과 함께 기록한다. 정해진 사건이 없는 특성에는 이 비교를 강제로 적용할 필요가 없다.

두 ETF 신호의 결과 읽기

짧은 관측창의 특성에서 5거래일 라벨을 사용했을 때 보정을 통과한 결과가 없었다. 이후 특성 10개를 5일·21일·63일로 넓혀 비교하니 126일 이상을 보는 모멘텀은 월간 수익률에서 관계가 나타났다. 이 추가 탐색을 기록하고, 21거래일 라벨로 두 특성을 비교했다.

12–1 Momentum(최근 한 달을 뺀 12개월 모멘텀)은 대략 1년 전부터 한 달 전까지 오른 자산에 높은 점수를 준다. One-day Reversal(하루 반전)은 전날 떨어진 자산의 반등을 예상해 그 자산에 높은 점수를 준다. 두 가설 모두 특정 공시나 정책 발표가 기준은 아니어서 사건 시간 검사는 적용하지 않았다.

두 실험의 모멘텀 IC 0.053과 0.042는 각각 시차 비교와 별도 순열 비교에서 읽은 값이다. 순열에서 모멘텀만 관측값만큼 큰 결과가 드물었고, 반전의 값은 잡음에서 흔한 수준이었다. 시차별 점수가 얼마나 불확실한지 볼 때는 겹치는 수익률 때문에 날짜별 IC가 함께 움직일 수 있으므로 Newey–West Standard Errors(뉴이–웨스트 표준오차)를 사용한다. 반전은 국면별 결과가 반대였지만, 이를 보고 국면별 전략을 새로 만들면 새 후보로 기록하고 별도 자료에서 확인해야 한다.

검사를 통과한 근거와 남은 한계 기록하기

수정 판정은 어떤 조건을 다음 연구에서 분리해야 하는지 알려 준다. 점검을 모두 통과하면 가설이 예상한 패턴과 자료가 맞았다고 기록할 수 있다. 관측하지 않은 여러 원인이 함께 작용하거나 잘못된 가설도 비슷한 패턴을 만들 수 있다. 남은 후보는 여러 변수를 같이 다루는 구조 모형, Double Machine Learning(이중 머신러닝), 가정이 바뀔 때 결과가 얼마나 변하는지 보는 Sensitivity Analysis(민감도 분석)에서 더 평가한다.