11.3 위약·민감도·안정성으로 인과 주장 점검하기

효과가 없어야 할 자료에 같은 계산을 적용한다

펀딩비가 높은 날 이후 가격 차이가 −2%포인트라고 추정됐다고 하자. 연구팀은 모델 설정과 결과 창을 그대로 둔 채, 높은 펀딩비가 발생하지 않은 비교 날짜에 가상의 사건을 배정한다. 이때도 −2%포인트 안팎이 자주 나오면 실제 날짜의 결과를 펀딩비에 귀속하기 어렵다. 전체 시장이 같은 주에 하락했거나, 모형이 날짜마다 반복되는 패턴을 사건으로 읽었을 수 있다.

처치, 날짜, 결과를 바꿔 허위 효과를 찾는다

Placebo Test(위약 검정)는 효과가 예상되지 않는 처치나 날짜를 사용한다. 날짜를 옮길 때 실제 발표나 다른 큰 사건이 겹치는지 확인한다. 배정을 섞을 때에는 같은 자산의 연속 관측이 함께 움직일 수 있으므로, 하루씩 무작위로 흩뜨리는 대신 그 의존을 살리는 길이의 블록을 쓸 수 있다.

Negative Control Outcome(음성 통제 결과)은 실제 처치는 유지하되, 그 처치의 영향을 받을 이유가 없는 결과로 바꾼다. 예컨대 예고 없이 발생한 사건이라면 사건 전에 끝난 결과 창을 쓸 수 있다. 거기서도 효과가 보이면 시간 누수나 공통 원인을 의심한다. 사전에 정책이 예고됐다면 사건 전 반응도 가능하므로 그 창을 음성 통제로 쓰는 논리가 약해진다.

숨은 원인이 얼마나 강하면 결론이 바뀌는지 본다

Sensitivity Analysis(민감도 분석)는 아직 관측하지 못한 시장 수요를 가정하고, 그 요인이 처치와 결과 각각에 얼마나 강하게 연결되는지 바꿔 본다. 처음의 −2%포인트 추정에서 약한 공통 원인만 추가해도 0에 가까워지거나 부호가 바뀐다면 결론은 그 가정에 크게 의존한다. 반대로 실측한 변동성만큼 강한 공통 원인을 가정해도 변화가 작다면 그 범위에서 더 안정적이다. DoWhy 같은 도구는 가상의 교란을 넣어 다시 추정하거나 가정 강도에 따른 경계를 계산할 수 있다. 어떤 강도가 현실적인지는 시장 지식과 관측된 변수의 영향으로 판단한다.

표본, 설정, 결과를 하나씩 바꿔 본다

바꿀 대상	유지할 비교	달라졌을 때의 해석
시기, 종목, 변동성 국면	같은 처치와 결과	한 국면에서만 재현되면 적용 범위를 그 국면으로 좁힌다
허용되는 조정 집합, 보조 예측기, 사건 창	경제적 비교의 근거	합리적인 설정 하나에서만 나타나면 명세에 민감하다
가격 수익률, 프리미엄 축소, 음성 통제	같은 처치	제안한 경로에 가까운 결과에서 강하고 무관한 결과에서 약한지 본다

마지막 비교를 Outcome Triangulation(결과 삼각 검증)이라고 한다. 펀딩비가 프리미엄을 낮추는 경로와 현물 수익률을 바꾸는 경로의 길이가 다르면, 두 효과의 크기도 다를 수 있다. 방향과 크기를 일률적으로 요구하기보다 사전에 그린 경로가 예측하는 패턴을 확인한다.

검사를 통과하면 명시한 가정과 시험한 조건에서 인과 해석이 버텼다고 기록한다. 작은 설정 변경에 실패하면 어떤 자료나 설계가 필요한지 표시하고 연구 가설로 남긴다.