5.3 특성 하나씩 예측력과 거래 가능성 살피기

연구자가 거래대금 증가율과 과거 수익률을 입력 후보로 가지고 있다고 하자. 두 값을 한꺼번에 모델에 넣기 전에 각각이 다음 주 수익률과 어떤 관계를 보이는지 살핀다. Univariate Screening(단변량 선별)을 거치면 어느 정의에서 문제가 생겼는지 추적하기 쉽다. 비슷한 두 후보가 같은 정보를 담거나, 혼자서는 약한 값이 다른 특성과 결합할 때 유용해지는 경우는 이후 여러 변수를 함께 보는 모델 평가에서 다룬다.

점수를 계산할 표본부터 확인하기

거래 가능한 종목과 결정 시각의 조합이 100개인데 특성 값이 72개라면 Coverage(커버리지)는 72%다. 나머지 28개가 작은 종목이나 특정 월에 몰렸는지 살핀다. 그렇다면 72개에서 얻은 점수는 전체에 그대로 적용하기 어렵다.

공시 기준일과 공개일을 분리하고, 외부 신호나 파생 자료가 실제 갱신된 시각을 확인한다. 특성 계산과 라벨 계산, 평가에 같은 거래 자격 규칙을 적용한다. 예를 들어 상장폐지될 종목을 평가에서만 미리 빼면 당시의 투자 대상이 달라진다. 분기마다 나오는 지표가 수년간 한 번도 갱신되지 않았다면 오래된 값이 그대로 이어졌는지 확인한다. 종목별로 늘 같은 값이라면 기업 간 차이는 반영할 수 있어도 기업 안에서 시점별로 생기는 움직임을 포착하긴 어렵다.

연속 수익률의 순서가 맞는지 보기

A, B, C의 거래대금 증가율이 각각 5%, 15%, 40%이고 미래 수익률이 각각 −1%, 0%, 2%라면 두 순서가 같다. 가장 높은 점수의 수익률이 가장 높고 중간도 일치한다. 이처럼 같은 시점의 종목들에서 특성과 결과를 각각 순위로 바꾸고 두 순위 사이의 상관을 계산하는 것이 Spearman Rank Information Coefficient(스피어만 순위 정보계수), 줄여서 순위 IC다.

$IC_t$

Information Coefficient(정보계수), 시점별 −1~1의 단위 없는 상관계수.

$t$, $a$

Decision Time(결정 시점)과 Asset(자산), 시간 및 종목 식별값.

$x_{t,a}$

Feature Value(특성 값), 예에서는 거래대금 증가율(%).

$y_{t,a}$

Label Value(라벨 값), 예에서는 미래 수익률(%).

$\operatorname{rank}$, $\operatorname{corr}_a$

Rank(순위)로 변환한 뒤 자산 간 Pearson Correlation(피어슨 상관)을 계산한다.

세 종목 예에서 순위는 양쪽 모두 1, 2, 3이므로 IC는 +1이다. 반대로 일치하면 −1이다. 보통 여러 종목을 비교하면 그 사이의 작은 값이 나온다. 동률에는 평균 순위를 줄 수 있고 순위가 모두 같으면 상관을 계산할 수 없다. 순위 IC는 40%를 400%로 바꿔도 순서가 같으면 그대로다. 입력 수치의 크기와 결과 크기 사이의 직선 관계가 필요하면 원래 값의 Pearson Information Coefficient(피어슨 정보계수)를 본다. 극단값의 영향은 더 커질 수 있다.

날짜별 점수를 분할별로 다시 읽기

첫 분할 평균은 0.05이고 둘째 분할은 −0.03이다. 두 기간을 한데 평균 내면 0.01이 남아 방향이 뒤집힌 사실이 묻힌다. 분할 평균의 중앙값, 가운데 50%의 범위, 최악 구간, 대표 방향과 일치한 분할 비율을 같이 남긴다. 시간순 그래프에서는 분할 경계와 함께 점수가 한 번의 시장 사건에 집중됐는지 본다. 앞뒤 날짜를 모두 사용한 이동평균은 사후 그림에 쓸 수 있지만 실시간 특성에 쓰면 미래가 섞인다.

IC Information Ratio(IC 안정성 비율)는 한 분할 안에서 평균 IC를 날짜별 IC의 표준편차로 나눈다. 두 후보의 평균이 0.04이고 표준편차가 각각 0.02와 0.08이면 비율은 2와 0.5다. 첫 후보의 관계가 분할 안에서 더 고른 편이다. 변동이 0이면 비율을 따로 표시한다. 이 비율을 검정 통계량이나 포트폴리오 수익률로 읽지 않는다.

5일 라벨에서 IC가 0.06, 10일 라벨에서 0.03, 21일 라벨에서 0에 가깝다면 예측 신호의 수명이 짧을 수 있다. 반대로 5~21일에서 비슷하면 재조정 일정을 선택할 여지가 있다. 예측 기간마다 같은 분할과 평가 조건으로 비교하며, 재조정 빈도를 정할 때는 짧은 보유가 만드는 거래 비용도 확인한다.

날짜마다 새 증거를 얻었다고 가정하지 않기

21일 라벨을 매일 만들면 이웃한 날의 정답이 가격 변화를 공유한다. 시장 충격은 한 날짜의 여러 종목에도 함께 나타난다. 날짜를 하나씩 무작위로 섞는 대신 Block Bootstrap(블록 부트스트랩)으로 분할 안의 연속된 날짜 묶음을 다시 뽑아 평균의 흔들림을 본다. 묶음 길이를 바꿔 결과가 민감한지도 확인한다. Heteroskedasticity and Autocorrelation Consistent Standard Errors(이분산·자기상관 일관 표준오차), 즉 HAC 표준오차는 날짜별 변동과 시차별 의존성을 반영한다. 한 ETF 진단에서는 같은 평균을 두고도 HAC 표준오차가 단순 계산의 약 2.54배였다.

Within-time Permutation(동일 시점 내 순열)은 각 날짜의 수익률 값과 분포를 유지한 채 비교 가능한 종목 사이에서 특성과 결과의 짝을 바꾼다. 반복해서 얻은 IC의 분포와 관측 IC를 비교한다. 그룹마다 위험이 다르면 임의 교환이 타당한지 확인한다. 이 단계의 p값은 후보 하나의 진단이며, 후보 선택에 따른 다중성은 다음 절에서 다룬다.

Fundamental Law of Active Management(액티브 운용의 기본 법칙)은 단순화된 가정에서 작은 예측력도 독립적인 기회가 충분하면 가치가 있을 수 있음을 보여 준다.

$IR$

Information Ratio(정보비율), 기준 대비 성과를 추적 위험으로 나눈 단위 없는 비율.

$IC$

Information Coefficient(정보계수), 단위 없는 예측력 지표.

$B$

Breadth(유효 기회 폭), 같은 평가 기간의 독립적인 투자 기회 수.

같은 IC 0.05에 독립 기회가 100개면 근사는 0.5, 25개면 0.25다. 같은 업종에 집중된 ETF 100개는 100번의 독립적 기회가 아니다. 주문 제약과 비용도 이 근사에 들어 있지 않다.

종목 수가 적다면 Kendall’s Tau(켄달 순위 상관)로 종목 쌍마다 두 순서가 일치하는지 비교할 수 있다. A·B, A·C, B·C 중 둘이 일치하고 하나가 반대라면 동률이 없을 때 차이 1을 3으로 나눈다. 스피어만과 수치 눈금은 다르다. 양끝에서만 수익이 높아 순위 관계가 상쇄될 때는 Mutual Information(상호 정보량)이 점수를 알면 결과의 불확실성이 줄어드는지 볼 수 있다. 방향은 알려 주지 않으며 구간 나누기와 표본 수에 민감하므로 분위 그래프에서 패턴을 먼저 본다.

드문 사건을 골라낼 때

100건 중 실제 양성이 10건이고, 점수가 높은 20건을 거래 대상으로 골라 그중 8건이 양성이라고 하자. 12건은 불필요한 진입이고 양성 2건은 놓쳤다. 거래한 20건 중 맞춘 비율인 Precision(정밀도)은 40%, 실제 양성 10건 중 잡은 Recall(재현율)은 80%, 실제 음성 90건 중 걸러 낸 Specificity(특이도)는 78건을 90건으로 나눈 약 87%다.

중간 기준에서 거짓 양성률은 12건을 음성 90건으로 나눠 구한다. Receiver Operating Characteristic Curve(수신자 조작 특성 곡선)는 기준을 움직이며 거짓 양성률을 가로축, 재현율을 세로축에 찍는다. 무작위 순위의 기준은 대각선이다. Precision–Recall Curve(정밀도–재현율 곡선)는 같은 기준에서 재현율 대비 정밀도를 그린다. 무작위 순위의 정밀도 기준은 양성 비율인 10%다. 드문 사건에서는 거짓 양성률이 낮아 보여도 실제 진입에서 헛신호가 더 많을 수 있다. 표의 중간 행에서도 놓친 양성은 2건이지만 불필요한 주문은 12건이다.

Area Under the Curve(곡선 아래 면적)는 여러 기준의 분류 결과를 한 값으로 요약한다. ROC와 정밀도–재현율 면적을 분할별로 보고 중앙값과 사분위 범위를 비교한다. 실제 쓸 주문 문턱의 정밀도와 재현율은 따로 보고, 분모가 작을 때는 Wilson Interval(윌슨 구간) 등으로 비율의 불확실성을 나타낸다. 거래가 시간상 의존하면 독립 시행을 가정한 구간은 좁게 나올 수 있다. 이익 도달·손실 도달·만료의 세 범주를 둘로 합칠 경우 어느 사건을 양성으로 합쳤는지 기록하고 분할별 범주 비중을 확인한다.

어느 점수 구간에서 수익이 나는지 보기

매 시점에 거래 가능한 종목을 점수 순으로 정렬해 같은 크기의 구간으로 나눈다. 각 구간의 평균 선행 수익률을 계산하고, 분할 안에서 날짜별 결과를 요약한다. 열 개로 나누면 Decile Analysis(십분위 분석)다. 아래에서는 단위를 베이시스포인트로 맞추고 이해하기 쉽게 세 구간만 쓴다.

첫째 그림은 점수가 높을수록 매수 비중을 높이는 해석과 맞는다. 둘째는 상위와 하위 수익률만 빼면 구조가 사라지고, 상위만 고르면 하위의 관계를 놓친다. 양끝이 같은 시장 국면에 몰렸는지 확인한 뒤 비선형 관계를 검토한다. 이 단계에서 모양을 보고 후보 규칙을 늘리면 탐색 기록에도 추가한다.

신호를 주문으로 옮길 수 있는지 확인하기

상위 10종목 중 다음 날 8개가 바뀌면 한 번의 재조정에서 8개를 팔고 8개를 새로 사야 한다. 이 교체 비율은 Turnover(회전율)의 빠른 근사다. 실제 회전율에는 비중 조정도 들어간다. 앞의 20bp 차이에 같은 포지션 기준으로 환산한 왕복 비용이 15bp라면 5bp만 남는다. Break-even Cost(손익분기 비용)는 그 차이를 모두 소진하는 20bp다. 비용의 두 배에도 못 미치는 총 차이는 비용 오차를 감안해 주의 깊게 본다.

거래대금이 큰 종목과 작은 종목을 따로 나눠 IC와 수익률 차이를 다시 계산한다. 작은 종목에서만 높은 점수가 나오면 실제 주문이 가격을 움직이거나 채워지지 않아 Capacity(수용력)가 제한될 수 있다. 유동성 구간에 걸쳐 비슷한 결과가 이어지는 경우에는 특정 구간 하나에 의존할 가능성이 줄어든다.

분할별 진단과 그림을 남기면 다음 사람이 후보를 넘긴 이유를 확인할 수 있다. 이 결과는 간단한 선별의 근거이며 최종 포트폴리오 성과는 주문을 모의 실행하는 별도 평가에서 확인한다.