10.8 다섯 시장에서 잠재 모형의 순위 성능 비교하기

점수가 양수인지와 기존 모델을 이겼는지 따로 보기

운용자가 매일 종목을 예상 수익률 순으로 정렬한다고 하자. 실제 보유 기간 수익률의 순위와 비교한다. Spearman Rank Correlation(스피어만 순위 상관)은 두 순위가 같을수록 1, 반대일수록 −1에 가까워진다. 날짜별 순위 상관이 IC다. 예를 들어 A, B, C의 예측 순서가 실제로 A, C, B라면 A는 맞고 B와 C는 한 계단씩 어긋난다. 순위 차의 제곱 합은 $0+1+1=2$이고, 동점 없는 세 종목의 순위 상관은 $1-6\times2/[3(3^2-1)]=0.5$다. IC에는 수익률 단위가 없고, 0.5% 수익을 뜻하지 않는다.

수익률 기록과 특성의 형태가 잠재 모형에 맞는 다섯 사례를 비교했다. Exchange-Traded Fund(상장지수펀드, ETF)와 주식·옵션은 다섯 모형을 모두 시험했다. 미국 기업 특성에서는 익명 종목 번호가 월마다 이어지지 않아 자산별 열을 유지해야 하는 일반 PCA를 제외했다. 미국 주식은 PCA와 IPCA, 시카고상품거래소(CME) 선물은 PCA와 SDF를 실행했다. 표의 가장 높은 점수는 각 행에서 시험한 후보 안의 결과다.

각 시장의 기본 라벨에서 잠재 모형과 기존 최상위 모형 비교

NLinear는 최근 값으로 기준을 맞추는 시계열 선형 모델이고, Gradient Boosting Machine(그래디언트 부스팅 모형, GBM)은 앞의 모형이 틀린 부분을 나무로 이어서 보완한다. TabM은 여러 예측을 함께 학습하는 표 형식 신경망이다.

0과 비교할 때와 같은 날짜의 모델을 비교할 때

5일 수익률을 매일 채점하면 이웃한 라벨은 4일을 공유한다. 각 날짜가 독립이라고 가정하면 평균의 오차를 너무 작게 볼 수 있다. Heteroskedasticity and Autocorrelation Consistent Standard Error(이분산과 자기상관에 강건한 표준오차, HAC)는 날짜에 따라 변동성이 다르고 점수가 이어지는 효과를 반영한다. 평균 IC를 이 표준오차로 나눈 값이 표의 t다. ETF는 표준오차가 대략 $0.085/4.9=0.017$이고, 큰 표본 근사로 95% 구간을 계산하면 약 0.051~0.119다. 주식·옵션은 t가 0.7로 구간이 0을 포함한다. 다섯 사례 중 나머지 네 사례의 최상위 잠재 모형은 양의 IC가 확인됐다.

기존 모형과 비교할 때는 공통 날짜마다 잠재 모형 IC에서 기존 모형 IC를 뺀다. 같은 날짜의 어려움이 두 점수에 공통이라면 차이에서 일부 상쇄된다. 이 차이의 평균에 HAC 구간을 적용한다. ETF에서는 SDF가 NLinear보다 앞섰다. CME 선물과 주식·옵션의 차이는 구간이 0을 포함했다. 미국 주식과 기업 특성은 GBM이 앞섰다. 기업 특성의 공유 날짜 차이는 약 −0.019로, 표의 각각 계산한 평균 차이 −0.018과 약간 다르다.

주식·옵션은 5일 원수익률에서 모든 잠재 점수 구간이 0을 포함했다. 위험을 조정한 5일 라벨에서는 IPCA가 +0.041로 0을 넘었다. 이때 순위는 위험을 반영한 다른 목표를 맞힌 결과다. 같은 모델이 원수익률에서도 같은 순위를 얻었다고 해석할 수 없다.

하나의 횡단면에서 목적만 바꿔 비교하기

월별 기업 특성에서는 미래 라벨을 학습한 SAE가 +0.062인 반면, 당월 수익률을 복원하는 CAE는 −0.030이었다. 각각의 구간은 0을 넘거나 밑돌았다. 두 끝 사이에 가격 오차를 줄인 SDF와 선형 베타를 맞춘 IPCA가 있다. 세 신경망 예측 간 순위 상관도 쌍마다 부호가 달랐다. 모델을 합치는 실험을 할 때는 예측 간 차이가 반복되는지부터 확인한다. 목표가 다르다는 이유만으로 여러 예측의 평균이 더 좋다고 볼 수는 없다.

다섯 시장에서 시험한 모형별 기본 라벨 평균 IC

굵은 값은 해당 행에서 가장 높은 점수다. ETF처럼 여러 방법에서 양수가 나오는 시장도 있고, 모형을 바꾸면 부호가 달라지는 시장도 있다. 분산으로만 뽑은 PCA가 이 다섯 사례에서 순위 1위를 얻은 경우는 없다. 주식·옵션의 SDF는 가장 높은 점수였지만 수치의 불확실성이 컸다. 이 차이는 손익 분해에 유용한 공통 축과 미래 순위를 맞히는 정보가 다를 수 있음을 보여 준다.

추정할 종목 수와 반복 검증의 폭 읽기

ETF와 선물은 날짜가 자산보다 많아 신호 고유값이 잡음과 분리되기 쉬웠다. 기업 특성은 자산 수가 시점의 약 아홉 배다. 주식에서도 수익률만으로 큰 공분산을 안정적으로 추정하기 어렵다. IPCA는 기업 특성에서 베타를 계산해 이 부담을 줄이고, SAE는 특성을 직접 압축해 큰 수익률 공분산의 역행렬을 요구하지 않는다.

Walk-Forward Validation(순차 전진 검증)은 과거로 학습하고 그 뒤 구간에서 점수를 낸 다음 이 경계를 앞으로 옮겨 반복한다. 구간별 IC를 상자 그림으로 보면 상자 안의 선은 중앙값, 양쪽 끝은 중간 50%의 범위, 수염은 상자 폭의 1.5배 경계 안쪽의 관측 범위, 밖의 점은 드문 구간을 나타낸다. 평균이 양수여도 상자나 수염이 0을 가로지르면 구간에 따라 순위가 약해지거나 뒤집힐 수 있다. 월별 기업 특성의 우위는 일별 주식의 작은 우위보다 상대적으로 뚜렷했다. 미국 주식의 양의 신호는 약 다섯 구간 중 세 구간에서 나타났다. 기간마다 축 범위가 다르면 상자의 물리적 길이 대신 눈금과 0의 위치를 비교한다.

회귀 점수와 방향 분류 점수 읽기

미국 기업 특성의 한 달 방향 라벨은 수익률이 얼마나 컸는지에서 부호만 남긴다. 0.1% 오른 종목과 8% 오른 종목이 같은 클래스가 되므로 AUC가 둘의 순서를 요구하지 않는다. 연속 점수를 실현 수익률에 비교하는 IC는 그 순서를 평가한다. IPCA 연속 점수의 IC +0.010은 구간이 0을 포함했다. 분류와 회귀는 각각에 맞는 평가값으로 읽고, 하나의 숫자를 다른 숫자보다 크다는 이유로 우수하다고 판단하지 않는다.

용도별로 모델을 선택하고 거래 비용까지 확인하기

위험을 나눠 보는 목적이라면 PCA로 공통 노출을 읽는다. 미래 순위를 얻으려면 같은 종목·기간·예측 날짜에서 조건부 베타, 가격 제약, 직접 예측을 비교한다. 여러 모형이 같은 종목에 점수를 주면 새 구간에서도 일치하는지 살피고, 반대 점수를 주면 어떤 목적과 입력에서 차이가 생겼는지 확인한다. ETF, 미국 기업 특성, CME 선물처럼 비교적 명확한 양의 순위 정보도 포지션 크기와 회전율을 정하고 거래 비용을 적용한 뒤 손익으로 이어지는지 검증한다.