CHAPTER 09
9.8 아홉 시장에서 부스팅의 개선 확인하기
기간별 순위 성능과 불확실성을 비교하고 거래 평가로 연결합니다.
날짜 하나의 순서를 여러 날짜의 근거로 바꾸기
운용팀이 오늘 세 종목의 예측 순서를 가, 나, 다로 매겼다고 하자. 실제 수익률 순서가 가, 다, 나면 한 종목의 위치는 맞고 두 종목이 한 칸씩 바뀌었다. Spearman Rank Correlation(스피어만 순위 상관)은 이 경우 0.5다. 동점이 없으므로 순위 차이의 제곱을 더하면 0 + 1 + 1 = 2다. 6에 그 합을 곱해 12를 구하고, 종목 수 3에 그 제곱에서 1을 뺀 8을 곱한 24로 나눈다. 1에서 12 ÷ 24를 빼면 0.5다. 순서가 완전히 같으면 1, 반대면 −1이다.
실험은 날짜마다 종목 간 순위 상관을 계산해 일별 Information Coefficient(정보계수, IC)를 만든 다음 평균을 냈다. 5일 수익률을 매일 예측하면 이웃 날짜의 라벨이 같은 수익률 일부를 공유한다. 일별 점수도 이어서 움직일 수 있어 날짜들이 모두 독립이라고 가정하면 오차 범위가 지나치게 좁아질 수 있다. Heteroskedasticity and Autocorrelation Consistent(이분산·자기상관 일관, HAC) 표준오차는 날짜별 점수의 변동과 시차 관계를 고려한다. 95% 신뢰구간이 0을 포함하면 그 표본에서 양의 순위 관계를 뚜렷이 구분하기 어렵다.
같은 라벨에서 세 모델 비교하기
아래 수치는 각 시장의 대표 연속 수익률 라벨에서 모델 계열별로 평균 일별 IC가 가장 높았던 설정이다. 같은 행에서만 목표와 보유 기간이 같다. 모델 설정을 여러 개 비교해 얻은 값이라 설정 선택 자체의 불확실성도 남는다.
| 시장 | 보유 기간 | 선형 IC | 부스팅 IC | TabM IC |
|---|---|---|---|---|
| 미국 기업 특성 | 1개월 | −0.005 | +0.080 | +0.031 |
| ETF | 21일 | +0.054 | +0.037 | +0.041 |
| CME 선물 | 5일 | 약 0 | +0.032 | +0.004 |
| 미국 주식 | 1일 | +0.016 | +0.032 | +0.017 |
| S&P 500 옵션 | 만기까지 | +0.007 | +0.018 | +0.002 |
| 가상자산 | 8시간 | +0.009 | +0.011 | +0.003 |
| 나스닥 100 | 15분 | +0.005 | +0.006 | 미측정 |
| S&P 500 주식·옵션 결합 | 5일 | −0.006 | +0.006 | +0.011 |
| 외환 | 1일 | +0.005 | +0.003 | +0.007 |
S&P 500 옵션의 목표는 At-the-Money Straddle(등가격 스트래들)을 만기까지 보유한 수익률이다. 같은 행사가의 콜과 풋을 결합해 움직임이 얼마나 클지에 노출된다. 더 짧게 보유하거나 가격 방향 노출을 줄이는 대안이 학습에서 높은 IC를 내도, 거래를 더 자주 하면 옵션 비용을 감당하기 어렵다. 그래서 표에서는 거래 방식에 대응하는 대표 라벨을 고정했다.
미국 주식에서는 부스팅이, ETF에서는 선형이 더 길다. 막대는 평균이며 신뢰구간의 폭은 아래 설명에서 비교한다.
미국 주식에서는 부스팅이 0.016에서 0.032로 올라갔고, 두 모델의 구간도 떨어져 있었다. 반면 나스닥 100의 선형과 부스팅은 모두 작지만 양의 신호가 있었고 두 구간은 겹쳤다. 이 경우 0.001의 격차만으로 한쪽을 고르기 어렵다. 두 모델의 성능 차이를 추론하려면 같은 날짜의 점수 차이 시계열도 따로 검사할 수 있다.
미국 기업 특성, CME 선물, S&P 500 스트래들에서는 선형의 구간이 0에 걸쳤지만 부스팅의 구간은 0보다 높았다. 미국 주식과 나스닥 100을 포함해 부스팅은 아홉 사례 중 다섯에서 0을 벗어났다. ETF에서는 선형이 가장 높은 평균을 냈고 부스팅 구간은 0을 포함했다. 외환과 주식·옵션 결합은 평균이 조금 달라도 세 계열 모두 0 주변의 불확실성이 남았다. 가상자산의 연속 수익률 라벨도 이 비교에서는 부스팅 구간이 0을 포함했다.
비선형 모델이 어디에서 개선을 얻는가
변동성 순위가 특정 선을 넘은 날에만 자산 간 상관이 중요하다고 하자. 단일 계수로 모든 날에 같은 효과를 주는 모형은 그 차이를 희석할 수 있다. 트리는 먼저 국면을 나눈 뒤 특정 가지에서만 해당 상관을 사용한다. 실제 비교에서도 선형 계수의 상위 입력과 부스팅의 총 개선량 상위 입력이 달랐다. 미국 기업 특성은 구간별 특성 순위가 더 안정적이었고, 미국 주식은 IC의 신뢰구간이 더 좁았다. 예측 순위의 안정성과 상위 입력의 안정성은 따로 볼 수 있다.
ETF에서는 이미 선형으로 잘 표현되는 자산 간 상승세가 있었고, 트리가 더 세밀한 조건을 나눈 이점은 이후 날짜에 뚜렷하지 않았다. TabM은 미국 기업 특성에서는 부스팅보다 낮았고 ETF와 외환에서는 부스팅 평균보다 높았다. 나무의 경계 분할과 신경망의 입력 결합이 포착하는 구조가 달라 시장별 비교가 필요하다.
손실과 잎 수를 따로 읽기
실험은 잎 예산 7–127개와 제곱, 절대, 후버 손실을 비교했다. 깊이 상한, 잎의 L1·L2 비용과 행·열 표본 비율은 기본 설정을 사용했다. 그래서 이 결과는 특정 탐색 범위의 비교다. 생산용으로 각 설정을 함께 조정하면 순서가 달라질 수 있다.
미국 기업 특성에서는 절대 오차가 잎 수가 달라져도 IC 약 0.080이었고 제곱·후버 손실은 약 0.030–0.035였다. 0.080에서 0.035를 빼면 0.045다. 해당 그림의 불확실성 범위와 비교해도 큰 차이다. 예측 오차가 2와 10 퍼센트포인트라면 제곱 손실에서는 큰 오차의 비중이 25배지만 절대 손실에서는 5배다. 가끔 생기는 극단 수익률에 분할을 쓰는 대신 일상적인 종목 순서를 학습하는 쪽이 이 사례에 더 잘 맞았다. 미국 주식의 세 손실 간 차이는 잎 수별로 신뢰구간 반폭 안에 있었다.
막대는 잎 수를 바꾼 비교에서 읽은 대략적인 수준이다. 후버와 제곱 오차의 평균 IC가 모인 범위보다 절대 오차의 값이 높다.
아홉 시장 중 여덟 곳은 절대 오차가 최고였고 ETF는 제곱 오차가 최고였다. 잎 예산은 7과 63이 각각 세 시장에서 선택됐지만, 같은 시장의 잎 수별 차이는 구간 반폭보다 작았다. HAC 표준오차로 IC를 나눈 통계량으로 설정을 골라도 아홉 중 일곱에서 같은 설정이 선택됐고, 나머지 둘도 신호 유무 판정은 같았다. 같은 시장에서는 설정별 표준오차가 비슷했기 때문이다.
몇 그루에서 멈추는지 비교하기
마지막 막대의 500그루는 실험 상한이다. 미국 주식, 나스닥 100, 주식·옵션 결합은 상한에서도 개선 중이었다.
옵션과 ETF는 50그루까지, CME 선물과 가상자산은 100그루까지 검증 점수가 정점에 도달했다. 미국 기업 특성은 약 350그루에서 정점이었다. 나무 수를 일괄 고정하면 일찍 정점에 닿은 시장에는 불필요한 계산을 쓰고, 늦게 정점에 닿는 시장에는 충분히 보정할 기회를 주지 못한다. 검증의 후보 회차가 성기면 정확한 최대 위치는 회차 사이에 있을 수 있다.
개선이 한 시기에 몰렸는지 확인하기
날짜별 IC를 세 달씩 묶어 이동 평균을 내면 전체 평균 뒤의 흐름을 볼 수 있다. 가로축에서 오른쪽으로 한 시점을 이동할 때 앞쪽 날짜를 빼고 새 날짜를 포함한다. 검증 구간 경계에서 모델이 다시 학습되므로 그 근처 변화와 특정 시장 충격에서의 변화를 구분한다.
미국 주식의 2000–2015년 비교에서는 대부분의 기간에 부스팅 이동 평균이 선형보다 높았다. 2008–2009년 급변기에도 우위가 이어졌다. ETF의 2015–2023년에는 두 선이 여러 번 교차했다. 아래는 전체 평균만으로 이런 차이를 놓치는 이유를 보여 주는 가정이다. 두 경우 모두 개선량 평균은 0.02지만 각 구간에서 보이는 개선은 다르다.
0선 위에서는 부스팅이 앞선다. 점선은 두 번째 기간의 개선이 평균을 끌어올리며 첫 기간에는 뒤진다.
상승 방향과 수익률 크기는 별개로 학습하기
두 자산이 각각 0.1%, 8% 올랐다면 상승 분류에는 둘 다 같은 정답이다. 연속 수익률 회귀는 차이가 크다는 정보도 사용한다. 둘 다 연속 점수를 내므로 분류 점수의 순서를 실제 수익률과 대조해 IC를 계산하거나, 회귀 점수로 상승·하락을 얼마나 잘 나누는지 볼 수 있다.
Area Under the Receiver Operating Characteristic Curve(수신자 조작 특성 곡선 아래 면적, ROC AUC)는 상승 사례 하나와 하락 사례 하나를 골랐을 때 상승 사례에 더 높은 점수를 줄 능력을 나타낸다. 동점은 절반으로 처리한다. 0.5가 무작위 순서의 기준이다.
| 시장과 기간 | 분류 점수의 수익률 IC | 분류 점수의 방향 AUC | 회귀 점수의 방향 AUC |
|---|---|---|---|
| 가상자산 8시간 | 0.020 | 0.513 | 0.502 |
| 미국 기업 특성 1개월 | 0.084 | 0.543 | 0.540 |
| S&P 500 주식·옵션 결합 5일 | 0.004 | 0.507 | 0.489 |
| S&P 500 주식·옵션 결합 10일 | −0.010 | 0.505 | 0.498 |
가상자산 8시간 분류 모델의 방향 AUC는 기준보다 0.013 높고, 연속 수익률에 대한 IC도 0을 벗어났다. 회귀 점수로 방향을 구별한 AUC는 0.502였다. 미국 기업 특성에서는 두 모델의 방향 AUC가 비슷했고 분류 모델도 수익률을 정렬하는 정보를 담았다. 주식·옵션 결합에서는 두 기간 모두 분류 AUC가 기준 근처였고 분류 점수의 IC도 0에서 뚜렷이 떨어지지 않았다. 하나의 모델이 방향과 크기를 얼마나 담는지는 두 지표를 각각 계산해야 알 수 있다.
점수를 움직인 특성을 읽고 주문으로 넘기기
SHAP Beeswarm(SHAP 벌떼 도표)은 특성마다 종목별 예측 기여를 점으로 쌓는다. 가로축 0보다 오른쪽이면 예측값을 높였고, 왼쪽이면 낮췄다. 가로 폭이 넓으면 일부 예측의 이동량이 크다. 점의 색이나 명도는 입력 자체의 크기를 나타내므로 오른쪽에 큰 입력이 모이는지 작은 입력이 모이는지를 함께 읽는다. ETF에서는 장단기 금리 차와 그 표준 점수가 큰 폭을 보였다. 스트래들에서는 Generalized Autoregressive Conditional Heteroskedasticity(일반화 자기회귀 조건부 이분산, GARCH)로 추정한 분산 위험 프리미엄과 실현 변동성 비율이 두드러졌다. 각 구간에서 기여를 다시 그리면 특정 국면에만 나타난 특성도 찾을 수 있다.
부스팅이 미국 기업 특성, 미국 주식, CME 선물, 스트래들, 나스닥 100에 순위 정보를 제공했어도 실제 주문의 이익은 순위 상관으로 계산할 수 없다. 상위와 하위의 수익률 차이가 작거나, 주문 규모에 비해 거래량이 작거나, 회전율이 높으면 비용이 차이를 넘을 수 있다. ETF처럼 선형 쪽에서 더 분명한 순위 증거가 나오면 그 점수도 같은 포지션·체결·위험 절차로 넘긴다.