9.9 요약

매월 여러 종목의 수익률을 정렬하는 팀은 먼저 주문을 바꾸는 기준을 정한다. 기대 수익률의 크기를 비중에 쓰면 회귀가 필요하고, 상하단만 선택하면 날짜별 순위가 직접적인 평가 대상이 된다. 결과를 비교할 때는 같은 입력 공개 시점, 거래 가능 종목과 보유 기간을 사용한다.

기준선에서 복잡한 후보까지 비교하기

1. 선형 기준선과 랜덤 포리스트를 같은 기간에서 학습한다. 나무 평균으로 흔들림이 줄어드는지, 일정 조건에서 계속 틀리는 부분이 남는지 확인한다.
2. 작은 트리로 부스팅을 시작한다. 절대 오차는 극단 수익률의 영향이 큰 표에서 살펴볼 만한 출발점이다. 잎의 최소 표본과 정규화 강도를 정하고, 새 날짜의 검증 점수가 개선을 멈추는 회차를 저장한다.
3. XGBoost, LightGBM과 CatBoost를 바꿔 볼 때는 정확도와 함께 학습 시간, 예측 속도와 범주 정보의 생성 시점을 비교한다. 경제적으로 방향이 뚜렷하면 단조 제약을 시험하고, 입력 하나를 바꾼 예측과 시점별 IC가 함께 개선되는지 본다.
4. 적은 자료에서 특성을 빠르게 선별하려면 TabPFN을, 실제 학습하는 신경망 기준선에는 TabM을 비교할 수 있다. 비슷한 과거를 직접 검색하는 TabR에서는 결과가 확정된 행만 이웃이 될 수 있다. 자료가 바뀌는 시장에서는 무작위 분할에서 본 우위가 이어지는지 전진 검증에서 확인한다.

점수가 남는 기간과 운영 조건 확인하기

Optuna의 시험 횟수와 각 시험의 중단 이유를 남긴다. 높은 IC 후보가 주문을 자주 바꾼다면 낮은 회전율 후보와 예상 비용을 비교한다. 설정을 고르는 데 사용하지 않은 기간에서는 평균 IC, 신뢰구간과 이동 구간별 결과를 함께 읽는다. 미국 주식처럼 여러 시기에 개선이 남은 경우와 ETF처럼 모델 순위가 시기마다 바뀐 경우는 운영 판단이 달라진다.

TreeSHAP으로 개별 예측이 기준값에서 얼마나 이동했는지 분해한다. 어떤 입력이 다른 입력과 함께 있을 때만 중요해지는지 확인하고, 최근 구간에서 기여가 크게 달라지면 입력 품질, 실제 잔차와 예측 구간을 점검한다. 순위 정보가 남은 모델의 결과는 포지션과 체결 규칙을 거쳐 비용 차감 수익과 위험으로 평가한다.

여기까지는 같은 시점의 한 종목을 표 한 행으로 만들고, 최근 움직임을 미리 계산한 특성으로 넣었다. Deep Learning for Time Series(시계열 딥러닝)는 여러 시점의 관측 순서를 모델에 직접 준다. 같은 평균을 가진 경로라도 관측 순서가 다르면 예측이 달라지는 문제를 다룰 수 있다.