9.5 표 데이터용 신경망을 비교하기

소량의 표에서 탐색을 빠르게 시작하기

과거 자료가 적은 새 상품에서 특성이 쓸 만한지 먼저 보고 싶다고 하자. 기존 모델은 그 표에서 예측 오차를 계산하고 가중치를 학습한다. Tabular Foundation Model(표 데이터 기반 모델, TFM)은 여러 가상 표 문제를 푸는 법을 미리 학습해 둔다. Tabular Prior-Data Fitted Network(표 데이터 사전 분포 적합 네트워크, TabPFN)는 관측값을 만드는 관계를 정해 합성 표와 정답을 만들고, 주어진 사례에서 새 행을 예측하도록 훈련한다.

새 문제에서는 과거 입력과 확정된 정답을 묶어 문맥으로 제공한다. 이어서 오늘 입력만 주면 Attention(어텐션)이 문맥 속 어떤 관측을 참고할지 계산한다. 이를 In-context Learning(문맥 내 학습)이라 한다. 새 표에서 경사하강으로 모델 가중치를 다시 맞추는 과정이 없어 후보 특성을 빠르게 비교할 수 있다.

원래 실험은 최대 약 1만 행과 500개 특성 범위였고, 2.5에서는 표를 줄여 읽는 기법과 특성 선택으로 약 5만 행과 2천 특성 규모까지 실용 범위를 넓혔다. 이 범위에서 속도와 정확도가 항상 유지되는 것은 아니다. 수치 중심 표에 유리하고 범주만 많은 표나 합성 훈련에서 드물었던 구조적 단절에는 약할 수 있다. 예측 때 문맥을 함께 읽는 비용도 있다. Distillation(지식 증류)은 그 예측을 작은 신경망이나 트리에 다시 학습시켜 서비스 비용을 줄이는 방법이다. 정확도와 확률 보정이 얼마나 유지됐는지 별도로 비교하고, 상업적 사용 시에는 실험에 쓰인 가중치의 사용 조건을 확인한다.

예측이 조금씩 다른 신경망을 한 번에 학습하기

표의 열을 한데 받아 여러 층에서 조합하는 Multilayer Perceptron(다층 퍼셉트론, MLP)을 생각해 보자. 층을 늘리기 전에 학습률, 수치 입력 표현과 같은 기본 설정을 개선하면 비교 결과가 바뀔 수 있다. RealMLP는 많은 표 데이터에서 조정한 학습 기본값을 사용한 기준선이다.

TabM은 여러 MLP가 큰 가중치 본체를 공유하게 하고, 각 구성원마다 입력과 출력 방향의 작은 배율을 달리 둔다. Rank-one Adapter(랭크 1 어댑터)로 한꺼번에 여러 예측을 만들고 평균하면, 모든 가중치를 따로 둔 모델 여러 개를 학습하는 것보다 가볍다. 예를 들어 1%, 2%, 3%를 낸 구성원의 평균은 2%다. 구성원들이 같은 방향으로 틀리면 평균으로 그 오류는 줄지 않는다.

ETF 시간 순서 비교에서는 LightGBM, 기본 MLP, TabM과 선택적으로 TabPFN을 같은 구간에서 학습해 구간별 IC와 시간을 잰다. LightGBM은 훨씬 짧은 시간에 경쟁력 있는 점수를 냈고 TabM은 신경망 기준선 중 강했다. 여러 표 데이터의 시간 분할에서도 TabM이 경쟁력을 보였지만, 시장별로 시간 분할을 다시 확인해야 한다. 모델 내부 트리 경로를 이용하는 TreeSHAP 대신 입력을 섞어 성능을 재거나 모형에 독립적인 기여도 추정법을 쓰면 설명 비용도 달라진다.

비슷한 과거 기록을 꺼낼 때 라벨 확정 시점 확인하기

오늘 변동성 급등과 금리 변화가 함께 나타났을 때 비슷한 과거 날의 결과를 참고하고 싶을 수 있다. TabR은 특성을 수치 벡터로 바꾼 뒤 학습 표에서 그 벡터에 가까운 행을 찾는다. 이를 k-Nearest Neighbors(k개 최근접 이웃, k-NN) 검색이라 한다. 가까운 행의 입력과 라벨을 함께 요약해 예측에 반영한다. 최근 사례를 잘 활용할 수 있지만, 저장할 이웃 색인이 커지고 예측할 때 검색 비용이 추가된다.

6월 10일에 주문을 정하고 5거래일 뒤 수익률을 예측한다고 하자. 6월 9일에 입력이 만들어진 행도 결과를 6월 10일에 알 수 없다. 가장 가까운 이웃이라도 라벨이 주문 시점에 확정되지 않았으면 제외한다.

과거 입력 관측

↓보유 기간 종료와 라벨 확정

↓6월 10일 전에 이웃 후보에 편입

6월 9일 입력 관측

↓6월 10일 주문 결정

↓라벨은 이후 확정되므로 이번 검색에서 제외

Look-ahead Bias(미래 정보 편향)를 막으려면 Walk-forward Validation(순차 전진 검증)에서 구간마다 검색 가능한 행을 다시 제한한다. Purging(겹침 제거)은 검증과 라벨 구간이 겹치는 학습 행을 빼는 절차다. Embargo(완충 기간)는 경계 주변의 가까운 관측도 일정 기간 제외하는 장치다. 검색 색인을 한 번 만들어 계속 재사용하면 이 필터가 빠지기 쉽다. 필터 적용 전후의 점수 차이는 시점 통제가 결과에 얼마나 중요한지 보여 준다.

데이터와 실행 조건으로 후보 좁히기

실험 조건	비교할 후보	확인할 내용
유효 관측 1만 미만, 빠른 선별	TabPFN과 단순 기준선	문맥 크기, 시점 분리와 새 국면
약 1만–10만 행	LightGBM 또는 XGBoost, 신경망 비교에는 TabM	성능, 학습 시간, 해석 비용
10만 행 이상에 범주 다수	CatBoost 또는 LightGBM	희귀 범주와 공개 시점
100만 행 이상과 GPU	부스팅과 TabM, 검색 가치가 있으면 TabR	실제 시간 분할별 성능과 장비 사용량
텍스트와 표를 함께 학습	두 입력을 결합하는 신경망	텍스트를 사전 특성으로 변환한 기준선과 같은 예산으로 비교
국면과 유사 사례가 중요	TabR	이웃의 라벨 확정 시점, 메모리, 지연

표의 행이 많아도 같은 날 비슷하게 움직인 종목 수천 개가 독립적인 시장 국면 수천 개를 뜻하지는 않는다. TabArena와 TALENT의 Independent and Identically Distributed(독립 동일 분포, IID) 방식 비교는 시간 순서 실험과 가정이 다르다. TabReD처럼 이후 시점으로 평가하면 일부 어텐션 중심 모델이 나무나 단순 MLP보다 빨리 약해졌다. 후보 모델의 튜닝 시간과 누출 검사를 맞추고, 개별 모델과 여러 모델을 결합한 결과를 구별한다.

AutoGluon Tabular처럼 여러 후보의 예측을 다시 입력으로 넣는 Stacking(스태킹)은 성능을 더 끌어올릴 여지가 있는지 살피는 비교 대상으로 쓸 수 있다. 격차가 크다면 어느 모델을 빼면 성능이 떨어지는지 검증 구간에서 확인한다. 운영에서는 학습 시간, 모델 수와 예측 지연도 함께 늘어날 수 있다.