CHAPTER 05 / SECTION 06
5.6 요약
입력부터 작동 경로까지 점검한 결과를 연구 기록으로 묶습니다.
월요일 장 마감에 거래대금이 늘어난 종목을 찾는 아이디어는, 화요일 시가 진입 뒤 며칠을 보유할지 정하고 나서야 검증 가능한 문제로 바뀐다. 연구 기록에는 사용한 입력과 수익률뿐 아니라 왜 그 날짜를 출발점으로 삼았는지, 누락과 중첩을 어떻게 처리했는지가 들어간다.
- 입력 정리
학습 기간에서만 변환 기준을 정하고 결측과 거래 자격 규칙을 저장한다. - 라벨 확정
실제 거래할 수 있는 가격에서 출발한다. 보유 기간과 라벨이 알려지는 시점을 기록한다. - 분할별 진단
관계의 방향, 점수 구간별 수익률, 거래 비용과 유동성을 확인한다. - 후보 선택 확인
바꿔 본 기간과 임계값을 모두 세고, 보정 결과와 별도 확증 결과를 남긴다. - 작동 조건 점검
과거 시차와 대조 결과에서 관계가 남는지, 시장 국면이나 사건 시점에 집중되는지 확인한다.
진행·수정·중단의 이유를 같은 기록에 남기면 다음 실험이 어떤 증거에 기대는지 알 수 있다.
다음 실험에 넘기는 기록
예를 들어 거래대금 순위가 세 분할에서 각각 0.04, 0.05, −0.03의 순위 IC를 얻었다면 평균만 기록하면 안 된다. 마지막 분할에서 순서가 바뀐 이유를 조사하고, 상·하위 수익률 차이가 비용을 감당했는지도 함께 남긴다. 만약 특정 시장 국면에서만 통과했다면 그 조건을 바꿔 본 탐색과 정의를 동결한 뒤의 확증을 구분한다.
다음 연구자는 입력과 라벨의 정의, 적용한 변환과 거래 자격 규칙, 분할별 IC와 안정성 비율·부호·분위별 차이, 검색한 후보 수와 보정 방법, 어떤 작동 가설이 어느 검사에서 흔들렸는지를 받아야 한다. 같은 자료에서 실패를 재현할 수 있어야 보유 기간을 바꿨을 때 개선됐는지 판단할 수 있다.
여러 도구를 이어 쓰는 경우 시각과 종목 식별자를 공통 키로 삼는다. 자료를 불러오는 ml4t.data, 특성을 만드는 ml4t.engineer, 결과를 진단하는 ml4t.diagnostic, 주문을 모의 실행하는 ml4t.backtest가 같은 행과 시각을 가리키면 각 단계의 차이를 추적할 수 있다. 다음 단계에서는 경제적 가설을 가격·거래량·기업 정보 등에서 계산할 수 있는 특성으로 바꾸고, 여기서 정한 기준으로 선별한다.