보충. 대체 데이터의 활용과 평가

방문량이 늘었다는 숫자부터 의심 없이 쓰지 않는다

지우는 유통 기업의 다음 실적을 미리 살펴보기 위해 웹사이트 방문량 자료를 찾았다. 제공자는 지난달 방문이 20% 늘었다고 한다. 그러나 일부 기기만 관측한 표본이라면 전체 고객의 변화와 다를 수 있다. 수집 방법이 중간에 바뀌었다면 실제 방문이 그대로여도 숫자가 달라질 수 있다.

지우는 어떤 방문을 세는지, 같은 사람이 여러 번 방문하면 어떻게 처리하는지, 어떤 기업과 기간을 포함하는지 먼저 확인한다. 기업별 표본이 작거나 특정 지역에 치우쳐 있다면 다른 기업과 단순 비교하기 어렵다. 자료가 어느 시각에 제공됐는지도 확인해 과거 결정에 맞춰 복원한다.

대체 데이터에는 웹 활동뿐 아니라 결제와 채용 같은 사업 활동, 위성·위치 관측, 뉴스와 검색, 사건의 결과에 대한 계약이 거래되는 예측시장 자료가 있다. 자료의 형태가 달라도 관측 대상과 수집 방식이 무엇을 대표하는지부터 따져야 한다.

1. ●관측
   일부 기기와 사이트에서 방문 기록이 수집된다.↓
2. ●가공
   중복 제거와 기업 연결, 표본 추정이 적용된다.↓
3. ●전달
   가공 결과가 지우에게 제공된 시각부터 사용할 수 있다.

관측한 날과 가공한 자료를 실제로 받을 수 있는 날을 구분한다.

이미 아는 정보에 무엇이 더해지는가

지우는 기존에 매출과 주가 정보를 이용해 기업을 평가하고 있었다. 방문량이 이후 실적과 함께 움직이더라도, 기존 매출 정보가 이미 같은 변화를 보여 준다면 새 자료의 도움이 작을 수 있다. 기존 입력에 새 자료를 더했을 때 남는 효과를 Incremental Signal(증분 신호)이라고 한다.

가상의 검증에서 기존 자료만 쓴 경우와 기존 자료에 방문량을 더한 경우를 비교하자. 두 경우의 대상 기업, 결정 시각, 검증 기간과 거래 비용은 같게 둔다. 방문량을 추가한 쪽의 결과가 좋아졌더라도 한 기간의 우연일 수 있으므로, 선택에 사용하지 않은 기간과 다른 시장 상황에서도 차이가 유지되는지 확인한다.

기존 기준같은 기업과 기간에 매출·주가 입력만 사용

새 자료 추가같은 조건에서 매출·주가에 방문량을 추가

차이 해석비용 반영 후와 별도 기간에도 개선이 남는지 확인

정보가 공개된 뒤 가격에 빠르게 반영되면 신호를 활용할 시간이 짧다. Half-life(반감기)는 신호 효과가 절반 수준으로 줄어드는 데 걸리는 시간을 설명하는 한 방법이다. 측정 기준에 따라 값이 달라지므로 데이터 도착, 계산과 주문에 걸리는 시간과 함께 평가한다. 효과가 남더라도 거래 비용이나 주문 규모 때문에 실제 전략에는 부족할 수 있다.

좋은 예측보다 먼저 통과해야 할 조건

지우가 자료의 수집 경위나 사용 권한을 확인할 수 없다면 성과가 좋아도 사용을 보류한다. Material Nonpublic Information(중요 미공개 정보)은 공개되지 않은 중요한 정보다. 일부 기업에 대한 좁은 표본이나 비공개 거래 내역은 이런 문제가 없는지 특히 확인해야 한다.

개인의 이름이 없어도 세밀한 위치나 다른 자료를 결합하면 특정인을 알아볼 가능성이 있다. 제공자에게 자료 출처와 동의·이용 범위, 계약상 보관·삭제 및 재배포 조건을 확인한다. 필요한 경우 법률 검토를 거친다. 데이터 판매자의 설명만으로 구매자의 책임이 사라지는 것은 아니다.

1. ●사용 권리
   출처와 허용 범위, 개인정보와 미공개 정보 위험 확인↓
2. ●시점과 품질
   과거 버전·도착 시각·표본을 재현할 수 있는지 확인↓
3. ●효과와 비용
   기존 자료 대비 추가 효과와 운영·거래 비용 비교

세 단계의 결과를 남기면 자료를 제외하거나 갱신할 이유를 다시 확인할 수 있다.

품질도 지속해서 살핀다. 과거 값이 나중에 채워졌는지, 표본과 산출 방식이 바뀌었는지, 작은 기업이나 특정 업종이 빠지는지 기록한다. 자료의 최초 이용 가능 시각을 복원할 수 없다면 현실적인 과거 검증을 주장하기 어렵다.

직접 모을지 구매할지 결정한다

직접 수집하면 측정 방식과 독자적인 자료를 더 잘 통제할 수 있지만, 수집 경로 변경과 오류 대응을 계속 맡아야 한다. 구매하면 정리와 관리 부담을 줄일 수 있지만, 제공자의 방법과 수정 이력을 확인해야 한다. 같은 자료를 많은 참여자가 이용하면 신호가 약해질 가능성도 있다.

지우는 가격표뿐 아니라 기업 식별, 저장, 품질 감시와 장애 대응에 드는 시간까지 비교한다. 사용 권리와 시점 정확성의 필수 조건을 통과한 자료만 대상으로 기대 효과와 총비용을 비교한다. 일반적인 자료는 구매하고, 직접 접근할 수 있는 독자적 자료만 구축하는 혼합 방식도 가능하다.