3.8 검증 결과를 실제 사용 결정으로 연결하기

수익률이 닮았다는 결과로 알 수 있는 범위

지우의 확산 모델은 두 시장의 평상시 수익률 분포와 상관관계를 비슷하게 만들었다. 실제 보류 기간에서 합성 학습 모델과 실제 학습 모델의 큰 변동 분류 점수도 비슷하다. 이 두 결과를 바탕으로 지우는 다음 주 큰 움직임을 분류하는 개발 작업에 합성 자료를 시험할 수 있다.

위험 한도 점검은 다른 작업이다. 분류 점수가 높아도 가장 손실이 큰 경로가 지나치게 완만하면 10% 한도의 성능을 평가하기 어렵다. 지우는 꼬리 손실과 급락이 이어진 날 수, 위기 때 시장 간 동반 하락을 추가로 확인한다. 주문 자료처럼 민감한 기록을 섞었다면 공유 판단에는 중복, 최근접 기록 또는 포함 여부 추론 검사도 필요하다.

충실도 · 위험 점검평상시 상관이 비슷하다. 위기 동반 하락과 꼬리 손실을 별도로 비교한다.

유용성 · 분류 모델같은 실제 시험 기간에서 두 학습 방식의 점수가 비슷하다. 해당 분류 작업에 한정해 해석한다.

프라이버시 · 외부 공유분포와 예측 점수에서 유출 위험은 드러나지 않는다. 별도 검증과 보호 기준으로 판단한다.

기록 하나의 영향력을 줄이면 자료의 쓸모도 달라질 수 있다

가상의 학습 자료에서 유난히 큰 주문 한 건이 모델을 고치는 방향을 크게 바꾼다고 하자. 누군가 생성 결과를 보고 그 주문이 학습에 들어갔는지 짐작할 수 있다. 지우는 먼저 주문 한 건이 모델을 바꿀 수 있는 크기에 상한을 둔다. 그런 다음 주문들을 모아 모델을 바꿀 때 무작위 잡음을 섞는다.

이 방식이 Differentially Private Stochastic Gradient Descent(차등 프라이버시 확률적 경사하강법, DP-SGD)다. 상한은 주문 하나의 영향을 제한하고, 잡음은 특정 주문 때문에 생긴 차이를 알아보기 어렵게 한다. 필요한 잡음의 크기와 여러 번 학습했을 때의 영향을 계산해 보호 수준을 정한다.

Privacy Budget(프라이버시 예산)은 주문 하나를 넣고 빼도 학습 결과의 확률이 얼마나 비슷하게 유지되어야 하는지를 표현한다. Epsilon(엡실론)은 주문을 넣었을 때 어떤 결과가 나올 확률이 주문을 뺐을 때보다 얼마나 큰 배수까지 허용되는지를 정한다. Delta(델타)는 그 배수로 정한 제한에 더해 허용하는 작은 확률 여유다. 같은 델타라면 엡실론이 작을수록 두 확률이 더 가까워야 한다.

보호 대상도 먼저 정한다. 고객 한 명이 주문 20건을 냈다면 주문 한 건을 넣거나 빼는 상황과 그 고객의 주문 20건을 한꺼번에 넣거나 빼는 상황은 다르다. 고객 전체를 보호하려면 그 단위를 기준으로 학습 방식과 예산을 계산해야 한다.

지우는 같은 주문 자료에서 잡음 수준을 다르게 두어 비교한다. 강한 보호를 적용한 자료에서 드문 대량 주문이 덜 반영되면 손실 추정에 필요한 쓸모가 줄 수 있다. 반대로 보호를 완화했을 때 평균 크기는 가까워져도 시장 사이의 상관 오차가 같이 줄어든다는 보장은 없다. 목적에 맞는 지표를 따로 비교해야 한다.

더 작은 엡실론기록의 영향이 더 강하게 제한된다. 대량 주문의 빈도와 위험 추정 오차가 얼마나 달라지는지 확인한다.

더 큰 엡실론보장이 약해진다. 작업 성능이 얼마나 나아지는지와 그 변화가 보호 기준을 충족하는지 따로 확인한다.

같은 자료라도 사용처마다 통과 기준이 다르다

내부 화면을 개발하는 데는 열의 형식과 일반적인 범위가 맞는 자료로 충분할 수 있다. 손실 한도를 바꾸는 데에는 꼬리와 위기 의존성까지 맞아야 한다. 외부에 자료를 공유하는 경우에는 보호 기준을 먼저 충족해야 한다. 지우는 각 사용처마다 실제 보류 기간의 결과와 적용할 수 있는 범위를 함께 기록한다.