프로덕션 환경에 배포된 머신러닝 모델이 시간이 지남에 따라 성능이 저하되는 현상(Model Drift)을 경험하고 있습니다. 데이터 드리프트와 컨셉트 드리프트의 차이점을 설명하고, 각 유형의 드리프트를 효과적으로 감지하고 자동으로 대응하기 위한 모니터링 시스템 설계 방안과 구체적인 지표들을 제시해주세요.

면접관님, 모델 드리프트는 머신러닝 모델의 성능 저하를 의미하며, 크게 데이터 드리프트와 컨셉트 드리프트로 나눌 수 있습니다. 데이터 드리프트는 모델 입력 데이터의 분포가 학습 데이터와 달라지는 현상이고, 컨셉트 드리프트는 입력 데이터와 타겟 변수 사이의 관계가 변하는 현상입니다.

데이터 드리프트 감지를 위해 KS-test나 KL-divergence를 사용하여 학습 데이터와 실시간 데이터의 분포 차이를 모니터링합니다. 컨셉트 드리프트는 모델의 예측 성능 지표(정확도, F1-score 등) 변화를 통해 감지할 수 있습니다.

모니터링 시스템은 데이터/컨셉트 드리프트 감지 시 알람을 발생시키고, 자동 재학습 또는 모델 롤백을 수행하도록 설계할 수 있습니다. 재학습 주기는 드리프트 발생 빈도와 모델 성능 저하 정도에 따라 조정하며, 롤백은 이전 버전의 안정적인 모델로 신속하게 전환하여 서비스 영향을 최소화합니다.