패스잇
AI / 데이터 · 중급

프로덕션 환경에 배포된 ML 모델의 성능을 지속적으로 모니터링해야 하는 이유는 무엇이며, 데이터 드리프트(Data Drift)와 컨셉 드리프트(Concept Drift)를 감지하는 방법과 대응 전략에 대해 설명해 주세요.

힌트 · 모델 모니터링은 성능 저하를 조기에 감지하여 비즈니스 손실을 막습니다. 데이터 드리프트는 입력 데이터 분포 변화, 컨셉 드리프트는 입력-출력 관계 변화를 의미하며, 재학습 또는 모델 업데이트로 대응합니다.

모델 성능 저하데이터 드리프트컨셉 드리프트모니터링 지표재학습 전략

모범답안

프로덕션 환경에 배포된 ML 모델 성능을 지속적으로 모니터링하는 것은 매우 중요합니다. 모델은 학습 데이터와 다른 실제 데이터에 노출될 수 있고, 시간이 지남에 따라 데이터의 특성이 변할 수 있기 때문입니다. 성능 저하를 조기에 감지하지 못하면 예측 정확도가 떨어져 비즈니스에 부정적인 영향을 미칠 수 있습니다.

데이터 드리프트는 모델 입력 데이터의 분포가 학습 데이터와 달라지는 현상입니다. 이를 감지하기 위해 통계적 거리 측정 방법(예: 쿨백-라이블러 발산, 젠센-섀넌 발산)을 사용할 수 있습니다. 컨셉 드리프트는 입력 데이터와 출력 데이터 간의 관계가 변하는 현상입니다. 예를 들어, 스팸 메일의 정의가 시간이 지나면서 바뀌는 경우가 있습니다. 컨셉 드리프트는 모델 성능 지표(정확도, 정밀도, 재현율 등)를 지속적으로 모니터링하여 감지할 수 있습니다.

데이터 드리프트나 컨셉 드리프트가 감지되면 모델을 재학습하거나 새로운 데이터를 반영하여 모델을 업데이트하는 전략을 사용해야 합니다. 또한, 드리프트에 강건한 모델을 설계하거나, 능동 학습(Active Learning)과 같은 기법을 적용하여 모델의 적응력을 높일 수도 있습니다.

읽었다면, 이제 직접 답해볼 차례예요

패스잇 앱에서 이 질문에 말로 답하면 AI가 꼬리질문까지 이어가며 1:1 코칭합니다.

함께 보는 MLOps 면접 질문

← MLOps 면접 질문 전체 보기