배치 정규화(Batch Normalization)가 딥러닝 모델 학습 과정에 어떤 긍정적인 영향을 미치는지, 내부 공변량 변화(Internal Covariate Shift) 관점에서 설명하고, 추론 시에는 어떻게 동작하는지 설명해 주세요.

배치 정규화는 딥러닝 모델 학습 시 각 레이어의 입력 분포를 평균 0, 분산 1로 정규화하여 학습을 안정화하고 속도를 높이는 데 도움을 줍니다.

내부 공변량 변화(Internal Covariate Shift) 관점에서 보면, 각 레이어를 통과하면서 입력 데이터의 분포가 계속 바뀌는 현상을 완화시켜 줍니다. 이렇게 되면 각 레이어가 입력 분포 변화에 적응하느라 학습이 느려지는 것을 방지할 수 있습니다. 또한, 가중치 초기화에 대한 의존성을 줄여주고, 어느 정도의 정규화 효과도 얻을 수 있습니다.

추론 시에는 학습 과정에서 계산된 미니 배치 통계량(평균, 분산)을 사용하는 것이 아니라, 전체 데이터셋에 대한 평균과 분산의 이동 평균(moving average)을 사용하여 정규화를 수행합니다. 이렇게 함으로써 추론 시 배치 크기에 따른 변동성을 줄이고 안정적인 결과를 얻을 수 있습니다.