머신러닝 모델에서 과적합을 방지하기 위한 정규화(Regularization) 기법인 L1과 L2 정규화의 원리와 차이점을 설명하고, 각각이 모델의 가중치에 어떤 효과를 가져오는지 예시를 들어 설명해 보세요.

면접관님, L1, L2 정규화는 모델의 과적합을 막기 위해 사용하는 대표적인 기법입니다. 둘 다 모델의 복잡도를 줄여 일반화 성능을 높이는 데 목적이 있습니다.

L1 정규화는 손실 함수에 가중치의 절대값 합을 더하는 방식입니다. 특징으로는 일부 가중치를 정확히 0으로 만들 수 있다는 점입니다. 이는 모델에서 중요하지 않은 특성을 자동으로 제거하는 효과를 가져와, 모델을 더 단순하고 해석하기 쉽게 만들어 줍니다. 예를 들어, 100개의 특성 중 10개만 중요한 경우, L1 정규화를 통해 나머지 90개의 가중치를 0으로 만들어 불필요한 특성을 제거할 수 있습니다.

반면 L2 정규화는 손실 함수에 가중치 제곱의 합을 더합니다. L2 정규화는 가중치를 0에 가깝게 만들지만, 정확히 0으로 만들지는 않습니다. 모든 특성을 조금씩 활용하면서 가중치를 작게 유지하여 모델의 복잡도를 줄이는 데 기여합니다. 릿지 회귀가 L2 정규화를 사용하는 대표적인 예시입니다.

따라서 L1은 희소한 모델을 만들 때, L2는 모든 특성을 활용하면서 안정적인 모델을 만들 때 유용합니다. 상황에 따라 적절한 정규화 방식을 선택하는 것이 중요합니다.