신경망에서 활성화 함수(Activation Function)의 역할은 무엇이며, ReLU, Sigmoid, Tanh 함수 각각의 특징과 장단점을 비교하고, 현대 딥러닝 모델에서 ReLU 계열 함수가 주로 사용되는 이유를 설명해 주세요.

면접관님, 신경망에서 활성화 함수는 각 뉴런의 출력값을 결정하는 중요한 역할을 합니다. 선형 변환된 입력에 비선형성을 더해, 신경망이 복잡한 패턴을 학습할 수 있도록 돕습니다.

ReLU는 입력이 0보다 크면 그대로 출력하고, 0 이하이면 0을 출력하는 간단한 함수입니다. 계산이 빠르고 기울기 소실 문제를 완화해주는 장점이 있지만, 음수 입력에 대해 항상 0을 출력하는 Dying ReLU 문제가 발생할 수 있습니다.

Sigmoid는 0과 1 사이의 값을 출력하여 확률 해석에 용이하지만, 입력값이 클수록 기울기가 소실되는 문제가 있습니다. Tanh는 -1과 1 사이의 값을 출력하며 Sigmoid보다 기울기 소실 문제가 덜하지만, 여전히 기울기 소실 문제가 존재합니다.

현대 딥러닝 모델에서는 ReLU 계열 함수가 주로 사용됩니다. ReLU의 빠른 계산 속도와 기울기 소실 문제 완화 효과 덕분에 학습 속도를 크게 향상시킬 수 있기 때문입니다. Leaky ReLU나 ELU와 같은 변형된 ReLU 함수들은 Dying ReLU 문제를 해결하기 위해 제안되었습니다.