활성화 함수(Activation Function)는 인공신경망에서 어떤 역할을 하며, 비선형 활성화 함수를 사용하는 주된 이유는 무엇인가요?

활성화 함수는 인공신경망에서 각 뉴런의 출력 값을 결정하는 역할을 합니다. 단순히 입력 값들의 선형 결합으로만 이루어진다면, 여러 층을 쌓아도 결국 선형 모델과 동일해져 복잡한 패턴을 학습할 수 없습니다.

비선형 활성화 함수를 사용하는 주된 이유는 바로 이 비선형성을 도입하기 위해서입니다. 비선형성은 신경망이 현실 세계의 복잡하고 비선형적인 관계를 학습하고 표현할 수 있도록 신경망의 표현력을 크게 향상시킵니다. 또한, 역전파 알고리즘을 통해 가중치를 업데이트하기 위해서는 활성화 함수가 미분 가능해야 하는데, 대부분의 비선형 활성화 함수는 이러한 조건을 만족합니다.