어텐션 메커니즘(Attention Mechanism)이 시퀀스-투-시퀀스(Seq2Seq) 모델에서 어떤 문제를 해결하며, 기존 RNN 기반 모델 대비 어떤 이점을 제공하는지 구체적인 동작 원리를 예시와 함께 설명해 주세요.

어텐션 메커니즘은 Seq2Seq 모델에서 인코더의 정보를 하나의 고정된 크기의 문맥 벡터에 압축하는 과정에서 발생하는 정보 손실, 즉 병목 현상을 해결합니다. 특히 입력 시퀀스가 길어질수록 앞부분 정보가 소실되는 장거리 의존성 문제가 심각해지는데, 어텐션은 이를 완화합니다.

기존 RNN 기반 모델은 마지막 hidden state만을 디코더에 전달하는 반면, 어텐션은 인코더의 모든 hidden state를 활용합니다. 디코더의 각 시점마다, 인코더의 hidden state 각각에 가중치를 부여하여 가중합을 계산하고, 이를 문맥 벡터로 사용합니다. 이 가중치는 디코더의 현재 hidden state와 인코더의 각 hidden state 간의 유사도를 기반으로 결정됩니다.

예를 들어, "나는 학교에 갑니다"를 영어로 번역할 때, 디코더가 "go"를 생성하는 시점에서 어텐션은 "갑니다"에 높은 가중치를 부여하여 디코더가 해당 단어에 집중하도록 돕습니다. 이를 통해 번역 품질을 향상시키고, 장거리 의존성 문제도 효과적으로 해결할 수 있습니다.