딥러닝 면접 질문

딥러닝은 머신러닝의 한 분야이지만, 가장 큰 차이점은 특징 추출 방식에 있습니다. 전통적인 머신러닝에서는 사람이 직접 데이터의 특징을 정의하고 추출해야 하지만, 딥러닝은 인공 신경망을 통해 데이터의 특징을 스스로 학습합니다.

딥러닝의 핵심 특징은 다음과 같습니다.

• 다층 신경망 구조: 여러 층으로 구성된 신경망을 사용하여 복잡한 패턴을 학습합니다.
• 표현 학습 (Representation Learning): 데이터로부터 유용한 특징을 자동으로 학습합니다.
• 대규모 데이터 처리: 많은 양의 데이터를 사용하여 모델을 훈련시킬수록 성능이 향상됩니다.

이러한 특징 덕분에 딥러닝은 이미지 인식, 자연어 처리 등 복잡한 문제를 해결하는 데 효과적입니다.

인공신경망은 크게 입력층, 은닉층, 출력층으로 구성됩니다. 입력층은 외부 데이터를 받아들이는 부분이고, 출력층은 최종 결과를 내보내는 역할을 합니다. 은닉층은 입력층과 출력층 사이에 있으며, 여러 개의 층으로 구성될 수 있습니다.

각 층은 노드(뉴런)들로 이루어져 있습니다. 노드는 이전 층의 노드들로부터 신호를 받아 처리하고, 다음 층으로 신호를 전달합니다. 이 신호 전달 과정에서 각 연결에는 가중치가 곱해집니다. 가중치는 특정 입력 신호의 중요도를 나타냅니다. 또한, 각 노드에는 편향이 더해져 활성화 함수의 입력값을 조절합니다. 활성화 함수는 노드의 최종 출력값을 결정하며, 비선형성을 도입하여 신경망이 복잡한 패턴을 학습할 수 있도록 합니다.

활성화 함수는 인공신경망에서 각 뉴런의 출력 값을 결정하는 역할을 합니다. 단순히 입력 값들의 선형 결합으로만 이루어진다면, 여러 층을 쌓아도 결국 선형 모델과 동일해져 복잡한 패턴을 학습할 수 없습니다.

비선형 활성화 함수를 사용하는 주된 이유는 바로 이 비선형성을 도입하기 위해서입니다. 비선형성은 신경망이 현실 세계의 복잡하고 비선형적인 관계를 학습하고 표현할 수 있도록 신경망의 표현력을 크게 향상시킵니다. 또한, 역전파 알고리즘을 통해 가중치를 업데이트하기 위해서는 활성화 함수가 미분 가능해야 하는데, 대부분의 비선형 활성화 함수는 이러한 조건을 만족합니다.

손실 함수는 딥러닝 모델이 예측한 값과 실제 값 사이의 차이를 측정하는 역할을 합니다. 이 차이를 수치화해서 모델이 얼마나 잘 작동하는지 평가하고, 학습 과정에서 모델의 가중치를 업데이트하는 데 사용됩니다.

회귀 문제에서는 주로 MSE(Mean Squared Error)나 MAE(Mean Absolute Error)를 사용합니다. MSE는 예측값과 실제값 차이의 제곱 평균을 계산하며, MAE는 절대값의 평균을 계산합니다. 예를 들어, 집값 예측 모델에서는 MSE를 사용하여 예측 집값과 실제 집값의 차이를 줄이도록 학습합니다.

분류 문제에서는 주로 교차 엔트로피(Cross-Entropy) 손실 함수를 사용합니다. 교차 엔트로피는 모델이 예측한 확률 분포와 실제 레이블 분포 사이의 차이를 측정합니다. 예를 들어, 이미지 분류 모델에서는 교차 엔트로피를 사용하여 모델이 각 이미지에 대해 올바른 클래스를 예측하도록 학습합니다.

경사 하강법은 딥러닝 모델이 학습하는 방식의 핵심입니다. 모델이 예측한 값과 실제 값 사이의 오차, 즉 손실 함수의 값을 최소화하는 방향으로 모델의 가중치를 조금씩 업데이트하는 과정이라고 생각하시면 됩니다.

기본 원리는 간단합니다. 먼저 손실 함수의 기울기를 계산합니다. 이 기울기는 현재 지점에서 손실 함수가 가장 가파르게 증가하는 방향을 알려줍니다. 우리는 손실을 줄여야 하므로, 기울기의 반대 방향으로 이동합니다.

이때 얼마나 이동할지를 결정하는 것이 학습률입니다. 학습률이 너무 크면 최적점을 지나쳐 버릴 수 있고, 너무 작으면 학습 속도가 매우 느려질 수 있습니다. 이 과정을 반복하면서 손실 함수가 최소가 되는 지점, 즉 최적의 가중치 값을 찾아가는 것이 경사 하강법입니다.

과적합과 과소적합은 딥러닝 모델 학습 시 발생하는 대표적인 문제입니다. 과적합은 모델이 훈련 데이터에는 지나치게 잘 맞지만, 실제 새로운 데이터에는 제대로 작동하지 못하는 현상을 말합니다. 마치 시험 문제만 외워서 풀고 응용 문제에는 약한 것과 같습니다. 반대로 과소적합은 모델이 훈련 데이터조차 제대로 학습하지 못하는 경우입니다. 너무 단순한 모델을 사용하거나 학습이 충분히 이루어지지 않았을 때 발생하죠.

과적합은 높은 분산(Variance)과 낮은 편향(Bias)을, 과소적합은 낮은 분산과 높은 편향을 가집니다. 과적합된 모델은 훈련 데이터의 작은 노이즈까지 학습하여 일반화 능력이 떨어지고, 과소적합된 모델은 데이터의 중요한 패턴을 놓쳐 예측 정확도가 낮아집니다. 따라서 적절한 모델 복잡도를 선택하고, 규제 기법 등을 사용하여 과적합과 과소적합을 방지하는 것이 중요합니다.

과적합을 방지하기 위한 정규화 기법 세 가지를 설명드리겠습니다.

첫째, L1 정규화는 가중치의 절대값 합에 페널티를 부여하여 가중치를 0에 가깝게 만듭니다. 이는 모델을 단순화하고, 중요하지 않은 특징을 제거하여 희소성을 높이는 효과가 있습니다.

둘째, L2 정규화는 가중치의 제곱합에 페널티를 부여하여 가중치를 작게 만듭니다. L1 정규화와 유사하게 모델의 복잡도를 줄이지만, 가중치를 완전히 0으로 만들지는 않습니다.

셋째, Dropout은 학습 과정에서 무작위로 뉴런을 비활성화하는 기법입니다. 이를 통해 각 뉴런이 특정 특징에 과도하게 의존하는 것을 막고, 앙상블 효과를 내어 모델의 일반화 성능을 향상시킵니다.

ResNet과 VGG의 주요 차이점은 네트워크 구조와 깊이에 따른 성능입니다. VGG는 단순히 레이어를 깊게 쌓아 성능을 향상시키려 했지만, 깊이가 깊어질수록 기울기 소실/폭주 문제로 학습이 어려워지는 한계가 있었습니다.

반면 ResNet은 잔차 연결(Residual Connection)이라는 혁신적인 구조를 도입했습니다. 이 연결은 이전 레이어의 출력을 건너뛰어(Skip Connection) 다음 레이어의 입력에 더해주는 방식으로, 네트워크가 항등 함수(Identity Function)를 학습하도록 돕습니다. 이를 통해 기울기 소실 문제를 완화하고, 깊은 네트워크에서도 효과적인 학습이 가능하게 합니다.

결론적으로, ResNet은 잔차 연결을 통해 깊은 네트워크 학습의 안정성을 확보하고, VGG보다 훨씬 깊은 네트워크를 효과적으로 학습시켜 더 좋은 성능을 보이는 것입니다.

RNN은 이론적으로 긴 시퀀스 정보를 처리할 수 있지만, 실제로는 기울기 소실 문제 때문에 장기 의존성을 잘 학습하지 못합니다. LSTM과 GRU는 이러한 문제를 해결하기 위해 고안되었습니다.

LSTM은 '셀 상태'라는 핵심 개념을 도입하여 정보를 오랫동안 유지할 수 있도록 합니다. 세 개의 게이트, 즉 입력 게이트, 망각 게이트, 출력 게이트가 셀 상태를 제어합니다. 망각 게이트는 어떤 정보를 버릴지 결정하고, 입력 게이트는 어떤 새로운 정보를 셀 상태에 저장할지 결정합니다. 마지막으로 출력 게이트는 셀 상태를 기반으로 어떤 정보를 출력할지 결정합니다.

GRU는 LSTM을 간소화한 모델입니다. 셀 상태와 hidden state를 합치고, 업데이트 게이트와 리셋 게이트라는 두 개의 게이트만 사용합니다. 업데이트 게이트는 과거 정보를 얼마나 유지할지 결정하고, 리셋 게이트는 과거 정보를 얼마나 활용할지 결정합니다. GRU는 구조가 간단하여 학습 속도가 빠르다는 장점이 있습니다.

결론적으로, LSTM과 GRU는 게이트를 통해 정보의 흐름을 효과적으로 제어하여 장기 의존성 문제를 완화하고, RNN의 성능을 향상시킵니다.

어텐션 메커니즘은 Seq2Seq 모델에서 인코더의 정보를 하나의 고정된 크기의 문맥 벡터에 압축하는 과정에서 발생하는 정보 손실, 즉 병목 현상을 해결합니다. 특히 입력 시퀀스가 길어질수록 앞부분 정보가 소실되는 장거리 의존성 문제가 심각해지는데, 어텐션은 이를 완화합니다.

기존 RNN 기반 모델은 마지막 hidden state만을 디코더에 전달하는 반면, 어텐션은 인코더의 모든 hidden state를 활용합니다. 디코더의 각 시점마다, 인코더의 hidden state 각각에 가중치를 부여하여 가중합을 계산하고, 이를 문맥 벡터로 사용합니다. 이 가중치는 디코더의 현재 hidden state와 인코더의 각 hidden state 간의 유사도를 기반으로 결정됩니다.

예를 들어, "나는 학교에 갑니다"를 영어로 번역할 때, 디코더가 "go"를 생성하는 시점에서 어텐션은 "갑니다"에 높은 가중치를 부여하여 디코더가 해당 단어에 집중하도록 돕습니다. 이를 통해 번역 품질을 향상시키고, 장거리 의존성 문제도 효과적으로 해결할 수 있습니다.

배치 정규화는 딥러닝 모델 학습 시 각 레이어의 입력 분포를 평균 0, 분산 1로 정규화하여 학습을 안정화하고 속도를 높이는 데 도움을 줍니다.

내부 공변량 변화(Internal Covariate Shift) 관점에서 보면, 각 레이어를 통과하면서 입력 데이터의 분포가 계속 바뀌는 현상을 완화시켜 줍니다. 이렇게 되면 각 레이어가 입력 분포 변화에 적응하느라 학습이 느려지는 것을 방지할 수 있습니다. 또한, 가중치 초기화에 대한 의존성을 줄여주고, 어느 정도의 정규화 효과도 얻을 수 있습니다.

추론 시에는 학습 과정에서 계산된 미니 배치 통계량(평균, 분산)을 사용하는 것이 아니라, 전체 데이터셋에 대한 평균과 분산의 이동 평균(moving average)을 사용하여 정규화를 수행합니다. 이렇게 함으로써 추론 시 배치 크기에 따른 변동성을 줄이고 안정적인 결과를 얻을 수 있습니다.

과적합 방지를 위한 Dropout과 L1/L2 정규화에 대해 설명드리겠습니다.

Dropout은 학습 시 무작위로 일부 뉴런을 비활성화하여, 특정 뉴런에 과도하게 의존하는 것을 방지합니다. 이는 여러 개의 작은 모델을 앙상블하는 효과를 주어 일반화 성능을 높입니다. 장점은 구현이 간단하고 효과적이라는 것이지만, 학습 속도가 느려질 수 있다는 단점이 있습니다.

L1/L2 정규화는 손실 함수에 가중치의 크기에 비례하는 페널티 항을 추가하는 방식입니다. L1 정규화는 가중치 중 일부를 0으로 만들어 특징 선택 효과, 즉 희소성을 유도하는 데 유리합니다. L2 정규화는 가중치 값들을 전반적으로 작게 만들어 가중치 감쇠(weight decay) 효과를 통해 과적합을 방지합니다. L1은 희소성이 중요할 때, L2는 전반적인 가중치 크기를 줄여 안정적인 학습을 원할 때 주로 사용됩니다.

실제 모델 학습 시 선택 기준은 데이터셋의 특성과 모델의 복잡성에 따라 달라집니다. 특징이 많고 일부 특징만 중요한 경우 L1이 유용할 수 있고, 모델이 너무 복잡하여 과적합이 심하게 발생하는 경우 L2나 Dropout을 함께 사용하는 것이 효과적입니다. 보통은 L2 정규화를 기본으로 사용하고, 과적합이 여전히 심하면 Dropout을 추가하거나 L1을 고려하는 방식으로 접근합니다.

면접관님, Adam, RMSprop, SGD 옵티마이저는 딥러닝 모델 학습 시 중요한 역할을 하는 최적화 알고리즘입니다.

SGD는 가장 기본적인 방법으로, 각 반복마다 전체 데이터셋의 일부(미니 배치)에 대한 기울기를 계산하여 파라미터를 업데이트합니다. 단순하지만 학습 속도가 느리고, local minima에 빠지기 쉽다는 단점이 있습니다.

RMSprop은 학습률을 적응적으로 조절하여 SGD의 단점을 보완합니다. 각 파라미터마다 기울기의 제곱값을 지수적으로 감쇠 평균하여 학습률을 조정하므로, 진동을 줄이고 더 빠르게 수렴할 수 있습니다.

Adam은 RMSprop에 모멘텀 개념을 결합한 알고리즘입니다. 모멘텀은 이전 업데이트 방향을 고려하여 현재 업데이트에 반영하므로, local minima를 탈출하고 더 안정적인 수렴을 돕습니다.

실제 프로젝트에서 옵티마이저를 선택할 때는 데이터셋의 크기, 모델의 복잡성, 그리고 원하는 수렴 속도를 고려해야 합니다. 일반적으로 Adam이 좋은 성능을 보이지만, 데이터셋이 작거나 모델이 단순한 경우에는 SGD나 RMSprop이 더 나은 결과를 얻을 수도 있습니다. 또한, 배치 크기 역시 옵티마이저 선택에 영향을 미치므로, 다양한 옵티마이저와 배치 크기를 조합하여 실험해 보는 것이 중요합니다.

전이 학습은 딥러닝 모델 개발 시 크게 두 가지 이점을 제공합니다. 첫째, 학습 시간 단축 및 성능 향상입니다. 대규모 데이터셋으로 미리 학습된 모델을 활용하기 때문에 적은 데이터로도 빠르게 좋은 성능을 낼 수 있습니다. 둘째, 데이터 부족 문제 해결에 효과적입니다.

데이터셋이 적거나 특정 도메인에 특화된 문제에서 전이 학습은 더욱 빛을 발합니다. 예를 들어, 의료 영상 분석에서 희귀 질병 진단 모델을 개발한다고 가정해 봅시다. 희귀 질병 데이터는 구하기 어렵기 때문에 ImageNet으로 사전 학습된 ResNet 모델을 가져와 특징 추출기로 사용하고, 마지막 분류 레이어만 희귀 질병 데이터에 맞춰 미세 조정(Fine-tuning)합니다. 이렇게 하면 적은 데이터로도 높은 정확도의 진단 모델을 만들 수 있습니다. 추가적으로 데이터 증강 기법을 활용하여 데이터 부족 문제를 더욱 완화할 수 있습니다.

엣지 디바이스 배포를 위해 모델 경량화는 필수적입니다. 정확도 손실을 최소화하면서 속도와 메모리 효율을 높이는 방법으로 가지치기, 양자화, 지식 증류를 고려할 수 있습니다.

가지치기는 중요도가 낮은 연결을 제거하여 모델을 희소하게 만듭니다. 계산량을 줄이지만, 잘못 적용하면 정확도 하락이 클 수 있습니다.

양자화는 모델 가중치를 낮은 정밀도로 표현합니다. INT8 양자화는 메모리 사용량을 줄이고 추론 속도를 높이지만, 정보 손실로 인해 정확도가 떨어질 수 있습니다. 이를 완화하기 위해 양자화 인식 훈련 (Quantization Aware Training)을 사용합니다.

지식 증류는 큰 모델의 지식을 작은 모델로 전달하는 방법입니다. 작은 모델은 큰 모델의 행동을 모방하여 더 나은 성능을 얻을 수 있습니다.

각 기법은 장단점이 있으므로, 목표 환경과 모델 특성에 맞춰 적절한 조합을 선택해야 합니다. 예를 들어, TensorFlow Lite와 같은 프레임워크는 양자화 및 가지치기를 지원하여 엣지 배포를 용이하게 합니다.

연합 학습 도입 시 주요 과제는 크게 세 가지입니다. 첫째, 통신 오버헤드입니다. 모델 업데이트 정보를 주고받는 과정에서 네트워크 부담이 커질 수 있습니다. 이를 해결하기 위해 모델 업데이트를 압축하거나, 일부 레이어만 업데이트하는 방법을 고려할 수 있습니다.

둘째, 모델 수렴 안정성 문제입니다. 각 클라이언트 데이터 분포가 달라 모델이 제대로 수렴하지 않을 수 있습니다. FedAvg 변형 알고리즘을 사용하거나, 클라이언트별 학습률을 조정하여 모델 드리프트를 방지할 수 있습니다.

셋째, 악의적인 클라이언트로부터의 공격입니다. 차분 프라이버시나 보안 집계를 적용하여 개인 정보 보호를 강화하고, 모델을 오염시키는 공격을 막을 수 있습니다. 또한, 견고한 통계 기법을 활용하여 이상치를 탐지하고 제거하는 것도 좋은 방법입니다. 블록체인 기반의 모델 공유 및 검증 시스템을 구축하여 보안성을 더욱 강화할 수도 있습니다.

최근 이미지 생성 분야에서 확산 모델이 GAN을 능가하는 성능을 보이는 것은 사실입니다. 확산 모델은 크게 순방향 확산 과정과 역방향 확산 과정으로 나눌 수 있습니다.

순방향 과정은 점진적으로 이미지에 가우시안 노이즈를 더해 완전히 노이즈로 만드는 과정입니다. 반면, 역방향 과정은 신경망을 통해 노이즈로부터 점진적으로 이미지를 복원하는 과정입니다. 이 때, 신경망은 각 단계에서 노이즈를 예측하고 제거하는 역할을 합니다.

고해상도 이미지 생성 시 계산 복잡도가 높아지는 것은 당연합니다. 이를 해결하기 위해 SDE/ODE 솔버 기반의 가속화 기법들이 연구되고 있습니다. 예를 들어, DDIM은 비-마르코프 연쇄를 사용하여 더 적은 단계로 샘플링을 완료할 수 있도록 합니다. DPM-Solver는 ODE를 더 효율적으로 풀어 샘플링 속도를 높입니다. 이러한 방법들은 확산 과정을 근사하여 계산량을 줄이면서도 고품질의 이미지를 생성할 수 있도록 돕습니다. 조건부 생성과 결합하여 원하는 스타일의 이미지를 만들 수도 있습니다.

대규모 그래프 데이터에 GNN을 적용할 때 메모리, 계산 효율성, 과평활화 문제가 발생할 수 있습니다.

메모리 제약은 전체 그래프를 GPU에 올리기 어려워 발생합니다. 이를 해결하기 위해 GraphSAGE처럼 이웃 노드를 샘플링하여 미니배치를 구성하거나, Cluster-GCN처럼 그래프를 클러스터링하여 독립적인 서브 그래프로 나누어 학습하는 방법을 사용합니다.

계산 효율성은 그래프가 커질수록 메시지 전달 과정이 복잡해져 발생합니다. 샘플링 기법 외에도, 레이어 수를 줄이거나, 중요한 이웃에 집중하는 어텐션 메커니즘을 활용하여 계산량을 줄일 수 있습니다.

과평활화는 레이어가 깊어질수록 노드 표현이 비슷해져 발생합니다. 이를 완화하기 위해 GAT처럼 어텐션 메커니즘을 사용하여 이웃 노드의 중요도를 학습하거나, 잔차 연결(Residual Connections)을 통해 이전 레이어의 정보를 유지하는 방법을 사용합니다. 이러한 방법들은 GNN이 학습되지 않은 노드에 대해서도 예측할 수 있는 inductive learning 능력을 향상시키는 데 도움을 줍니다.

면접관님, 자기지도 학습에서 Contrastive Learning과 MAE는 레이블 없는 데이터로부터 유용한 표현을 학습하는 효과적인 방법입니다.

Contrastive Learning은 데이터 증강을 통해 생성된 유사한 샘플들을 서로 가깝게, 다른 샘플들은 멀리 떨어뜨리는 방식으로 학습합니다. SimCLR, MoCo, BYOL 등이 대표적이며, 이미지 분류, 객체 탐지 등 다양한 task에 적용 가능합니다. 데이터 증강 전략과 negative sampling 방법이 성능에 큰 영향을 미칩니다.

MAE는 이미지의 일부를 마스킹하고, 마스크된 부분을 복원하도록 학습합니다. BERT와 유사한 방식으로, 이미지의 전체적인 맥락을 이해하는 데 효과적입니다. 마스크 비율과 디코더 구조가 중요한 하이퍼파라미터이며, 특히 이미지 생성이나 복원과 관련된 task에 강점을 보입니다.

Contrastive Learning은 전반적인 이미지 특징을 잘 학습하는 반면, MAE는 부분적인 정보 복원에 집중하여 세밀한 특징을 학습하는 경향이 있습니다. 따라서 데이터와 task의 특성에 따라 적절한 방법을 선택해야 합니다. 실제 적용 시에는 데이터셋 크기, 계산 자원, 원하는 표현의 특성 등을 고려하여 하이퍼파라미터를 튜닝하고 아키텍처를 설계해야 합니다.

ViT는 이미지를 패치 단위로 쪼개어 각 패치를 하나의 토큰처럼 취급하고, 트랜스포머의 인코더에 입력합니다. CNN과 달리 ViT는 이미지 전체에 대한 전역적인 관계를 Self-Attention 메커니즘을 통해 효과적으로 모델링할 수 있다는 장점이 있습니다. 하지만, 고해상도 이미지의 경우 패치 수가 급증하여 Self-Attention 계산량이 매우 커지는 단점이 있습니다.

이를 해결하기 위해 ViT는 패치 임베딩 시 다운샘플링을 적용하거나, Swin Transformer처럼 계층적 구조를 사용하여 점진적으로 패치 크기를 키우면서 계산 복잡도를 줄입니다. Swin Transformer는 Shifted Window Attention이라는 방식을 통해 윈도우 간의 연결성을 유지하면서도 계산량을 줄이는 혁신적인 방법을 제시했습니다. 이러한 구조적 특징 덕분에 ViT는 CNN 기반 모델보다 더 넓은 범위의 정보를 활용하여 이미지 분류, 객체 탐지 등 다양한 비전 태스크에서 뛰어난 성능을 보여주고 있습니다. 다만, ViT는 CNN에 비해 데이터 의존성이 높다는 점도 고려해야 합니다.

딥러닝 모델의 신뢰성을 위해 강건성과 설명 가능성은 매우 중요합니다.

적대적 공격은 모델의 취약점을 이용해 오작동을 유발합니다. FGSM은 기울기 방향으로 작은 노이즈를 더해 공격하고, PGD는 이를 반복하여 공격 강도를 높입니다. Adversarial Training은 이러한 공격에 노출된 데이터를 학습시켜 모델의 강건성을 향상시키는 방어 전략입니다.

블랙박스 모델 해석을 위한 XAI 기법으로 LIME, SHAP, Grad-CAM 등이 있습니다. LIME은 특정 입력 주변의 국소적인 영역에서 모델을 선형적으로 근사하여 설명을 제공하는 모델 불가지론적 방법입니다. SHAP은 게임 이론에 기반하여 각 feature가 예측에 미치는 영향력을 계산하는 모델 불가지론적 방법으로, 글로벌한 설명도 가능합니다. Grad-CAM은 CNN 모델의 특정 레이어의 기울기 정보를 활용하여 시각적인 설명을 제공하는 모델 특정적인 방법입니다.

실제 시스템 적용 시에는 각 기법의 장단점을 고려해야 합니다. LIME은 계산 비용이 저렴하지만 불안정할 수 있고, SHAP은 안정적이지만 계산 비용이 높습니다. Grad-CAM은 CNN에 특화되어 다른 모델에는 적용하기 어렵습니다. 따라서 모델의 종류, 설명의 범위, 계산 비용 등을 고려하여 적절한 XAI 기법을 선택해야 합니다.