AWS / 클라우드 면접 질문

클라우드 컴퓨팅은 인터넷을 통해 컴퓨팅 자원(서버, 스토리지, 데이터베이스, 소프트웨어 등)을 필요에 따라 사용하고, 사용한 만큼 비용을 지불하는 방식입니다. 마치 전기나 수도처럼 필요한 만큼만 빌려 쓰는 개념이라고 생각하시면 됩니다.

온프레미스 환경과 비교했을 때 주요 장점은 다음과 같습니다.

• 비용 효율성: 초기 투자 비용이 적고, 사용량에 따라 비용을 지불하므로 불필요한 지출을 줄일 수 있습니다.
• 확장성: 트래픽 증가 등 필요에 따라 즉시 자원을 확장하거나 축소할 수 있습니다.
• 유연성: 다양한 서비스와 기술을 쉽게 이용하고 적용할 수 있습니다.
• 관리 용이성: 인프라 관리를 클라우드 제공업체가 대신 해주므로, 개발 및 서비스 운영에 집중할 수 있습니다.

IaaS, PaaS, SaaS는 클라우드 서비스 모델이며, 제공자와 사용자의 책임 범위에 차이가 있습니다.

IaaS는 Infrastructure as a Service의 약자로, 서버, 스토리지, 네트워크 등 인프라 자원을 제공합니다. 사용자는 운영체제, 미들웨어, 애플리케이션 등을 직접 관리해야 합니다. 예를 들어, AWS의 EC2나 Azure Virtual Machines가 있습니다.

PaaS는 Platform as a Service의 약자로, 애플리케이션 개발 및 실행 환경을 제공합니다. 사용자는 애플리케이션 개발과 관리에 집중할 수 있으며, 서버 관리나 플랫폼 업데이트는 제공자가 담당합니다. AWS Elastic Beanstalk나 Google App Engine이 PaaS에 해당합니다.

SaaS는 Software as a Service의 약자로, 소프트웨어를 웹을 통해 제공합니다. 사용자는 소프트웨어 설치나 업데이트 없이 바로 사용할 수 있으며, 모든 관리는 제공자가 담당합니다. Salesforce나 Google Workspace가 대표적인 SaaS 서비스입니다.

각 모델은 사용자의 제어 수준과 관리 부담에 따라 선택할 수 있습니다.

클라우드 배포 모델은 크게 퍼블릭, 프라이빗, 하이브리드로 나눌 수 있습니다.

퍼블릭 클라우드는 AWS, Azure, GCP처럼 외부 사업자가 소유하고 관리하는 공유 인프라를 사용하는 모델입니다. 비용 효율성이 높고 확장성이 뛰어나지만, 데이터 보안 및 규제 준수 측면에서 고려할 점이 있습니다.

프라이빗 클라우드는 기업이 자체적으로 구축하거나 전용으로 임대하여 사용하는 모델입니다. 공유 인프라가 아니므로 보안과 통제력이 높지만, 초기 구축 비용과 운영 부담이 큽니다.

하이브리드 클라우드는 퍼블릭과 프라이빗 클라우드를 혼합하여 사용하는 모델입니다. 민감한 데이터는 프라이빗 클라우드에 두고, 그렇지 않은 워크로드는 퍼블릭 클라우드를 활용하는 등 유연하게 자원을 활용할 수 있다는 장점이 있습니다.

클라우드 환경에서 가상 머신, 즉 VM은 물리적인 하드웨어 위에 소프트웨어적으로 구현된 독립적인 컴퓨터라고 생각하시면 됩니다. 여러 개의 VM이 하나의 물리 서버에서 실행될 수 있으며, 각각의 VM은 자체적인 운영체제와 애플리케이션을 가집니다.

주요 용도로는 여러 서버를 하나의 물리 서버로 통합하여 비용을 절감하고, 개발 및 테스트 환경을 격리하여 안정성을 높이는 데 사용됩니다. 또한, IaaS(Infrastructure as a Service)의 핵심 요소로서 필요에 따라 컴퓨팅 자원을 유연하게 확장하거나 축소할 수 있게 해줍니다.

네, 오브젝트 스토리지 서비스에 대한 질문에 대한 답변입니다.

AWS S3, GCP Cloud Storage, Azure Blob Storage와 같은 오브젝트 스토리지는 비정형 데이터를 저장하기 위한 클라우드 기반 서비스입니다. 파일 시스템과 가장 큰 차이점은 계층 구조가 없는 플랫한 구조를 가진다는 점입니다. 모든 데이터는 고유한 키를 가진 '객체'로 저장되며, 이 객체들은 버킷이라는 컨테이너에 담깁니다.

주요 특징으로는 무제한에 가까운 확장성, 높은 내구성 및 가용성, 그리고 REST API를 통한 간편한 접근을 들 수 있습니다. 각 객체는 데이터 자체 외에도 다양한 메타데이터를 함께 저장할 수 있어 데이터 관리가 용이합니다. 파일 시스템처럼 디렉토리 구조를 직접 관리할 필요 없이, 객체 키를 통해 데이터를 찾고 관리하게 됩니다. 이는 대규모 데이터를 효율적으로 저장하고 관리하는 데 매우 유리합니다.

클라우드 환경에서 VPC 또는 Virtual Network는 기본적으로 논리적으로 격리된 자신만의 네트워크 공간을 제공하기 때문에 필수적입니다. 이를 통해 퍼블릭 클라우드 내에서도 마치 자체 데이터센터처럼 네트워크를 구축하고 관리할 수 있습니다.

주요 기능으로는 IP 주소 범위 지정 및 관리가 가능하여, 충돌 없이 자체적으로 IP 대역을 설정할 수 있습니다. 또한, 서브넷을 통해 네트워크를 세분화하고, 라우팅 테이블을 이용해 트래픽 흐름을 제어할 수 있습니다. 가장 중요한 것은 보안 그룹 및 네트워크 ACL 등을 통해 인바운드/아웃바운드 트래픽을 엄격하게 제어하여 보안을 강화하고, 특정 리소스에 대한 접근을 제한하는 리소스 제어 기능을 제공한다는 점입니다. 결국, VPC는 클라우드 리소스의 안전하고 효율적인 운영을 위한 근간이 됩니다.

IAM은 클라우드 환경에서 사용자, 그룹, 서비스 등이 클라우드 리소스에 접근할 때 '누가' '무엇'을 '어떻게' 할 수 있는지 정의하고 관리하는 핵심 서비스입니다.

IAM이 중요한 이유는 크게 두 가지입니다. 첫째, 인증과 권한 부여를 통해 접근 제어를 강화하여 보안을 향상시킵니다. 예를 들어, 특정 사용자에게는 데이터베이스 읽기 권한만 부여하고 수정 권한은 주지 않는 방식으로 불필요한 접근을 차단할 수 있습니다. 둘째, 최소 권한 원칙을 적용하여 보안 위험을 최소화하고 규정 준수를 용이하게 합니다. 필요한 권한만 부여함으로써, 만약 계정이 탈취되더라도 피해 범위를 제한할 수 있습니다.

서버리스 함수와 컨테이너 오케스트레이션 중 어떤 기술을 선택할지는 프로젝트의 요구사항에 따라 달라집니다.

서버리스 함수는 이벤트 기반으로 짧게 실행되는 작업에 적합합니다. 예를 들어, 이미지 썸네일 생성, 데이터 변환, API 게이트웨이 뒷단의 간단한 로직 처리 등에 유용합니다. 운영 부담이 적고 사용한 만큼만 비용을 지불하기 때문에 초기 비용을 절감할 수 있습니다. 하지만 복잡한 상태 관리나 장기 실행 작업에는 적합하지 않습니다.

반면, 컨테이너 오케스트레이션은 더 많은 제어권을 제공하며 복잡한 애플리케이션을 관리하는 데 적합합니다. 예를 들어, 마이크로서비스 아키텍처, 머신러닝 모델 배포, 데이터베이스 클러스터 운영 등에 유용합니다. 컨테이너를 통해 환경 일관성을 유지하고 확장성을 확보할 수 있지만, 서버리스에 비해 운영 복잡도가 높고 초기 설정 비용이 발생할 수 있습니다.

따라서, 단순하고 이벤트 기반의 작업에는 서버리스를, 복잡하고 지속적인 작업에는 컨테이너 오케스트레이션을 선택하는 것이 일반적입니다. 물론, 두 기술을 혼합하여 사용하는 것도 가능합니다.

자동 스케일링은 클라우드 환경에서 애플리케이션의 성능과 비용 효율성을 유지하는 데 중요한 기능입니다. 기본적으로, 미리 정의된 조건에 따라 서버(인스턴스)의 수를 자동으로 늘리거나 줄여줍니다.

동작 원리는 다음과 같습니다. 먼저, CPU 사용률, 네트워크 트래픽, 메모리 사용량 등과 같은 지표(Metrics)를 모니터링합니다. 이러한 지표가 미리 설정된 임계값을 넘어서면, 스케일 아웃(Scale-out) 정책에 따라 인스턴스 수를 늘립니다. 반대로, 사용량이 줄어들면 스케일 인(Scale-in) 정책에 따라 인스턴스 수를 줄입니다.

설정 시 고려해야 할 주요 지표는 애플리케이션의 특성에 따라 달라집니다. 예를 들어, 웹 애플리케이션의 경우 CPU 사용률, 응답 시간, 요청 수 등이 중요할 수 있습니다. 데이터베이스의 경우 디스크 I/O, 연결 수 등이 중요할 수 있습니다.

정책 설정 시에는 스케일 아웃/인에 대한 임계값, 인스턴스 증가/감소 폭, 쿨다운 기간 등을 신중하게 결정해야 합니다. 너무 민감하게 설정하면 불필요한 스케일링이 발생할 수 있고, 너무 둔감하게 설정하면 성능 저하를 초래할 수 있습니다.

ALB와 NLB의 가장 큰 차이는 작동 계층입니다. ALB는 HTTP/HTTPS 트래픽을 처리하는 Layer 7 로드 밸런서로, 콘텐츠 기반 라우팅이 가능합니다. 예를 들어, URL 경로에 따라 다른 백엔드 서버로 트래픽을 보낼 수 있습니다. 반면 NLB는 TCP/UDP 트래픽을 처리하는 Layer 4 로드 밸런서로, 높은 성능과 낮은 지연 시간을 제공합니다.

ALB는 마이크로서비스 아키텍처처럼 복잡한 라우팅 규칙이 필요한 웹 애플리케이션에 적합합니다. NLB는 게임 서버나 실시간 스트리밍 서비스처럼 빠른 응답 속도가 중요한 애플리케이션에 더 적합합니다. 예를 들어, 게임 서버의 경우 NLB를 사용하여 안정적이고 빠른 연결을 유지할 수 있습니다.

다중 계층 애플리케이션 네트워크를 설계할 때, VPC 내에서 퍼블릭 서브넷과 프라이빗 서브넷을 분리하여 보안을 강화합니다. 웹 계층은 퍼블릭 서브넷에 배치하여 외부에서 접근 가능하도록 하고, 애플리케이션 및 데이터베이스 계층은 프라이빗 서브넷에 배치하여 외부 직접 접근을 차단합니다.

각 계층별로 보안 그룹을 설정하여 필요한 트래픽만 허용합니다. 예를 들어, 웹 계층 보안 그룹은 80/443 포트만 허용하고, 애플리케이션 계층은 웹 계층으로부터의 트래픽만 허용합니다. 데이터베이스 계층은 애플리케이션 계층으로부터의 데이터베이스 포트(예: 3306) 트래픽만 허용하여 최소 권한 원칙을 적용합니다.

라우팅 테이블은 트래픽 경로를 정의합니다. 퍼블릭 서브넷은 인터넷 게이트웨이를 통해 외부와 통신하고, 프라이빗 서브넷은 NAT 게이트웨이를 통해 인터넷에 접근하거나, 필요에 따라 VPC 엔드포인트를 사용하여 AWS 서비스에 안전하게 접근하도록 구성합니다. 이렇게 하면 각 계층 간의 통신과 외부 접근을 명확하게 제어하여 보안을 강화할 수 있습니다.

오브젝트 스토리지 서비스의 스토리지 클래스는 크게 접근 빈도, 검색 시간, 비용을 기준으로 나뉩니다.

Standard는 가장 일반적인 클래스로, 높은 가용성과 빠른 접근 속도를 제공하지만 비용이 가장 높습니다. 자주 접근하는 이미지, 비디오, 활성 데이터셋에 적합합니다.

Infrequent Access는 접근 빈도가 낮은 데이터를 위한 클래스로, Standard보다 비용은 저렴하지만 검색 비용이 발생할 수 있습니다. 백업 데이터나 로그 파일 보관에 유용합니다.

Glacier는 장기 보관용으로, 가장 저렴하지만 검색 시간이 오래 걸립니다. 아카이브 데이터나 규정 준수를 위한 데이터 보관에 적합합니다.

예를 들어, 웹사이트에서 자주 사용되는 이미지 파일은 Standard에 저장하고, 1년 이상 지난 로그 파일은 Infrequent Access에, 5년 이상 보관해야 하는 감사 로그는 Glacier에 저장하는 것이 효율적입니다. 데이터의 접근 패턴과 보관 정책을 고려하여 적절한 스토리지 클래스를 선택하는 것이 중요합니다.

클라우드 환경에서 관계형 데이터베이스를 선택할 때 관리형 서비스와 자체 관리형 데이터베이스 중 어떤 것을 선택할지는 여러 요소를 고려해야 합니다.

주요 기준은 총소유비용(TCO), 운영 오버헤드, 확장성, 가용성, 그리고 벤더 종속성입니다.

관리형 서비스(AWS RDS, GCP Cloud SQL, Azure SQL Database)는 운영 부담을 크게 줄여줍니다. 백업, 패치, 모니터링 등을 서비스 제공업체가 알아서 해주기 때문에 개발 및 서비스 운영에 집중할 수 있습니다. 또한, 확장성과 고가용성을 쉽게 확보할 수 있다는 장점이 있습니다. 하지만, 데이터베이스 엔진 버전이나 설정에 제약이 있을 수 있고, 벤더 종속성이 발생할 수 있습니다.

반면, EC2 인스턴스에 직접 설치하는 자체 관리형 데이터베이스는 모든 설정을 직접 제어할 수 있다는 장점이 있습니다. 특정 버전의 데이터베이스 엔진을 사용해야 하거나, 특별한 설정이 필요한 경우에 유용합니다. 하지만, 데이터베이스 운영에 필요한 모든 작업을 직접 수행해야 하므로 운영 인력이 필요하고 복잡성이 증가합니다. 또한, 확장성 및 고가용성을 직접 구성해야 하므로 비용과 시간이 더 많이 소요될 수 있습니다.

따라서, 서비스 요구사항, 예산, 그리고 운영 인력 상황을 종합적으로 고려하여 최적의 선택을 해야 합니다. 일반적으로 운영 부담을 줄이고 빠르게 서비스를 구축해야 한다면 관리형 서비스를, 높은 제어권과 유연성이 필요하다면 자체 관리형 데이터베이스를 선택하는 것이 좋습니다.

네, 클라우드 IAM에서 역할과 사용자의 주요 차이점은 다음과 같습니다.

사용자는 특정 개인이나 애플리케이션을 나타내는 영구적인 자격 증명입니다. 반면, 역할은 특정 작업을 수행하기 위해 사용자 또는 서비스에 할당될 수 있는 임시 권한 집합입니다. 역할은 권한 위임을 가능하게 하며, 사용자는 역할을 맡아 해당 역할에 정의된 권한을 일시적으로 획득할 수 있습니다.

최소 권한 원칙을 적용하여 클라우드 리소스에 대한 접근 권한을 효과적으로 관리하는 모범 사례는 다음과 같습니다.

• 역할 기반 접근 제어(RBAC) 활용: 사용자에게 직접 권한을 부여하는 대신, 역할에 필요한 최소한의 권한을 정의하고 사용자에게 적절한 역할을 할당합니다.
• 그룹 활용: 여러 사용자에게 동일한 역할을 할당해야 하는 경우, 그룹을 사용하여 역할을 할당하고 그룹에 사용자를 추가합니다.
• 정책 세분화: 리소스에 대한 접근 권한을 세분화하여 필요한 최소한의 권한만 부여하는 정책을 정의합니다. 예를 들어, 읽기 전용 접근 권한만 필요한 사용자에게는 읽기 권한만 부여합니다.
• 정기적인 검토: 역할 및 권한 할당을 정기적으로 검토하여 불필요한 권한을 제거하고 최소 권한 원칙을 준수하는지 확인합니다.
• 자동화: IAM 설정을 코드로 관리하여 일관성을 유지하고 오류를 줄입니다.

대규모 멀티/하이브리드 클라우드 환경에서 트랜잭션 데이터의 일관성과 무결성을 보장하며 DR 전략을 설계하는 것은 복잡한 문제입니다.

가장 중요한 것은 분산 트랜잭션 관리입니다. 2PC/3PC는 성능 이슈가 있을 수 있으므로, SAGA 패턴을 고려합니다. SAGA 패턴은 각 서비스가 로컬 트랜잭션을 수행하고, 실패 시 보상 트랜잭션을 실행하여 롤백합니다. 각 트랜잭션은 멱등성을 보장해야 합니다.

데이터 동기화는 CDC(Change Data Capture)를 활용하여 실시간 또는 준 실시간으로 데이터를 복제합니다. CAP 이론에 따라 일관성, 가용성, 파티션 내성 간의 트레이드오프를 고려하여 시스템을 설계해야 합니다.

주요 도전 과제는 네트워크 지연, 데이터 불일치, 장애 발생 시 복구 시간입니다. 해결책으로는 데이터 복제 전략 최적화, 모니터링 강화, 자동화된 장애 복구 프로세스 구축 등이 있습니다.

복잡한 서버리스 애플리케이션에서 콜드 스타트, 비용, 가시성 문제는 중요합니다.

콜드 스타트 최소화를 위해 AWS Lambda의 프로비저닝된 동시성(Provisioned Concurrency)을 활용하여 특정 함수 인스턴스를 항상 준비 상태로 유지할 수 있습니다. 또한, 함수 메모리 및 CPU 할당을 최적화하여 불필요한 자원 낭비를 줄이고 실행 시간을 단축하는 것이 중요합니다. 예를 들어, I/O 집약적인 함수는 메모리를 늘리고 CPU를 줄이는 식입니다.

비용 최적화는 이러한 메모리/CPU 할당 최적화와 더불어, 사용하지 않는 함수나 API Gateway 엔드포인트를 정리하고, 적절한 리전 선택, 그리고 Lambda 함수의 실행 시간 제한을 설정하는 것으로 달성할 수 있습니다.

엔드-투-엔드 가시성 확보를 위해서는 AWS X-Ray나 Google Cloud Trace와 같은 분산 트레이싱(Distributed Tracing) 도구를 사용하여 요청 흐름을 추적하고 병목 지점을 파악해야 합니다. 또한, CloudWatch Logs나 Stackdriver Logging과 같은 중앙 집중식 로깅 시스템을 활용하고, Prometheus, Datadog 등으로 통합 모니터링 환경을 구축하여 애플리케이션 상태를 실시간으로 파악하는 것이 필수적입니다. 함수형 프로그래밍 스타일을 적용하면 각 함수의 독립성을 높여 디버깅과 테스트를 용이하게 하여 가시성 확보에 간접적으로 기여할 수 있습니다.

면접관님, 대규모 클라우드 네이티브 환경에서 동적인 보안 위협에 대응하고 컴플라이언스를 유지하기 위한 고급 보안 태세 관리 전략은 다음과 같습니다.

첫째, Policy as Code를 도입하여 IaC(Infrastructure as Code) 기반으로 보안 정책을 정의하고 관리합니다. 이를 통해 인프라 배포 시 보안 설정이 자동으로 적용되도록 합니다. IaC 스캔 도구를 활용하여 배포 전에 잠재적인 보안 취약점을 사전에 식별하고 수정합니다.

둘째, CSPM(Cloud Security Posture Management) 도구를 적극적으로 활용하여 클라우드 환경의 보안 설정을 지속적으로 모니터링하고 평가합니다. CSPM 도구는 잘못된 구성, 취약점, 컴플라이언스 위반 사항을 자동으로 탐지하고, 필요한 경우 자동 교정 작업을 수행합니다.

셋째, 드리프트 탐지 메커니즘을 구축하여 IaC에 정의된 설정과 실제 운영 환경 간의 차이를 감지합니다. 드리프트가 발생하면 즉시 알림을 받고, 원인을 분석하여 수정합니다.

마지막으로, 중앙 집중식 보안 대시보드를 구축하여 전체 클라우드 환경의 보안 상태를 실시간으로 파악하고 관리합니다. 이를 통해 보안 팀은 위협에 신속하게 대응하고, 컴플라이언스 요구 사항을 충족하는지 확인할 수 있습니다. 이러한 접근 방식을 통해 보안을 강화하고 컴플라이언스를 유지할 수 있습니다.

대규모 엔터프라이즈 환경에서 예약 인스턴스나 절감형 플랜은 기본입니다. 이를 넘어선 고급 전략으로는 먼저, 워크로드 분석 기반의 Right Sizing과 Auto Scaling이 중요합니다. 사용량 패턴을 면밀히 분석하여 실제 필요한 만큼만 리소스를 할당하고, 트래픽 변화에 따라 자동으로 스케일링되도록 구성합니다.

다음으로, 서버리스 및 컨테이너 전환은 유연성과 비용 효율성을 극대화합니다. 사용량 기반 과금 모델의 서버리스는 유휴 자원을 줄이고, 컨테이너는 리소스 활용률을 높여줍니다.

또한, 데이터 스토리지 계층화를 통해 자주 사용되지 않는 데이터는 저렴한 스토리지로 이동시켜 비용을 절감합니다.

마지막으로, IaC(Infrastructure as Code)를 활용한 자동화된 리소스 관리는 유휴 리소스 자동 종료, 불필요한 리소스 프로비저닝 방지 등을 통해 지속적인 비용 최적화를 가능하게 합니다. 이러한 FinOps 프랙티스를 통합하여 Cost Visibility를 확보하고, 전사적인 비용 최적화 문화를 구축하는 것이 핵심입니다.

네, 마이크로서비스 환경에서 분산 트레이싱 및 통합 가시성 솔루션 설계 방안에 대해 설명드리겠습니다.

핵심은 OpenTelemetry를 표준으로 채택하여 서비스 계측을 자동화하고, Jaeger나 Zipkin 같은 오픈소스 트레이싱 백엔드를 활용하여 수집된 트레이스 데이터를 저장 및 시각화하는 것입니다.

여러 클라우드와 리전에 분산된 환경에서는 **컨텍스트 전파(Context Propagation)**가 매우 중요합니다. HTTP 헤더나 메시지 큐 메타데이터에 트레이스 ID와 스팬 ID를 포함시켜 요청이 서비스 간에 이동할 때마다 추적할 수 있도록 해야 합니다.

여기에 **로그 상관관계(Log Correlation)**를 더하면 강력한 가시성을 확보할 수 있습니다. 각 서비스의 로그에 트레이스 ID와 스팬 ID를 포함시켜, 특정 트레이스를 분석할 때 관련된 로그를 즉시 찾아볼 수 있도록 중앙 집중식 로깅 시스템(예: Elasticsearch, Loki)과 연동합니다.

이를 통해 장애 발생 시 문제의 근본 원인을 빠르게 파악하고, 성능 병목 지점을 효과적으로 식별할 수 있습니다. 서비스 메쉬(Service Mesh)를 사용한다면, 서비스 메쉬의 자체 트레이싱 기능을 활용하여 계측 부담을 줄이는 것도 좋은 방법입니다.

글로벌 고성능, 저지연 네트워크 인프라 설계 시, 핵심은 사용자에게 가장 가까운 엣지에서 트래픽을 처리하고 효율적인 지역 간 통신을 구축하는 것입니다.

먼저, CDN을 활용하여 정적 콘텐츠를 사용자 근처 엣지에 캐싱하고, Anycast IP를 통해 사용자를 가장 가까운 POP(Point of Presence)으로 자동 라우팅하여 초기 응답 속도를 극대화합니다.

지역 간 연결성은 Transit Gateway와 같은 중앙 집중식 허브를 통해 여러 VPC/VNet을 효율적으로 연결하고, Inter-region Peering을 통해 직접적인 고대역폭 연결을 확보합니다. Direct Connect/Interconnect는 온프레미스 환경과의 안정적이고 예측 가능한 고성능 연결을 제공하여 하이브리드 클라우드 환경에서도 지연 시간을 최소화합니다.

네트워크 가상화 측면에서는 SDN을 통해 동적으로 트래픽을 제어하고 최적의 경로를 설정하며, NFV를 활용하여 방화벽, 로드 밸런서 등의 네트워크 기능을 유연하게 배포하고 관리합니다. Global Accelerator는 여러 리전의 엔드포인트로 트래픽을 분산하고, Private Link는 퍼블릭 인터넷을 거치지 않는 안전하고 빠른 연결을 제공하여 전체적인 지연 시간을 줄이고 보안을 강화합니다.

이러한 기술들을 조합하여 사용자 위치, 트래픽 패턴, 서비스 특성에 따라 동적으로 최적화된 라우팅 전략을 구현하는 것이 중요합니다.

클라우드 기반 대규모 데이터 레이크하우스를 구축하고 운영할 때 여러 도전 과제가 있습니다.

데이터 거버넌스 측면에서는 데이터 품질, 보안, 접근 제어를 확보해야 합니다. 이를 위해 데이터 카탈로그를 구축하고, 데이터 리니지를 추적하며, 데이터 마스킹 및 암호화를 적용합니다.

스키마 진화는 데이터 변경에 따라 발생하는데, 스키마 레지스트리를 사용하여 스키마 변경 이력을 관리하고, Delta Lake, Iceberg, Hudi와 같은 포맷을 활용하여 스키마 진화를 지원합니다.

성능 최적화를 위해서는 적절한 파티셔닝 전략을 수립하고, 컴퓨팅-스토리지 분리 아키텍처를 활용하여 필요에 따라 컴퓨팅 자원을 확장합니다. 또한, 쿼리 최적화를 위해 데이터 통계 정보를 활용하고, 자주 사용되는 데이터는 캐싱합니다.

비용 관리는 클라우드 환경에서 중요한 문제입니다. 데이터 티어링 전략을 통해 자주 사용되는 데이터는 고성능 스토리지를 사용하고, 오래된 데이터는 저렴한 스토리지를 사용하는 방식으로 비용을 절감할 수 있습니다. 또한, 사용하지 않는 컴퓨팅 자원은 자동으로 종료하도록 설정합니다.