카프카의 '브로커(Broker)'는 무엇이며, 카프카 클러스터 내에서 어떤 기능을 담당하나요?

카프카 브로커는 카프카 클러스터를 구성하는 핵심 서버 노드입니다. 쉽게 말해, 메시지를 저장하고 관리하는 역할을 담당합니다.

프로듀서로부터 메시지를 받아서 토픽의 파티션에 저장하고, 컨슈머가 요청하면 해당 메시지를 전달해줍니다.

각 브로커는 여러 개의 파티션을 가질 수 있으며, 파티션은 데이터의 복제를 통해 고가용성을 보장합니다. 파티션에는 리더와 팔로워가 존재하는데, 리더는 읽기/쓰기 요청을 처리하고 팔로워는 리더의 데이터를 복제하여 장애 발생 시 리더 역할을 수행할 수 있도록 합니다.

따라서 브로커는 메시지 큐 시스템의 안정적인 운영과 데이터 유실 방지에 중요한 역할을 합니다.