Confluent사의 SaaS를 활용한 Kafka 운용

Confluent를 활용한 Kafka 운용

컨플루언트는 처음 카프카를 개발한 링크드인 개발자들이 만든 카프카 SaaS 서비스입니다. 컨플루언스는 카프카 SaaS서비스를 제공할 뿐만 아니라 kafka 오픈소스 생태계를 가꾸기도 하는 회사입니다. 이러한 컨플루언트의 카프카 서비스는 AWS, Azure 중 1개의 클라우드 서비스 업체를 고른 후 해당 클라우드 서비스 업체의 클라우드 위에서 작동하는 컨플루언스사의 카프카 서비스를 사용할 수 있습니다.

컨플루언스 사의 카프카 서비스를 사용하는 방법으로는 우선 카프카 클러스터를 생성합니다. 컨플루언스 클라우드에서 카프카 클러스터를 생성하는데 클라우드 서비스업체(AWS or Azure), 리전, 클러스터 타입, 가용성등의 옵션을 선택해 줍니다. 이렇게 만들어진 카프카 클러스터는 대시보드의 cluster overview에서 상태를 확인할 수 있습니다.

그 다음으로 토픽을 생성하고 토픽과 연동되는 API키를 발급받습니다. 컨플루언트사의 카프카 서비스에서는 웹 대시보드로 토픽을 생성할 수 있습니다. 그 다음 API키를 발급받는데 이러한 API키와 비밀 키 값은 프로듀서, 컨슈머를 제작할 때 토픽과 통신을 하기 위한 옵션값으로 입력해야합니다. 컨플루언스 사의 카프카 서비스는 기본적으로 클러스터와 통신할 때 보안설정이 되어 있기 때문에 이러한 보안 옵션을 입력하는 것은 필수입니다.

이 다음 컨슈머 어플리케이션, 프로듀서 어플리케이션을 제작한 후 카프카 클러스터에 연결해주면 연결된 어플리케이션의 정보와 클러스터 내에서 어떻게 프로듀서, 컨슈머와 상호작용 하고 있는지(offset, partition배정 등등)을 웹 대시보드로 확인할 수 있습니다.

뿐만 아니라 컨플루언스사가 제공하는 카프카 SaaS에서 다양한 카프카 커넥트를 연결해 S3, Kinesis, DB 등으로 데이터를 보내거나 가져올 수 있습니다.

출처:

아파치카프카 애플리케이션 프로그래밍 with 자바