안지훈

안지훈

연세대학교 사회학과/컴퓨터과학과
연세대학교 빅데이터학회 YBIGTA
Engineering team

Recent posts

Kafka MirrorMaker2

1 minute read

Kafka MirrorMaker2 카프카 미러메이커2는 서로 다른 카프카 클러스터끼리 각자의 클러스터 내에 있는 토픽을 복제해주는 카프카 어플리케이션이다. 미러메이커2는 단순히 토픽을 복제해주는 것을 넘어 토픽 내의 레코드의 고유한 키, 메시지 값, 파티션을 가지는데 이를 그대로 ...

Kafka Connect

1 minute read

Kafka Connect란 무엇인가 카프카 커넥트란 카프카 오픈 소스에 포함되어있는 툴중 하나로 데이터 파이프라인 작업을 효율화해주는 카프카 오픈 소스를 구성하는 기둥중 하나이다. 카프카 커넥트를 이용해 유명한 데이터 소스.싱크 부분을 프로듀서, 컨슈머로 만들 필요 없이 구현할 수...

Kafka Streams 그리고 Kafka Streams DSL, Processor API

2 minute read

Kafka Streams란 무엇인가 카프카 스트림즈는 카프카 클러스터내의 토픽에 저장된 데이터를 실시간으로 처리(변환) 분석을 하게 해주는 라이브러리이다. 즉 카프카 클러스터 내에서 메세지 파이프라인을 구축하게 해주는 것이다. 이러한 카프카 스트림즈는 기존 시스템이나 카프카에 대한...