Kafka Cluster 구축하는 법
카프카 클러스터 구성 카프카 클러스터 구성 방법을 알아보도록 하겠습니다
Categories
- Kafka 18
- Network 13
- OS 9
- NoSQL 6
- Redis 5
- Docker 4
- File System 4
- DB 3
- java 3
- kafka 3
- python 2
- Segmentation 2
- test 1
- zookeper 1
- Algorithm 1
- Clubhouse 1
- Sns 1
- Product 1
- MongoDB 1
- Scheduling 1
- Paging 1
- Linux 1
- build tool 1
- Architecture 1
Kafka
Confluent사의 SaaS를 활용한 Kafka 운용
Confluent를 활용한 Kafka 운용
AWS MSK를 활용한 Kafka 운용
AWS MSK를 활용한 Kafka 운용
Kafka Consumer Deploy
Kafka Consumer Deploy Process 서비스 환경이 지속적으로 변화함에 따라 카프카 컨슈머 또한 그에 맞게 변화해야 한다. 이러한 변화를 적용하기 위해 새로운 컨슈머를 배포를 하는데 이러한 배포의 방식은 크게 2가지가 있다.
Kafka Consumer Lag
Kafka Consumer Lag 컨슈머 랙이란 토픽의 마지막(최신) 오프셋과 컨슈머 오프셋의 차이이다. 프로듀서는 계속해서 파티션에 데이터를 집어 넣고 컨슈머를 데이터를 가져간다. 이 경우에 두 offset의 차이를 consumer lag이라고 한다.
Kafka MultiThread Consumer
Kafka MultiThread Consumer
Kafka producer의 다양한 옵션(idempotence, transaction)
Kafka idempotence Producer
Kafka Producer acks
Kafka Producer acks 카프카 프로듀서는 카프카 클러스터에 얼마나 신뢰성있게 데이터를 저장할 것인지 ack 옵션을 선택하여 지정할 수 있다. 카프카 프로듀서는 acks옵션으로 0,1,all(-1) 을 가질 수 있다. 파티션의 복제 개수가 1인 경우에는 데이터 복제가 일...
Kafka ISR
Kafka ISR(In-Sync-Replicas)
Kafka MirrorMaker2
Kafka MirrorMaker2 카프카 미러메이커2는 서로 다른 카프카 클러스터끼리 각자의 클러스터 내에 있는 토픽을 복제해주는 카프카 어플리케이션이다. 미러메이커2는 단순히 토픽을 복제해주는 것을 넘어 토픽 내의 레코드의 고유한 키, 메시지 값, 파티션을 가지는데 이를 그대로 ...
Kafka Connect
Kafka Connect란 무엇인가 카프카 커넥트란 카프카 오픈 소스에 포함되어있는 툴중 하나로 데이터 파이프라인 작업을 효율화해주는 카프카 오픈 소스를 구성하는 기둥중 하나이다. 카프카 커넥트를 이용해 유명한 데이터 소스.싱크 부분을 프로듀서, 컨슈머로 만들 필요 없이 구현할 수...
Kafka Streams 그리고 Kafka Streams DSL, Processor API
Kafka Streams란 무엇인가 카프카 스트림즈는 카프카 클러스터내의 토픽에 저장된 데이터를 실시간으로 처리(변환) 분석을 하게 해주는 라이브러리이다. 즉 카프카 클러스터 내에서 메세지 파이프라인을 구축하게 해주는 것이다. 이러한 카프카 스트림즈는 기존 시스템이나 카프카에 대한...
Kafka topic & partition & record
Kafka topic & partition & record
Kafka Broker & Cluster
Kafka Broker, Kafka Cluster 카프카 브로커는 카프카 프로듀서,컨슈머와 데이터를 주고 받는 카프카 클러스터를 구성하는 주체입니다. 카프카 브로커는 카프카 클러스터를 구성하는데 일반적으로 3개의 브로커를 1개의 클러스터로 구성합니다. 1개의 브로커로 클러스터 구성...
Kafka APIs
Kafka APIs 카프카 클러스터에 데이터를 전달, 데이터를 poll, 설정/옵션을 확인 또는 변경하기 위해 kafka를 제어할 수 있는 kafka-client 라이브러리가 있습니다. 이 라이브러리를 활용해 kafka를 활용하는 어플리케이션들을 만들 수 있습니다. 크게 produ...
Kafka Streams
Kafka Streams
Kafka Streams 스트림 처리 어플리케이션 만들어보기
Kafka Streams
카프카 컨슈머 정리
Kafka
Network
로드 밸런서의 동작 방식과 로드 밸런싱
부하 분산이란 무엇인가?
VPN
VPN VPN은 Virtual Private Network의 약자로 물리적으로 전용선이 아닌 공중망을 이용해 논리적으로 직접 연결한 것 같이 망을 구성하는 기술로 이렇게 연결된 통로를 터널이라고 부르고 이 터널을 통해 네트워크가 직접 연결한것 처럼 동작합니다. 즉 VPN은 일종의 ...
DDoS 방어
DDoS 방어 방화벽 기술이 발전하고 SPI엔진이 개발 된 이후 네트워크 공격이 힘들어지자 해커들은 기존의 관리자 권한 탈취를 위한 공격보다는 정상적인 서비스가 불가능하도록 만드는 공격에 치중하게 되었습니다. 이러한 방식은 DoS(Denial of Service)공격이라고 하는데 ...
IPS와 IDS
IPS,IDS IPS와 IDS는 어플리케이션 계층에서 이루어지는 공격을 탐지하고 방어하는 역할을 맡습니다. 어플리케이션 계층에서의 방어를 위해서 하위 계층까지 검사를하기도 합니다. 보통 방화벽이 L3,L4에서 작동하는데 IPS,IDS는 L7부터 L3까지 다 검사합니다.
방화벽
방화벽
네트워크에서의 정보 보안
정보 보안 그리고 네트워크에서의 정보 보안
Scale up/down 그리고 Scale out/in
Scale up/Scale down 그리고 Scale out/in
로드 밸런서
로드 밸런서 서버나 장비의 부하를 분산해주는 장비를 로드 밸런서라고 지칭합니다. L4에서 작동하는 로드 밸런서는 TCP,UDP정보를 가지고 로드 밸런싱을 수행합니다. 이러한 로드 밸런서는 Scale out을 위해서 꼭 필요한 장치입니다. 대표 IP를 로드 밸런서가 가지고 그 밑에 ...
Network L4에서의 Session management
Session Management
Protocol 그리고 TCP/IP Protocol Stack
Protocol 프로토콜은 규정, 규약이라는 의미로 네트워크에서 프로토콜은 미리 규정된 네트워크 통신 방법에 대한 약속을 의미합니다. 최근에는 TCP/IP 기반 프로토콜이 대부분입니다.
OSI 7 Layers
OSI 7 Layers
Encapsulation and Decapsulation
Encapsulation and Decapsulation
OS
Linux VFS
VFS kernel에서 모든 unix standard filesystem을 불러올 수 있게 하는 layer입니다. 이 VFS layer덕분에 서로 다른 파일 시스템이 양립이 가능합니다. 왜냐하면 똑같은 유저 인터페이스를 유저 프로세스에게 제공합니다. 그리고 서로 다른 파일 시스템에...
DB file Allocation과 Free Space Management
Allocation Method DB에 데이터를 어떻게 Allocation할지 여러 방법이 존재합니다.
Directory
OS
NoSQL
Redis Memory Managment
Redis
Redis Architecture
Redis
Redis
Redis Memory Managment
Redis
Redis Architecture
Redis
Docker
Back to top ↑File System
Linux VFS
VFS kernel에서 모든 unix standard filesystem을 불러올 수 있게 하는 layer입니다. 이 VFS layer덕분에 서로 다른 파일 시스템이 양립이 가능합니다. 왜냐하면 똑같은 유저 인터페이스를 유저 프로세스에게 제공합니다. 그리고 서로 다른 파일 시스템에...
DB file Allocation과 Free Space Management
Allocation Method DB에 데이터를 어떻게 Allocation할지 여러 방법이 존재합니다.
Directory
OS
DB
Linux VFS
VFS kernel에서 모든 unix standard filesystem을 불러올 수 있게 하는 layer입니다. 이 VFS layer덕분에 서로 다른 파일 시스템이 양립이 가능합니다. 왜냐하면 똑같은 유저 인터페이스를 유저 프로세스에게 제공합니다. 그리고 서로 다른 파일 시스템에...
DB file Allocation과 Free Space Management
Allocation Method DB에 데이터를 어떻게 Allocation할지 여러 방법이 존재합니다.
aws RDS SSH로 datagrip에 연결시키기
AWS RDS Datagrip에 연결하기
java
Back to top ↑kafka
Kafka의 특징
kafka란 무엇인가? kafka란 링크드인에서 개발한 대용량, 대규모 데이터를 빠르게 처리하도록 개발된 pub-sub 구조의 메세지 큐이고 분산환경에 특화되어있는 설계를 바탕으로 개발된 오픈소스 프로젝트이다.
Kafka 브로커 AWS EC2 인스턴스에 설치하기
AWS EC2에 카프카 설치하기
Kafka Command Line Tools 톺아보기
kafka command line tool이란?
python
소수 구하기 알고리즘 (에라토스테네스의 체 방식)
Algorithm
lambda를 이용한 sort 함수 사용 (파이썬)
python
Segmentation
Back to top ↑test
초기 테스트
안지훈 테스트 포스트
zookeper
aws인스턴스로 Zookeeper ensemble 만들기
안지훈 주키퍼 포스트
Algorithm
소수 구하기 알고리즘 (에라토스테네스의 체 방식)
Algorithm
Clubhouse
Back to top ↑Sns
Back to top ↑Product
Back to top ↑MongoDB
Back to top ↑Scheduling
Back to top ↑Paging
Back to top ↑Linux
Linux VFS
VFS kernel에서 모든 unix standard filesystem을 불러올 수 있게 하는 layer입니다. 이 VFS layer덕분에 서로 다른 파일 시스템이 양립이 가능합니다. 왜냐하면 똑같은 유저 인터페이스를 유저 프로세스에게 제공합니다. 그리고 서로 다른 파일 시스템에...
build tool
Intellij에서 Gradle 버전 바꾸기
Gradle 버전 바꾸기 (@Intellij)
Architecture
람다 아키텍쳐와 카파 아키텍쳐
람다와 카파 이전의 데이터 플랫폼 아키텍쳐