목록분류 전체보기 (370)
터칭 데이터
Kafka CLI Tools Topic 파라미터 설정 Consumer 옵션 살펴보기 ksqlDB 사용해보기 숙제

4. Kafka 기본 프로그래밍 Kafka로 데이터를 생성하고 소비하는 코드를 작성해보자 Contents 1. Client tool 사용 2. Topic 파라미터 설정 3. Consumer 옵션 살펴보기 4. ksqlDB 사용해보기 5. 숙제 숙제 이번 챕터에서 숙제에 대해 이야기해보자 숙제 두 개 1. 오늘 내용들을 다 따라해보고 Conducktor Web UI에서 Consumer Group 메뉴 화면 캡쳐해서 보내기. 아래와 비슷한 내용이 보여야함 2. fake_people_producer.py의 코드를 변경해서 전송되는 메세지들의 내용을 적당히 출력하게 바꿔보고 역시 실행 화면을 캡쳐해서 보내기

4. Kafka 기본 프로그래밍 Kafka로 데이터를 생성하고 소비하는 코드를 작성해보자 Contents 1. Client tool 사용 2. Topic 파라미터 설정 3. Consumer 옵션 살펴보기 4. ksqlDB 사용해보기 5. 숙제 ksqlDB 사용해보기 Topic 데이터를 SQL을 사용해서 접근해보자 ksqlDB REST API나 ksql 클라이언트 툴을 사용해서 Topic을 테이블처럼 SQL로 조작 방법 1) REST API를 ksql DB 서버에 보내 ksql DB가 연결된 Kafka Cluster의 Topic들을 SQL DB의 테이블이나 뷰처럼 처리 방법 2) ksql이라는 커맨드라인 유틸리티를 사용해 동일한 일을 수행 가능 (시간 관계상 이것만 실습) 여기서는 ksql을 사용하는 간단..

4. Kafka 기본 프로그래밍 Kafka로 데이터를 생성하고 소비하는 코드를 작성해보자 Contents 1. Client tool 사용 2. Topic 파라미터 설정 3. Consumer 옵션 살펴보기 4. ksqlDB 사용해보기 5. 숙제 Consumer 옵션 살펴보기 Consumer와 관계된 옵션들을 살펴보면서 Consumer Group에 대해서도 알아보자 KafkaConsumer 파라미터 Topic 이름을 KafkaConsumer의 첫 번째 인자로 지정 혹은 나중에 별도로 subscribe를 호출해서 지정 지난 시간 사용했던 consumer.py에서는 Topic인 'topic_test'를 첫번째 인자로 지정했지만 이번의 실습에서는 KafkaConsumer를 별도로 만들고 subscribe 메서드를..

4. Kafka 기본 프로그래밍 Kafka로 데이터를 생성하고 소비하는 코드를 작성해보자 Contents 1. Client tool 사용 2. Topic 파라미터 설정 3. Consumer 옵션 살펴보기 4. ksqlDB 사용해보기 5. 숙제 Topic 파라미터 설정 Topic과 관계된 파라미터들을 KafkaProducer를 통해 설정해보자 Topic 생성시 다수의 Partition이나 Replica를 주려면 Topic을 별도로 생성하지 않고 바로 메시지를 보낼 때, 만일 없는 Topic의 이름을 사용한다면 Kafka가 Scale이 안되고 Partition하나에 Replica하나라는 우리가 바라지 않는 형태로 Topic을 만들게 됩니다. 그래서 이를 막기 위해 Topic을 미리 만들고 우리가 원하는 설정..

4. Kafka 기본 프로그래밍 Kafka로 데이터를 생성하고 소비하는 코드를 작성해보자 Contents 1. Client tool 사용 2. Topic 파라미터 설정 3. Consumer 옵션 살펴보기 4. ksqlDB 사용해보기 5. 숙제 Client Tool 사용 Kafka Client Tool을 사용해보자 Kafka CLI Tools 접근 방법 docker ps를 통해 Broker의 Container ID 혹은 Container 이름 파악 해당 컨테이너로 로그인 ○ docker exec -it Broker_Container_ID sh 거기서 다양한 kafka 관련 클라이언트 툴을 사용 가능 ○ kafka-topics (이번 실습에서 사용) ○ kafka-configs ○ kafka-console-..
Kafka 역사와 소개 Kafka 아키텍처 Kafka 중요 개념 Kafka 기타 기능 살펴보기 Kafka 설치 Kafka Python 프로그래밍 기본과 숙제

3. Kafka 소개 Kafka가 무엇인지 소개하는 시간을 가져보자 Contents 1. Kafka 역사 2. Kafka 소개 3. Kafka 아키텍처 4. Kafka 중요 개념 5. Kafka 설치 6. Kafka Python 프로그래밍 Kafka Python 프로그래밍 Kafka 프로그래밍을 위한 Python 모듈을 설치하고 기본 프로그래밍을 수행해보자 Kafka 프로그래밍 옵션들 Java: ○ Apache Kafka Java Client: 아파치 카프카의 공식 Java 클라이언트 라이브러리 ○ Spring Kafka: 스프링 프레임워크와 Kafka를 통합하기 위한 라이브러리 Python: ○ Confluent Kafka Python: Confluent에서 개발한 공식 Kafka Python 클라이언..

3. Kafka 소개 Kafka가 무엇인지 소개하는 시간을 가져보자 Contents 1. Kafka 역사 2. Kafka 소개 3. Kafka 아키텍처 4. Kafka 중요 개념 5. Kafka 설치 6. Kafka Python 프로그래밍 Kafka 설치 Docker를 이용해서 Kafka를 설치해보자 Kafka 설치 방식 Docker Compose 사용 ○ Docker Desktop을 먼저 실행할 것 아래 Github repo 사용 ○ https://github.com/conduktor/kafka-stack-docker-compose ■ 다양한 yml 파일들이 존재 ● full-stack.yml (실습 영상에서 사용) ● zk-single-kafka-single.yml ● zk-single-kafka-m..

3. Kafka 소개 Kafka가 무엇인지 소개하는 시간을 가져보자 Contents 1. Kafka 역사 2. Kafka 소개 3. Kafka 아키텍처 4. Kafka 중요 개념 5. Kafka 설치 6. Kafka Python 프로그래밍 Kafka 기타 기능 살펴보기 Kafka Connect란? (1) Kafka Connect는 Kafka 위에 만들어진 중앙집중 데이터 허브 ○ 별도의 서버들이 필요하며 Kafka Connect는 별도의 오픈소스 프로젝트임 ○ 데이터 버스 혹은 메세지 버스라고 볼 수 있음 두 가지 모드가 존재 ○ Standalone 모드: 개발과 테스트 ○ Distributed 모드 데이터 시스템들 간의 데이터를 주고 받는 용도로 Kafka를 사용하는 것 ○ 데이터 시스템의 예: 데이터..