멀티캠퍼스 :: 과정상세보기

과정요약

과정요약
학습시간	14시간	난이도	중급
교육비 지원	고용보험 비환급	평가항목	출석률 100%
수료기준	총점 80점 이상시 수료	정원	24 명

과정소개

Netflix, Linkedin, Twitter와 같은 전세계 IT 서비스기업부터
카카오, 네이버, 삼성 등의 국내 기업까지!
실시간으로 생성되는 사용자의 데이터를 다루는 기업에서
카프카를 적극적으로 활용

데이터 파이프라인 아파치 카프카 MLOps 프로듀서 컨슈머 애플리케이션 스트림즈

카프카(Kafka), 왜 배워야 할까요? 🙅‍♂️🙅‍♀️

1. 아파치 카프카, 이제는 선택이 아닌 필수!
카프카는 분산 이벤트 스트리밍 플랫폼으로써, 프로듀서와 컨슈머를 사용해서 데이터를 보내고 가져와서 처리할 수 있습니다.
수많은 국내외 기업(ex. 카카오, 라인, 넷플릭스, 우아한형제들, 트위터 등)에서 카프카를 사용하고 있습니다.

2. 효과적인 데이터 파이프라인 구축
높은 처리량, 확장성, 영속성, 고가용성 특징을 가진 카프카는 기존의 메시징큐 플랫폼들과 다른 특징을 가집니다.
브로커에 저장한 메시징 데이터를 처리한 후 삭제하지 않고 저장하기 때문에 데이터를 재사용하는데 특화되어 있습니다.
이외에도 파티셔너, 리텐션, ISR, 스트림즈와 커넥트를 학습하면 카프카를 더욱 효과적으로 활용할 수 있습니다. 💫

3. 스트림 프로세싱을 통한 실시간 데이터 처리
프로듀서, 컨슈머 애플리케이션 개발을 통해 카프카에 저장된 데이터를 스트리밍 처리할 수 있습니다.
또한 카프카에서 공식적으로 제공하는 카프카 스트림즈, 카프카 커넥트를 사용하면
카프카 기반 데이터 파이프라인을 개발하고 운영하는데 효과적입니다. 🚀

📍 과정 주요 개념

✔ 아파치 카프카(Apache Kafka)
아파치 카프카는 실시간 데이터 스트리밍을 위한 분산형 이벤트 스트리밍 플랫폼 입니다.

✔ 기존 방식과 다른점
기존 메시징 시스템과 달리 카프카는 높은 처리량과 낮은 지연시간으로 대규모 데이터 스트리밍 이벤트 처리를 효율적으로 수행합니다.

✔ 카프카를 사용해야 하는 이유
카프카는 실시간 데이터처리, 데이터 파이프라인 구축, 이벤트 중심 아키텍처 구현에 최적화 되어 있어 확장성과 안전성이 뛰어납니다.

📍 과정 핵심 3가지 포인트

💻 MLOps에 필요한 기본 개념부터 고급 실습까지 다루는 과정

- 카프카 기본 개념과 설치부터 시작하여 프로듀서와 컨슈머 애플리케이션, 스트림즈, 커넥트에 대해 학습
- MLOps 아키텍처에 필요한 카프카 플랫폼에 대해 학습합니다. 이 과정을 통해 카프카의 다양한 기능을 이해하고,
이를 실제 MLOps 환경에서 응용할 수 있는 역량을 갖출 수 있습니다.

🔁 실무에서 자주 사용하는 기능과 옵션 학습

- 애플리케이션을 개발할 때 당장 설정/적용해야 하는 옵션에 대해 학습
- 개발에서 항상 겪는 시행착오를 최소화하고 애플리케이션 상용환경에 빠르게 적용할 수 있습니다.

📗 '아파치 카프카 애플리케이션 프로그래밍 with 자바' 저자 '데브원영' 직강

대용량·대규모 데이터 파이프라인 개발 및 운영 경험을 보유한 컨플루언트 공인 아파치 카프카 개발자가
직접 공개하는 카프카 생태계와 애플리케이션 개발 노하우

- 現) 카카오, 광고추천팀
- 개발 블로그(https://blog.voidmainvoid.net) 운영
- 개발 유튜브(https://bit.ly/devwonyoung) 운영
- 컨플루언트 공인 카프카 개발자(Confluent Certified Developer for Apache Kafka)

🎓 본 과정은 아래의 선수지식이 필요합니다.
□ (필수) 자바 1.8 이상의 지식
□ (필수) bash shell 사용방법
□ (권장) Intellij Community Edition 사용방법

💻 본 과정에서 사용되는 환경은 아래와 같습니다.
□ (선릉강의장 내 PC 지원) Window 기반, Ubuntu / wsl 사전 설치 후 진행
□ (권장) 혹 개인용 맥북 시리즈(에어, 프로 등) 보유하고 계시다면 사용 추천

학습목표

아파치 카프카에 대한 기초 지식과 최신 발전 방향을 이해할 수 있습니다.
카프카에서 제공하는 다양한 기능들을 습득하여 요구사항에 맞추어 구현할 수 있습니다.
MLOps에 대한 이해도를 높여 실시간 데이터 처리가 필요한 부분에 대해 명확히 이해할 수 있습니다.

학습대상

MLOps에 필요한 카프카 플랫폼에 대해 이해를 넓히고자 하는 개발자
아파치 카프카 애플리케이션을 개발 및 운영 역량을 높이고자 하는 데이터 엔지니어

강사소개

최원영

現) 카카오, 광고추천데이터플랫폼파트: 개발 블로그(https://blog.voidmainvoid.net) 운영; 개발 유튜브(https://bit.ly/devwonyoung) 운영; 컨플루언트 공인 카프카 개발자(Confluent Certified Developer for Apache Kafka)

과정목차 14

1 일차
- 아파치 카프카의 탄생과 미래
  - 카프카의 역사에 대해 살펴보고 미래에 적용될 기능들에 대해 습득
- 아파치 카프카 기본 개념 설명
  - 카프카 기본 개념 및 기능들에 대해 학습
- 로컬 카프카 설치 및 CLI 실습
  - 로컬에 카프카를 설치하고 관련 CLI를 실습
- 컨슈머 개념 학습
  - 컨슈머 개념에 대해 학습
- 컨슈머 애플리케이션 실습
  - 컨슈머 애플리케이션 실습
- 프로듀서 개념 학습
  - 프로듀서 개념에 대해 학습
- 프로듀서 애플리케이션 실습
  - 프로듀서 애플리케이션 실습
2 일차
- 멱등성, 트랜잭션 프로듀서/컨슈머 학습&실습
  - 멱등성, 트랜잭션 관련 학습 및 실습
- 카프카 스트림즈 학습
  - 스트림즈 개념에 대해 학습
- 카프카 스트림즈 실습
  - 스트림즈 애플리케이션 실습
- 카프카 커넥트 학습
  - 커넥트 개념에 대해 학습
- 카프카 커넥트 실습
  - 커넥트 애플리케이션 실습
- MLOps에서 아파치 카프카의 역할과 아키텍처
  - MLOps에 필요한 카프카 기능들과 예시 사례 학습
- MLOps를 지탱하는 카프카 애플리케이션 실습
  - 가상의 MLOps 환경에 대해 실습 수행

수강후기 0

평균평점

0 / 5.0

등록된 수강후기가 없습니다

과정상세

실시간 데이터 처리와 MLOps를 위한 카프카 애플리케이션

카테고리