과정상세
1Day LMM(Large Multimodal Model, 멀티모달) 이해하기
교재제공 초급
1Day LMM(Large Multimodal Model, 멀티모달) 이해하기
카테고리
- AI 생성형AI
- 학습유형별 대면
- AI 자연어처리
- 생성형AI 생성형AI
- DX 전략 디지털 리터러시
과정요약
| 학습시간 | 09:30 ~ 17:30 ( 7시간 ) | 난이도 | 초급 |
|---|---|---|---|
| 교육비 지원 | 고용보험 비환급 | 평가항목 | 출석률 100% |
| 수료기준 | 총점 80점 이상시 수료 | 정원 | 32 명 |
| 교재정보 | |||
과정소개
최근에는 생성형 모델이 다양하게 소개되어, 이미지를 설명하거나 원하는대로 생성할 수 가 있습니다.
기존 대부분의 교육과정들은 언어적 정보만을 활용하는 것에 촛점이 맞춰져 있어
언어와 시각정보를 함께 활용할 수 있도록 하루만에 배울 수 있습니다.
AI는 언어만 다루는게 아니라 이미지도 다룹니다.
언어정보와 시각정보까지 함께 다루는 최신 멀티모달 AI 모델이 어떻게 동작하는지,
학습방법에는 무엇이 있는지 이해할 수 있습니다.
이미지를 설명하는 문장을 만들고 이미지를 원하는대로 생성하고
채팅으로 수정하는 것 까지 확인해 볼 수 있습니다.
공개 서비스를 사용하고 원한다면 자신의 컴퓨터에 모델을 간단히 셋팅하여
제약없이 원하는대로 만들어볼 수 있습니다.
※ 아래 항목 중 3개이상 보유 시 본 과정의 목표를 효과적으로 달성할 수 있습니다.
□ 파이썬을 사용해 보았거나 파이썬 기본문법/함수에 대해 잘 알고 있다.
□ 멀티모달 태스크가 무엇이 있는지와 태스크 각각에 대해 설명할 수 있다.
□ 최신 LLM 모델(LLaMa, GPT-4, Vicuna) 등에 대해 간략히 알고 있다.
□ ChatGPT 외 최신 AI 공개 서비스를 이용해본 경험이 있다.
□ Github에 공개된 코드를 사용해본 경험이 있다.
* 본 과정은 최신 트렌드 관련하여 업데이트가 빠른 관계로 일자별 표기된 강의내용과 배정시간이 매 차수별로 다소 변경될 수 있음을 알려드립니다.
멀티캠퍼스 🏆Best🏆 과정
LLM 파인튜닝 마스터, 생성형 AI 기초부터 PEFT까지 그 강사!!!
🌈 변형호 강사님을 소개합니다!
🎓 학력
- 서울대학교 컴퓨터공학부 박사
- 한국과학기술원(KAIST) 전산학부 학사
💻 경력
- 現) 삼성SDS LLM 프로그래밍 강의
- 現) 국가보안기술연구소 기술 자문
- 前) SK Telecom, 신한투자증권, HL그룹, GS그룹, 한국앤컴퍼니 생성AI/LLM 강의
학습목표
- 다양한 형태의 멀티모달 데이터를 처리하는 생성 AI 기술의 기본 원리를 이해할 수 있습니다.
- 멀티모달 AI의 발전 과정과 주요 모델들의 특성을 이해할 수 있습니다.
- 멀티모달 학습 방법론과 데이터셋 구성 방법을 이해하고, 활용 방법에 대한 지식을 습득할 수 있습니다.
- 최신 멀티모달 모델들의 구조를 이해하고, 멀티모달 모델의 흐름에 대해 이해할 수 있습니다.
- 실제 모델 데모를 통해 멀티모달 AI의 적용 가능성과 발전 방향을 체득할 수 있습니다.
학습대상
- 생성 AI에 관심이 있는 연구자 및 개발자
- 멀티모달 데이터를 활용하는 프로젝트에 참여하는 IT 전문가
- 멀티모달 AI 기술의 기본 원리와 응용 방법을 이해하고자 하는 개발자 및 연구자
- 최신 AI 기술 동향에 관심 있는 기술 관리자 및 의사결정자
-
-
1일차
-
생성형AI와 멀티모달 기술의 이해
- 모달리티(Modality)별 생성 AI의 원리, 멀티모달 AI의 활용 예시 09:30 ~ 10:30
-
멀티모달 학습 방법론
- 멀티모달 AI 구성 요소 및 인코더-디코더 구조 소개
LLM 모델과 멀티모달 AI의 관계
멀티모달 AI의 학습 과정: Instruction Tuning 10:30 ~ 11:30 - 멀티모달 AI의 발전 과정, 기본 멀티모달 모델 소개(CLIP, CoOp, BLIP) 11:30 ~ 12:30
- 멀티모달 AI 구성 요소 및 인코더-디코더 구조 소개
-
텍스트-이미지 모델
- 이미지 생성 모델의 발전 과정
GAN, Stable Diffusion, Dall-E의 작동 원리 13:30 ~ 14:30 - Vision-Language Representation, Text2image Inference 기술
OpenFlamingo, Llava 모델 소개 14:30 ~ 15:30
- 이미지 생성 모델의 발전 과정
-
최신 멀티모달 기술 소개
- 고성능 멀티모달 AI 기술(GPT-4-Vision, Gemini 등)
멀티모달 AI의 향후 과제 15:30 ~ 16:30
- 고성능 멀티모달 AI 기술(GPT-4-Vision, Gemini 등)
-
공개 모델 데모
- 공개 모델(WebUI, VisualGPT, MiniGPT-4 등) 설정 및 데모 16:30 ~ 17:30
-
생성형AI와 멀티모달 기술의 이해
-
1일차
수강후기 16
-
5송*우
2024.12.09
효율적인 예제와 실시간 데이터로 학습에 많은 도움이 되었습니다 -
5최*나
2024.12.09
LLM 흐름을 이해하는데 도움 -
4조*래
2024.12.09
설명, 실습이 좋았음 -
5최*영
2024.12.09
이론과 실습이 모두 포함되어 있어서 좋았습니다. -
5주*호
2024.12.09
강사님 훌륭하시고 좋은 내용입니다