멀티캠퍼스 :: 과정상세보기

과정요약

과정요약
학습시간	24시간	난이도	고급
교육비 지원	고용보험 비환급	평가항목	출석률 100%
수료기준	총점 80점 이상시 수료	정원	24 명

과정소개

------------01. AIMS

▷ Before
- 심층강화학습에 관심이 있는 딥러닝 개발자
- 강화학습의 기초적인 이론은 알고있지만 코드 구현까지 하고 싶은 개발자
- 심층강화학습을 이용하여 논문 작성 및 프로젝트 수행을 하고 싶은 연구자 및 개발자

▷ After
- 다양한 심층강화학습 알고리즘들의 이론들을 알아봅니다.
- Pytorch를 이용하여 다양한 심층강화학습 알고리즘을 구현해봅니다.
- 심층강화학습의 발전과정과 트렌드에 대해 알아봅니다.

------------02. SUBJECT

▷ PAPERTHON은?
멀게만 느껴지는 논문에 쓰여진 수식들,
오픈 소스를 다운 받았는데 코드는 돌아가지 않고, 돌아가는 코드를 겨우 찾았지만
논문에서 설명한 것과 다르게 느껴 질 때,,,
이런 경험, 한번쯤 있었다면 페이퍼톤(PAPERTHON)에서 만나요!
연구자, 딥러닝 개발자를 위한 특화된, 고급 강의!
페이퍼톤은 기념비적인 논문부터 가장 최신의 논문까지, 수많은 논문들을 엄선하여,
이해부터 구현까지 함께 공부합니다.
페이퍼톤을 통해 거인의 어깨 위에서 연구를 시작하세요.

▷ 심층강화학습은?
강화학습은 순차적으로 결정을 내려서 대상을 제어하는 문제에 적용하는 기법입니다.
최근 딥러닝과 강화학습이 결합된 심층강화학습이 등장하면서 굉장히 복잡한 문제들에도 강화학습을 적용할 수 있게 되었으며 뛰어난 성능을 보이고 있습니다.
심층강화학습 적용의 대표적인 예시로 2016년에 큰 충격을 줬던 알파고가 있으며
이를 시작으로 최근 심층강화학습은 로봇, 게임, 드론, 금융, 추천 시스템 등 다양한 분야에 적용되고 있습니다.
이번 강의를 통해 다양한 심층강화학습 알고리즘의 이론을 논문에 기반하되 더 쉽고 정리된 내용으로 설명할 것입니다. 또한 심층강화학습 알고리즘을 직접 구현하는 방법에 대해 설명하고 이를 다양한 환경에 적용해 볼 예정입니다.

------------03. FEATURES

#논문리뷰 #강화학습 #PyTorch
약 13편의 논문들을 함께 살펴보려고 합니다.
DQN을 기반으로 한 가치 기반 강화학습의 확장 논문들을 살펴볼 예정이며 Actor-Critic 기반의 대표적인 논문들을 살펴볼 예정입니다.

#Github #Unity ML-Agents
수업 중 사용되는 코드들은 설명된 논문의 이론을 기반으로 구현 방법을 설명할 예정입니다.
Unity ML-Agents를 통해 구현된 다양한 환경에서 성능을 검증할 것입니다.

#Live언택트 #Off컨택트
주중에는 각자의 공간에서 라이브로 수업에 참여합니다.
물리적/심리적 여유가 있는 주말에는 강의장으로 오세요.
주중에 라이브에서 함께 읽은 논문들을 주말에 함께 구현해 보아요.

[맛보기]
강화학습 알고리즘을 적용해볼 Unity ML-Agents 기반 환경들의 예시입니다.

[ 필수 사전 지식 ]
- CNN 정도의 딥러닝 기초에 대한 이해
- Python과 Pytorch로 간단한 딥러닝 모델 코딩이 가능한 정도

------------04. CURRICULUM
* 토요일: Contact - 멀티캠퍼스 선릉 강의장 수업(선릉역 소재)
* 수요일: Untact - Live 화상강의 진행(Zoom 솔루션 사용)

■ DAY 1 (토요일 10:00-13:00) – 강의소개, 강화학습 기초, Q-learning
▷ 심층강화학습 강의 전체 내용에 대해 소개합니다.
▷ 강화학습의 적용 사례 및 발전 과정에 대해 알아봅니다.
▷ 강화학습의 기초 이론에 대해 학습하고 Q-learning 이론 학습 및 코드 구현을 수행합니다.

• 과정 전체 소개
- 수업 진행 내용과 진행 방식에 대해 설명합니다.
• 강화학습의 적용 사례 및 발전 과정
- 강화학습의 발전 과정과 최근 동향에 대해 알아봅니다.
- 최근 강화학습이 적용된 사례들에 대해 살펴봅니다.
• 강화학습의 기초 이론 학습
- 강화학습에서 주로 사용되는 기초 용어 및 기법에 대해 학습합니다.
• Q-Learning
- DQN의 기초가 되는 Q-Learning의 이론에 대해 학습합니다.
- 파이썬을 이용하여 Q-learning 알고리즘을 직접 구현하고 성능을 검증합니다.

■ DAY 2 (수요일 19:00-22:00) Live 화상강의
▷ 가치 기반 심층강화학습의 기초가 되는 Deep Q-Network(DQN) 알고리즘의 이론에 대해 학습합니다.
▷ DQN의 확장 알고리즘인 Dueling DQN 알고리즘의 이론에 대해 학습합니다.
▷ DQN의 확장 알고리즘인 Noisy DQN의 이론에 대해 학습합니다.

• DQN의 기초 개념 및 관련 기법 학습
- deep reinforcment learning
- frame skipping and stacking
- experience replay
- target network
• Dueling DQN의 이론 학습
- dueling architecture
• Noisy DQN의 이론 학습
- exploration using noisy parameter

■ DAY 3 (토요일 10:00-13:00)
▷ DQN, Dueling DQN, Noisy DQN 알고리즘을 Pytorch를 이용하여 구현해봅니다.

• 알고리즘 구현
- pytorch를 이용한 DQN, PER, NOisy DQN 알고리즘 구현
- unity ml-agents로 구성한 다양한 환경에서 성능 검증

■ DAY 4 (수요일 19:00-22:00) Live 화상강의
▷ DQN의 확장 알고리즘인 Double DQN 알고리즘의 이론에 대해 학습합니다
▷ DQN의 확장 알고리즘인 PER 알고리즘의 이론에 대해 학습합니다.
▷ DQN의 확장 알고리즘인 C51의 이론에 대해 학습합니다.
▷ DQN의 확장 알고리즘들을 통합한 Rainbow DQN에 대해 알아봅니다.

• Double DQN의 이론 학습
- double Q-learning
• PER의 이론 학습
- prioritized experience replay
• C51의 이론 학습
- distributional reinforcement learning
- c51
• Rainbow DQN의 이론 학습
- 기존 DQN 기반 알고리즘을 통합하는 방법 학습

■ DAY 5 (토요일 10:00-13:00)
▷ Double DQN, PER, C51, Rainbow DQN 알고리즘을 Pytorch를 이용하여 구현해봅니다.

• 알고리즘 구현
- pytorch를 이용한 Double DQN, PER, C51, Rainbow DQN 알고리즘 구현
- unity ML-agents구성한 다양한 환경에서 성능 검증

■ DAY 6 (수요일 19:00-22:00) Live 화상강의
▷ Actor-critic 기법 중 대표적인 알고리즘인 DDPG의 이론에 대해 학습합니다.
▷ Actor-critic 기법 중 대표적인 알고리즘인 SAC의 이론에 대해 학습합니다.
▷ Curiosity based exploration 기법인 ICM의 이론에 대해 학습합니다.
▷ Curiosity based exploration 기법인 RND의 이론에 대해 학습합니다.
• DDPG의 이론 학습
- actor-critic
- ddpg
• SAC의 이론 학습
- maximum entropy
- soft mdp
• ICM의 이론 학습
- curiosity based exploration
• RND의 이론 학습
- random network distillation

■ DAY 7 (토요일 10:00-13:00)
▷ DDPG, SAC, ICM, RND 알고리즘을 Pytorch를 이용하여 구현해봅니다.

• 알고리즘 구현
- pytorch를 이용한 DDPG, SAC, ICM, RND 알고리즘 구현
- unity ml-agents로 구성한 다양한 환경에서 성능 검증

■ DAY 8 (수요일 19:00-22:00) Live 화상강의
▷ Distributional RL의 확장 알고리즘인 QR-DQN의 이론에 대해 학습합니다.
▷ Distributional RL의 확장 알고리즘인 IQN의 이론에 대해 학습합니다.
▷ 최근 활발히 연구되고 있는 다양한 종류의 강화학습 알고리즘들에 대해 알아봅니다.
▷ 강의 내용을 마무리합니다.

• QR-DQN의 이론 학습
- quantile regression
- quantile huber Loss
• IQN의 이론 학습
- risk sensitive rl
• 다양한 종류의 강화학습 예시
- multi agent rl, meta rl, etc
• 강의 마무리

[ 유의사항 ]
※ 토요일 실습 시 반드시 개인의 노트북PC를 소지하시기 바랍니다.
※ 토요일 강의장 교육은 중식 지원 및 별도의 중식 시간이 없습니다.
※ 종이 교재는 제공되지 않습니다. 교육 관련 모든 자료는 웹에서 확인할 수 있도록 강의 중 강사님을 통해 안내드립니다.

학습목표

다양한 심층강화학습 알고리즘들의 이론들을 알아봅니다.
PyTorch를 이용하여 다양한 심층강화학습 알고리즘을 구현해봅니다.
심층강화학습의 발전과정과 트렌드에 대해 알아봅니다.

학습대상

심층강화학습에 관심이 있는 딥러닝 개발자
강화학습의 기초적인 이론은 알고있지만 코드 구현까지 하고 싶은 개발자
심층강화학습을 이용하여 논문 작성 및 프로젝트 수행을 하고 싶은 연구자 및 개발자

수강후기 0

평균평점

0 / 5.0

등록된 수강후기가 없습니다