과정상세
원샷! 파이썬을 활용한 웹 크롤링과 데이터 분석

교재제공 중급
원샷! 파이썬을 활용한 웹 크롤링과 데이터 분석
카테고리
- 학습유형별 대면
- 데이터 사이언스 데이터 분석
과정요약
학습시간 | 09:00 ~ 17:00 ( 34시간 ) | 난이도 | 중급 |
---|---|---|---|
교육비 지원 | 고용보험 비환급 | 평가항목 | 출석률 100% |
수료기준 | 총점 80점 이상시 수료 | 정원 | 20 명 |
교재정보 | |||
강사명 | 표선영 |
과정소개
※ 본 교육을 위해 사용될 PC 사양은 아래의 내용으로 권장드립니다.
- CPU: i5 이상
- 메모리: 8GB 이상
- 운영체제: 윈도우즈 10
※ (필수) 교육 전 준비
- 크롬 브라우저 설치(교육 중 사용)
※ (필수) 사이트 접속 여부
** 크롤링 대상 사이트 **
http://konanacademy.github.io/da
https://www1.president.go.kr/petitions/
http://www.hanbit.co.kr/store/books/full_book_list.html
https://finance.naver.com/marketindex/
http://www.weather.go.kr/weather/forecast/mid-term-rss3.jsp
http://jolse.com/category/tonermist/1019/
https://news.naver.com/
http://www.python.org
http://tour.interpark.com/
학습목표
- 웹크롤링으로 데이터를 수집하고, 전처리, 분석, 시각화의 프로세스를 파이썬의 다양한 라이브러리를 활용하여 처리할 수 있다.
- 다양한 웹사이트와 공공데이터 포탈에서 제공되는 데이터 중에서 필요한 데이터를 쉽게 크롤링 할 수 있다.
- 단순 반복 업무를 자동화 프로그램으로 만듦으로써 효율적인 업무처리를 할 수 있다.
학습대상
- 파이썬의 기초가 있으나 활용경험이 부족한 사용자
- 파이썬 사용/교육 경험은 없으나 다른 웹프로그래밍 사용경험이 많은 사용자
- 개발자, 운영자, 분석 및 설계자
- 데이터 수집, 전처리, 분석, 시각화를 한 번에 배우고 싶은 학습자
- 고객정보나 마케팅 정보를 수집 및 분석하시는 분
- 금융 데이터나 기업 정보, 지리 정보등 다양한 데이터들을 수집 및 분석하시는 분
- 데이터 수집의 방법으로 웹사이트에서 원하는 데이터를 추출하거나, 정부 공공 데이터를 사용하거나, Open API를 활용하는 등 필요에 따라 데이터를 수집하고 싶은 학습자
-
-
1일차
-
Chpater 1.
- 스크래핑과 크롤링 소개 09:00 ~ 10:00
-
.
- HTTP 프로토콜 특징/크롤러와 로봇 배제 표준 10:00 ~ 11:00
-
.
- 실습 환경 구축/아나콘다와 주피터 노트북/파이참(Pycharm) 11:00 ~ 12:00
-
.
- web 기초,HTML 주요 태그 정리 13:00 ~ 14:00
-
.
- HTML 주요 태그 정리, CSS, Javascript 14:00 ~ 15:00
-
.
- 문자열 인덱싱과 슬라이싱/리스트, 딕셔너리, 세트, 튜플 15:00 ~ 16:00
-
.
- 함수와 for 컴프리헨션 16:00 ~ 17:00
-
Chpater 1.
-
2일차
-
Chpater 2.
- 라이브러리 사용/urllib - 웹 페이지 추출 09:00 ~ 10:00
-
.
- requests - 스크래핑 10:00 ~ 11:00
-
.
- requests - 스크래핑/lxml - 스크래핑 11:00 ~ 12:00
-
.
- MongoDB 구조 이해 및 설정 13:00 ~ 14:00
-
.
- 스크래핑한 데이터를 MongoDB 에 저장 14:00 ~ 15:00
-
.
- 스크래핑과 크롤링 - BeautifulSoup 15:00 ~ 17:00
-
Chpater 2.
-
3일차
-
Chpater 3.
- 스크래핑과 크롤링 - BeautifulSoup 09:00 ~ 10:00
-
.
- Selenium, WebDriver를 사용한 크롤링 10:00 ~ 11:00
-
.
- Selenium, WebDriver를 사용한 크롤링/chrome 브라우저 11:00 ~ 12:00
-
.
- Selenium, WebDriver를 사용한 크롤링/PhantomJS 브라우저 13:00 ~ 14:00
-
.
- 크롤러 만들기 14:00 ~ 16:00
-
.
- 수집한 데이터 분석 16:00 ~ 17:00
-
Chpater 3.
-
4일차
-
Chpater 4.
- 수집한 데이터 분석 09:00 ~ 10:00
-
.
- 수집한 데이터 파일로 저장하기와 읽기, 여러 파일 내용 취합 10:00 ~ 11:00
-
.
- 파일 그룹별 통계 11:00 ~ 12:00
-
.
- 수집한 데이터 그래프로 시각화 13:00 ~ 14:00
-
.
- 공공데이터 분석 14:00 ~ 15:00
-
.
- 공공데이터 분석과 시각화 15:00 ~ 17:00
-
Chpater 4.
-
5일차
-
Chpater 5.
- OpenAPI 와 OAuth 인증 이해 09:00 ~ 10:00
-
.
- OpenAPI 로 제공되는 공공데이터 수집 10:00 ~ 11:00
-
.
- OpenAPI 로 제공되는 공공데이터 분석 11:00 ~ 12:00
-
.
- OAuth 인증으로 OpenAPI 사용 13:00 ~ 14:00
-
.
- 수집한 데이터 MongoDB 에 저장 14:00 ~ 15:00
-
.
- 과정 리뷰 및 과정 정리 15:00 ~ 16:00
-
Chpater 5.
-
1일차
수강후기 300
-
5한*성
2025.05.16
데이터 수집부터 분석, 시각화까지 전반적인 흐름을 직접 실습하면서 경험할 수 있어 매우 유익한 시간이었습니다. 특히 강사님께서 체계적으로 자료를 준비해주셔서 이해에 큰 도움이 되었습니다. 파이썬을 처음 접해보았는데, 처음 접하는 개념들도 수월하게 따라갈 수 있도록 쉽게 강의해주셨습니다. -
4.5서*원
2025.05.16
관련 분야의 지식이 부족한 상태에서도 알기 쉽게 교육 강의해주셔서 좋았습니다 향후 업무에 활용할 수 있게 기본기 탄탄하게 해주십니다. -
5원*묵
2025.05.16
교육 좋았습니다!! 이론은 조금 느리고 실습은 조금 빠르게 느껴졌습니다. 이후 교육진행에 참고하시면 좋겠습니다. 고생하셨습니다~ -
5김*태
2025.05.16
배운점이 많은 알찬 강의였습니다. 다만 저는 아직 프로그래밍이 능숙하지 못하여 웹크롤링 부분은 완벽히 이해하지는 못한 것 같습니다. -
5조*영
2025.05.16
강사님께서 첫 시간에 어떤 것을 배울 것이고 익힐 건지에 대해서 명확하게 설명을 해주셔서 학습 목표와 방향성이 뚜렷하게 잡혔던 교육과정이었습니다. 강의 시작 전에 바라는 점에 대해서 미리 조사하시고 그에 맞게 진행하려고 해주셔서 덕분에 불편한 점 없이 정말 재미있고 유익하게 강의를 들었습니다!
원샷! 파이썬을 활용한 웹 크롤링과 데이터 분석 관련과정

교재제공

교재제공

교재제공