과정상세
[Live] 원샷! 파이썬을 활용한 웹 크롤링과 데이터 분석(갤럭시탭 제공)
교재제공 중급
[Live] 원샷! 파이썬을 활용한 웹 크롤링과 데이터 분석(갤럭시탭 제공)
과정요약
| 학습시간 | 34시간 | 난이도 | 중급 |
|---|---|---|---|
| 교육비 지원 | 고용보험 비환급 | 평가항목 | 출석률 100% |
| 수료기준 | 총점 80점 이상시 수료 | 정원 | 25 명 |
| 교재정보 | |||
과정소개
※ 본 교육을 위해 사용될 PC 사양은 아래의 내용으로 권장드립니다.
- CPU: i5 이상
- 메모리: 8GB 이상
- 운영체제: 윈도우즈 10
※ (필수) 교육 전 준비
- 크롬 브라우저 설치(교육 중 사용)
※ (필수) 사이트 접속 여부
** 크롤링 대상 사이트 **
http://konanacademy.github.io/da
https://www1.president.go.kr/petitions/
http://www.hanbit.co.kr/store/books/full_book_list.html
https://finance.naver.com/marketindex/
http://www.weather.go.kr/weather/forecast/mid-term-rss3.jsp
http://jolse.com/category/tonermist/1019/
https://news.naver.com/
http://www.python.org
http://tour.interpark.com/
** Open API 대상 사이트 **
https://developers.naver.com/main/
https://openapi.naver.com/v1/search/blog (해당 사이트 접속시 400 Bad Request 에러가 나면 접속 가능 상태)
https://www.data.go.kr/
http://openapi.tour.go.kr/openapi/service/TourismResourceStatsService/getPchrgTrrsrtVisitorList(INVALID REQUEST PARAMETER ERROR. 에러 나면 접속 가능 상태)
https://developer.twitter.com/
https://api.twitter.com/oauth/authenticate
학습목표
- 웹크롤링으로 데이터를 수집하고, 전처리, 분석, 시각화의 프로세스를 파이썬의 다양한 라이브러리를 활용하여 처리할 수 있다.
- 다양한 웹사이트와 공공데이터 포탈에서 제공되는 데이터 중에서 필요한 데이터를 쉽게 크롤링 할 수 있다.
- 단순 반복 업무를 자동화 프로그램으로 만듦으로써 효율적인 업무처리를 할 수 있다.
학습대상
- 파이썬의 기초가 있으나 활용경험이 부족한 사용자
- 파이썬 사용/교육 경험은 없으나 다른 웹프로그래밍 사용경험이 많은 사용자
- 개발자, 운영자, 분석 및 설계자
- 데이터 수집, 전처리, 분석, 시각화를 한 번에 배우고 싶은 학습자
- 고객정보나 마케팅 정보를 수집 및 분석하시는 분
- 금융 데이터나 기업 정보, 지리 정보등 다양한 데이터들을 수집 및 분석하시는 분
- 데이터 수집의 방법으로 웹사이트에서 원하는 데이터를 추출하거나, 정부 공공 데이터를 사용하거나, Open API를 활용하는 등 필요에 따라 데이터를 수집하고 싶은 학습자
과정목차 31
-
1 일차
-
Chpater 1.
- 스크래핑과 크롤링 소개
-
Chpater 1.
-
.
- HTTP 프로토콜 특징/크롤러와 로봇 배제 표준
- 실습 환경 구축/아나콘다와 주피터 노트북/파이참(Pycharm)
- web 기초,HTML 주요 태그 정리
- HTML 주요 태그 정리, CSS, Javascript
- 문자열 인덱싱과 슬라이싱/리스트, 딕셔너리, 세트, 튜플
- 함수와 for 컴프리헨션
-
Chpater 2.
- 라이브러리 사용/urllib - 웹 페이지 추출
- requests - 스크래핑
- requests - 스크래핑/lxml - 스크래핑
- MongoDB 구조 이해 및 설정
- 스크래핑한 데이터를 MongoDB 에 저장
- 스크래핑과 크롤링 - BeautifulSoup
-
Chpater 3.
- 스크래핑과 크롤링 - BeautifulSoup
- Selenium, WebDriver를 사용한 크롤링
- Selenium, WebDriver를 사용한 크롤링/chrome 브라우저
- Selenium, WebDriver를 사용한 크롤링/PhantomJS 브라우저
- 크롤러 만들기
- 수집한 데이터 분석
-
Chpater 4.
- 수집한 데이터 분석
- 수집한 데이터 파일로 저장하기와 읽기, 여러 파일 내용 취합
- 파일 그룹별 통계
- 수집한 데이터 그래프로 시각화
- 공공데이터 분석
- 공공데이터 분석과 시각화
-
Chpater 5.
- OpenAPI 와 OAuth 인증 이해
- OpenAPI 로 제공되는 공공데이터 수집
- OpenAPI 로 제공되는 공공데이터 분석
- OAuth 인증으로 OpenAPI 사용
- 수집한 데이터 MongoDB 에 저장
- 과정 리뷰 및 과정 정리
수강후기 0
-
등록된 수강후기가 없습니다