Skip to content

MinjiY/Data_Analysis

Repository files navigation

Data_Analysis

1-1. Nhn 뉴스제목추출 번역 API_웹툰이미지.ipynb

  • 네이버 뉴스 제목 추출
  • 웹툰 이미지 크롤링
  • Papago API 호출

1-2. Nhn 뉴스제목추출_웹툰 이미지 다운로드.ipynb

  • 네이버 뉴스 제목추출
  • 웹툰 이미지 다운로드
  • 특정 웹툰 페이지의 모든 Image를 다운로드 받기
  • 네이버 웹툰 홈에서 추천웹툰의 제목과 url을 알아내기

2. 기상청 날씨 데이터 추출.ipynb

  • BeautifulSoup을 이용해서 날씨 데이터 가져오기

3. 멜론100Chart 수집 분석 저장.ipynb

  • 100곡의 노래의 제목, Song ID추출 (정규표현식 사용)
  • Song ID로 상세 페이지를 100번 요청해서 노래 상세정보 추출
  • 100곡의 상세 정보를 JSON File에 저장
  • json file을 Pandas의 DataFrame 객체에 저장해서 표 데이터를 만들기
  • 표 데이터를 MariaDB에 저장하기

4. 행정구역정보분석_시각화.ipynb

  • 행정구역정보(CSV) 읽고 분석
  • Pandas로 csv읽어오고 모듈 사용해보기

5. 국회의원현황 스크래핑 분석 시각화 저장.ipynb

  • BeautifulSoup 스크래핑
  • 국회의원 이름, ID 추출
  • 상세정보 표데이터 만들기
  • 시각화 (막대그래프, 히스토그램, 파이차트, 히트맵)
  • DB에 members 테이블에 저장 (pymysql, sqlalchemy)

6. seoul-bike-01.ipynb

  • 서울특별시 공공자전거 따릉이 대여이력 분석
  • pandas, plotnine, missingno, matplotlib, ggplot2, folium

7. seoul-bike-01.html

  • 따릉이 시각화 잘 보기위해 html로 컨버팅함