(23.02.09.)Python 프로그래밍: Web Crawling, Web Scraping, BeautifulSoup

Web crawling

 

 

• 크롤링(Crawling)이란 사전적 의미로 기어다니다를 뜻하고, Web에서는 돌아다니면서 원하는 정보를 수집하는 행위를 의미한다.
• 크롤링의 대상은 위에서 언급한 대로 웹 상에 존재하는 정보들이며, 해당 정보는 다양한 형태로 존재할 수 있다.(이미지, 텍스트, API 등)
• 크롤링은 크게 두 가지로 나누어 질 수 있다. (정적 크롤링 VS 동적 크롤링)
• 정적 크롤링
  • 특별한 절차 없이 특정 URL을 통해 데이터 수집 가능
  • 새로고침하지 않으면 페이지 안의 데이터는 변하지 않는다.
  • 속도가 빠르다.
  • 수집 대상에 한계 존재한다.
  • 사용 가능 라이브러리 : requests

​

• 동적 크롤링
  • 특별한 절차 없이 특정 URL을 통해 데이터 수집 불가능(네이버 메일의 경우)
  • 속도가 느리다.
  • 수집 대상에 한계가 거의 존재하지 않는다.
  • 사용 가능 라이브러리 : selenium

 

 

Web Scraping

 

웹 스크래핑은 '우리가 정한 특정 웹 페이지에서 데이터를 추출하는 것'.

우리가 특정 주제의 뉴스만을 가져오거나, 인기 검색어 정보를 가져오는 것, 어떤 상품의 가격을 모니터링하는 것 모두 웹 스크래핑이다.

우리가 원하는 특정 웹 사이트가 있고 그곳에서 우리가 필요한 정보만을 가져오는 것.

그래서 웹 스크래핑을 웹 데이터 추출(web data extraction), 웹 하베스팅(web harvesting)이라고도 부른다.

 

 

 

 

 

 

BeautifulSoup

 

 

 

결과: