web crawling1

• 

  (23.02.09.)Python 프로그래밍: Web Crawling, Web Scraping, BeautifulSoup Web crawling 크롤링(Crawling)이란 사전적 의미로 기어다니다를 뜻하고, Web에서는 돌아다니면서 원하는 정보를 수집하는 행위를 의미한다. 크롤링의 대상은 위에서 언급한 대로 웹 상에 존재하는 정보들이며, 해당 정보는 다양한 형태로 존재할 수 있다.(이미지, 텍스트, API 등) 크롤링은 크게 두 가지로 나누어 질 수 있다. (정적 크롤링 VS 동적 크롤링) 정적 크롤링 특별한 절차 없이 특정 URL을 통해 데이터 수집 가능 새로고침하지 않으면 페이지 안의 데이터는 변하지 않는다. 속도가 빠르다. 수집 대상에 한계 존재한다. 사용 가능 라이브러리 : requests ​ 동적 크롤링 특별한 절차 없이 특정 URL을 통해 데이터 수집 불가능(네이버 메일의 경우) 속도가 느리다. 수집 대상에 한.. Python programming 2023. 2. 14.