(23.02.13.)Python 프로그래밍 : Selenium , Chromedriver설치 및 동적 테이터 추출하기

requests 라이브러리를 사용하는 크롤링은 특별한 절차없이 특정 url을 통해 정보를 가져올 수 있지만, 화면에 나와있는 정적인 데이터만 가져올 수 있다. 버튼을 누를 때 나타나는 동적인 데이터를 가져오기 위해선 selenium 라이브러리를 사용해야한다.

 

selenium 를 쓰기 위해선 브라우저의 드라이버를 설치해야한다. 필자가 주로 이용하는 크롬의 드라이버를 설치하여 selenium을 활용해 보기로한다.

 

 

크롬드라이버 설치

 

 

먼저 크롬의 버전을 알아야한다.

https://sites.google.com/chromium.org/driver/downloads?pli=1 

ChromeDriver - WebDriver for Chrome - Downloads

 

해당 사이트에서 크롬 드라이버를 다운로드한다. 버전의 앞 세 부분만 맞는 버전중 제일 높은 버전으로 다운받는다.

 

 

 

 

 

 

다운 받은 chromedriver.exe를 사용하기 편한 폴더로 옮긴다.

 

 

 

동적인 컨텐츠로부터 필요한 데이터를 추출하는 방법

• selenium 앱, 모듈이 필요함
• 시스템에 selenium 모듈 설치
• selenium 앱(웹 드라이버) 다운로드 및 저장
• selenium 모듈을 사용하여 웹드라이버 제어
• 웹드라이버는 웹브라우저를 제어하여 사이트에 접근
• 코드를 사용하여 브라우저 화면의 버튼도 클릭 가능
• 웹페이지 가져오기, 웹페이지로부터 데이터 추출 가능
• selenium , BeautifulSoup 연동 가능

 

 

 

 

By. 다음에 사용 가능한 속성

• find_element(By.ID, "id")
• find_element(By.NAME, "name")
• find_element(By.XPATH, "xpath") xml의 경로
• find_element(By.LINK_TEXT, "link text")
• find_element(By.PARTIAL_LINK_TEXT, "partial link text")
• find_element(By.TAG_NAME, "tag name")
• find_element(By.CLASS_NAME, "class name")
• find_element(By.CSS_SELECTOR, "css selector")

 

 

XPATH 브라우저에서 쉽게 구하기

 

 

 

 

 

실행결과 :