[python] 블로그 자동 포스팅 프로그램 with 쿠팡 파트너스 - 2 상품 링크 크롤링

저번 포스팅에서 자동 로그인까지 완성했었다. 이후에 검색어를 입력해서 쿠팡 랭킹순으로 상품들을 나열하는 것은 어렵지 않았다. 첫번째 관문은 링크 생성을 하는 것이었다. 링크 생성 버튼을 클릭하고 링크 생성 화면으로 들어가서 나의 링크를 받아와야하는데, 링크 생성 버튼을 클릭할 수 없었다.

driver.find_element(By.CSS_SELECTOR, ".ant-btn.hover-btn.btn-generate-link").click() 는 엘리먼트를 찾아 물리적인 클릭을 발생시키는 함수인데 마우스를 올려놔야만 링크 생성 버튼이 나타나기 때문에 엘리먼트를 찾을 수 없다는 오류를 뱉어냈다.

action.move_to_element(elements = driver.find_elements(By.CSS_SELECTOR, ".product-item")).perform()

마우스를 물리적으로 해당 div위로 배치시킨 후에 링크 생성이 나타나면 클릭하는 생각보다 원초이고 간단한 방법, 코드 한 줄로 해당 문제를 해결하였다...

 

상품 링크로 들어가 링크를 복사 > 복사한 링크를 리스트에 저장 > 전 페이지로 돌아가서 다음 상품 링크로

이 과정을 반복하며 링크들을 크롤링 하려고 했다. 하지만 다시 한 번 문제를 만나게 된다. driver.back() 를 사용하게 되면 페이지가 새로 로드되면서 기존에 찾았던 엘리먼트들이 무효화되어 다음 상품에 대한 엘리먼트를 찾지 못했다. 

 

처음에는 반복할때마다 find_elements()를 반복문 안으로 넣어 이전 페이지로 이동할 때마다 요소를 찾는 방법을 택하였다. 문제는 해결 되었지만 시간복잡도와 메모리 사용량이 너무 커 많은 양의 데이터를 크롤링 할 때는 사용할 수 없을 것 같았다. 무엇보다 개발자로서의 자존심이 허락하지 않았다....

 

두번째 방법은 XPath의 사용이다. 리스트를 사용하지 않고 XPath를 사용하여 이전 페이지로 돌아갈 때마다 다음 엘리먼트를 지정해서 찾는 방법을 택하였다. 사실 지금 내가 하는 작업 수준에서는 체감되지 않는 차이지만 기능을 개선하고 불필요한 동작을 줄였다는 것은 항상 쾌감을 가져다준다. 

elements = driver.find_elements(By.XPATH, "//div[@class='product-item']")  
links = driver.find_elements(By.XPATH, "//button[contains(@class, 'btn-generate-link')]")