네이버 크롤링 오류 해결하기

외부 데이터 수집을 위해 네이버에서 크롤링해오는 기능이 있는데, 갑자기 오류가 발생했다.

크롤링해오는 기능을 ECR로 이미지로 만들어두고 이를 lambda로 실행한다. 그리고 주기적으로 에어플로우에서 실행시킨다.

 

크롤링은 변수가 많아서 오류가 자주 발생하곤 한다. 내가 컨트롤할 수 있는 부분이 아니기에....

 

 

에러메세지

Traceback (most recent call last):
  File "/var/task/app.py", line 178, in lambda_handler
    option_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'div.option_filter')))
  File "/var/lang/lib/python3.9/site-packages/selenium/webdriver/support/wait.py", line 95, in until
    raise TimeoutException(message, screen, stacktrace)

 

 

원인

카페 검색 결과로 바로 이동하는 경로가 바뀌면서 수정이 필요했다...

 

 

해결방법

수정 전)

 # '햄버거' 카페 검색 결과로 바로 이동
    driver.get('https://search.naver.com/search.naver?query=hamburger&nso=&where=article&sm=tab_viw.all')
    time.sleep(3)
    actions = ActionChains(driver)
    wait = WebDriverWait(driver, 10)

    # 검색 옵션 지정
    try:
        option_button = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'option_filter'))) #검색 옵션 오픈
    except TimeoutException:
        try:
            option_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'div.option_filter > a.btn_option')))
        except:
            option_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'div.option_filter')))

 

수정 후)

 # '햄버거' 카페 검색 결과로 바로 이동
    driver.get('https://search.naver.com/search.naver?ssc=tab.cafe.all&sm=tab_jum&query=hamburger')
    time.sleep(3)
    actions = ActionChains(driver)
    wait = WebDriverWait(driver, 10)

    # 검색 옵션 지정
    try:
        option_button = wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'option_filter'))) #검색 옵션 오픈
    except TimeoutException:
        try:
            option_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'div.option_filter > a.btn_option')))
        except:
            option_button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, 'div.option_filter')))

 

 

참고문서

검색 > 카페글 - Search API

 

다시 정상적으로 돌아가는 것을 확인할 수 있다..!