0. Playwright란? Playwright는 마이크로소프트에서 개발한 오픈 소스 라이브러리로, 웹 브라우저를 자동화하기 위한 것입니다. 본래 웹 스크래핑을 위해 설계된 것은 아니지만, 브라우저와 설정을 적절히 조합하면 이 영역에서 탁월한 성능을 발휘합니다. Node.js와 Python 등 여러 언어에서 사용할 수 있으며, 현재 Chrome, Fi...
0. 웹크롤링, 수동실행하기 매우 번거로우셨죠? 웹 크롤링 코드를 작성했는데, 매번 수동으로 코드를 실행하기 귀찮으신가요? 원하는 시간, 원하는 주기로 파이썬 코드가 알아서 실행되게 하는 방법을 소개합니다. 자동화의 시작, 함께해보시죠! 1. 파이썬 스케줄러 활용하기 파이썬으로 웹 스크래핑 코드를 작성하였다면, 가장 쉬운 방법 중 하나는 파이썬의 's...
1. Google 검색 콘솔로 문제점 확인 도메인 확인후 크롤링 봇이 크롤링을 시작한후 데이터가 보이므로 몇일뒤에 다시 접속해 보시면 데이터가 보이실 겁니다. 크롤링시에 문제가 되는 일반적인 오류는 다음과 같습니다. 시간 초과 연결이 거부되었습니다 연결에 실패했습니다 연결 시간 초과 응답이 없습니다 대부분의 경우 서버 오류는 일시적으로 일어나는게 대부...
0. 개요 해시스크래퍼 고객사례 중 하나로 AI모델을 통하여 공정에서 나타는 불량률을 줄이기 위해 AI모델을 사용하였습니다. 머신러닝 모델의 예측을 좀 더 깊고 이해하기 쉽게 설명해드리고자 글을 작성하였습니다. 1.문제 정의 1.1. 목표 설정 먼저 고객 사례를 간략하게 설명해드리자면, 128개의 변수들에 나와있는 것을 토대로 물건을 만드는데에 있어서...
0. 개요 해시스크래퍼 고객사례 중 하나로 AI모델을 통하여 공정에서 나타는 불량률을 줄이기 위해 AI모델을 사용하였습니다. 머신러닝 모델의 예측을 좀 더 깊고 이해하기 쉽게 설명해드리고자 글을 작성하였습니다. 1. 문제 정의 1.1. 목표 설정 먼저 고객 사례를 간략하게 설명해드리자면, 128개의 변수들에 나와있는 것을 토대로 물건을 만드는데에 있어...
0. AWS(아마존 웹 서비스)는 너무 복잡하기만 하다? 유용한 기능이 가득한 만큼 초보 개발자에게는 악명 높은 난이도의 아마존 웹 서비스(Amazone Web Service, 이하 AWS). 이용해보고 싶은데 아직도 망설이고 계시나요? 이번 포스팅에서는 AWS를 더 효과적으로 활용할 수 있는 몇 가지 팁을 공유하겠습니다. AWS는 강력한 클라우드 플...
0. 개요 요즘은 ChatGPT 덕에 정말 개발하기 쉬워진 세상입니다. 과연 크롤링 봇도 ChatGPT와 함께라면 쉽게 만들어 낼 수 있을까요? 쿠팡 크롤링 봇 개발하기(with ChatGPT), 시작해 보겠습니다. 1. 프롬프트 작성 1.1. 목표 검색 결과로 노출되는 상품 리스트에서 각 상품의 기본적인 정보를 가져오고자 합니다. 상품 이름 정가 판...
0. 개요 웹 스크래핑(크롤링)을 할 때 어떤 도구를 사용하느냐가 그 결과와 작업의 편의성에 크게 영향을 미칩니다. 이번 글에서는 이 분야에서 두각을 나타내고 있는 네 가지 주요 도구 Selenium, Undetected Chromedriver, Playwright, 그리고 Pyppeteer에 대해 소개해보려고 합니다. 1. Selenium: 노련한 ...
0. 개요 Selenium을 사용하여 브라우저 상호 작용을 자동화할 때 요소가 사용 가능해지거나 특정 조건이 충족될 때까지 기다려야 하는 시나리오에 자주 직면합니다. Selenium의 대기하는 방법에는 'Time.sleep()' 'Implicit Wait' 'Explicitly Wait' 입니다. 하지만 어느 것을 사용해야 할까요? 세 가지의 차이점을...
해시스크래퍼 기술 블로그의 새 글이 발행되면 이메일로 알려드립니다.
이메일은 새 글 알림에만 사용됩니다.
