웹 스크레핑과 크롤링의 차이점

크롤링이 기본적으로 모든 데이터를 가져오는 거라면 웹 스크래핑은 크롤링으로 생각하기도 하고, 짧은 범위로는 특정 정보만을 추출하는 걸 의미한다. 참고로 다음은 웹크롤링에 대한 정의이다.

웹크롤러가 하는 작업을 웹 크롤링(web crawling) 혹은 스파이더링(spidering)이라 부른다.

검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다.

웹크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하느 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱한다.

또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는데도 사용된다.

출처 : Python을 활용한 자동화 스크립트 강의