Scrapy Scrapy는 대표적인 웹 스크래핑 도구로, 파이썬에서 사용 가능하다. 스크래핑(scraping)은 날카롭거나 예리한 도구를 이용해 표면에 붙은 어떤 것을 떼어내는 행위를 뜻한다. 이와 비슷하게, 웹 스크래핑(web scraping)은 웹 사이트로부터 데이터를 추출해내는 행위를 뜻한다. 웹 스크래핑은 방대한 웹 사이트의 데이터를 손쉽게 모을 수 있다는 장점이 있지만, 타인의 콘텐츠를 무단으로 도용할 수 있다는 단점도 존재한다. 특히 브라우저를 통해 사이트를 접속할 경우, 웹 서버에서 접속자가 스크래핑 봇(bot)인지, 일반 사용자인지 구분하기 어렵다. 이를 이용해 Selenium은 CI/CD에서 테스트 도구로 활용되기도 한다. Scrapy 프로젝트 생성 간단한 scrapy 프로젝트를 만들어 ..
