CR
Crawlee
브라우저 자동화까지 아우르는 크롤링 프레임워크
| 분류 | 웹 검색 및 자동화 |
|---|---|
| 실행 환경 | 개인 PC · VPS |
| 설치 난이도 | 보통 |
| 공식 홈페이지 | https://crawlee.dev/ |
| GitHub | https://github.com/apify/crawlee |
| 설치·사용 문서 | https://crawlee.dev/docs |
어떤 프로그램인가?
페이지 수집, 브라우저 자동화, 프록시 관리를 한 프레임워크에서 처리합니다. Apify가 만든 오픈소스로, 소규모부터 대규모 수집까지 같은 코드로 확장됩니다.
무엇을 할 수 있는가?
- 크롤링과 헤드리스 브라우저 통합
- 프록시·로그인 세션 자동 관리
- 실패 재시도·체크포인트 내장
- Python 버전도 제공
누구에게 적합한가?
데이터 수집과 브라우저 자동화를 함께 구축하는 개발자.
장점
- 수집 규모를 코드 수정 없이 확장
- Playwright·Puppeteer·Cheerio와 연동
- Apify 생태계와 호환
주의사항
- 설계 난이도가 높은 편
- 실행 환경 구성에 학습 시간 필요
직접 테스트
아직 직접 테스트 기록이 없습니다. 확인한 내용만 이곳에 추가됩니다.
AI Knowledge Hub