← AI 에이전트 허브
CR

Crawlee

브라우저 자동화까지 아우르는 크롤링 프레임워크

분류웹 검색 및 자동화
실행 환경개인 PC · VPS
설치 난이도보통
공식 홈페이지https://crawlee.dev/
GitHubhttps://github.com/apify/crawlee
설치·사용 문서https://crawlee.dev/docs
공식 사이트 방문GitHub설치·사용 문서

어떤 프로그램인가?

페이지 수집, 브라우저 자동화, 프록시 관리를 한 프레임워크에서 처리합니다. Apify가 만든 오픈소스로, 소규모부터 대규모 수집까지 같은 코드로 확장됩니다.

무엇을 할 수 있는가?

  • 크롤링과 헤드리스 브라우저 통합
  • 프록시·로그인 세션 자동 관리
  • 실패 재시도·체크포인트 내장
  • Python 버전도 제공

누구에게 적합한가?

데이터 수집과 브라우저 자동화를 함께 구축하는 개발자.

장점

  • 수집 규모를 코드 수정 없이 확장
  • Playwright·Puppeteer·Cheerio와 연동
  • Apify 생태계와 호환

주의사항

  • 설계 난이도가 높은 편
  • 실행 환경 구성에 학습 시간 필요

직접 테스트

아직 직접 테스트 기록이 없습니다. 확인한 내용만 이곳에 추가됩니다.

관련 자료

AI 크롤러 · 수집 기록

봇별 요약 · 최근 24시간