어떤 프로그램인가?

웹 페이지를 긁어와 언어 모델이 바로 읽을 수 있는 마크다운으로 바꿔줍니다. 클라우드 요금 없이 내 서버에서 무제한으로 돌릴 수 있습니다.

무엇을 할 수 있는가?

• 자바스크립트 렌더링 브라우저 내장
• LLM이 읽기 좋은 마크다운 출력
• 추출 규칙(전략)을 직접 지정
• Docker·클라우드 배포 지원

누구에게 적합한가?

AI 학습과 분석에 쓸 웹 데이터를 자체 인프라에서 수집하고 싶은 개발자.

장점

• 오픈소스·무료로 제한 없이 수집
• AI 파이프라인에 바로 연결
• 표·JSON 등 구조화 데이터 추출

주의사항

• 대상 사이트의 약관·robots 정책 준수 필요
• 대규모 수집은 서버 자원을 많이 씀

직접 테스트

아직 직접 테스트 기록이 없습니다. 확인한 내용만 이곳에 추가됩니다.

관련 자료