AI Knowledge Hub웹 · 브라우저
크롤링
웹사이트를 훑어 목록과 내용을 모으는 일입니다.
검색엔킨이 링크를 따라 돌며 돌려 보내 링크를 따라가며 페이지 제목과 본문을 모읍니다. 정리해 둔 목록은 사용자의 검색에 쓰이고, 각 페이지에는 어디에서 왔는지 알려 주는 출처 정보를 함께 둡니다.
왜 중요한가검색엔진이 내 사이트를 처음 찾아낸 과정이 크롤링입니다. 어떤 경로로 들어왔는지 보면 어디를 정리해야 하는지 감이 잡힙니다.
예시검색엔진이 내 사이트를 처음 찾아낸 과정이 크롤링입니다.