검색 등록, 하루면 된다 — 구글·네이버·다음·Bing 생고생 정복기

구글 서치콘솔이니 네이버 서치어드바이저니 하는 단어들은 원래 나한테는 그냥 남의 나라 이야기, 혹은 개발자 블로그 구경할 때나 스쳐 지나가는 멋진 용어 같은 거였다.

"설마 내 사이트가 검색에 안 나오겠어?"라는 순진한 믿음을 품고 구글 서치콘솔 문을 열어본 순간, 찬바람이 쌩 불었다. 내 글 대부분이 '색인 생성 실패'라는 차가운 통보와 함께 방치되어 있었던 것이다.

원인은 명확했다. 첫째, 검색에 절대 나오면 안 되는 온갖 잡다한 주소들(API 주소, 날것 그대로의 마크다운 파일, 페이지네이션 지옥, 그래프 데이터 등)이 대문을 활짝 열고 난리 법석을 떨고 있었다. 둘째, 포털들에 "저 여기 있어요" 하고 명함을 안 내밀었으니 AI 봇들도 내 도메인(cursorai.co.kr) 앞을 그냥 지나쳤던 거다.

더 이상 물러날 곳이 없다. 하루 날 잡고 국내외 주요 포털 4곳을 싹 다 갈아엎으며 정리한 리얼 생존기를 풀어본다.

1. 구글 서치콘솔: 134마리의 유령 페이지와 싸우다

서치콘솔을 열자마자 눈에 들어온 건 '크롤링됨 - 현재 색인 생성되지 않음'에 걸린 134건이었다. 순간 눈을 의심했다. 내 글이 이렇게 많았나? 알고 보니 절반 이상은 검색에 노출되면 민망해지는 주소들이었다.

• /api/ (API 호출 주소)
• /board/ (게시판 관련)
• /page/ (페이지 넘김)
• /*.md$ (날것 그대로의 마크다운 원문 파일들)

이 주소들은 바로 robots.txt 소환해서 Disallow로 강력하게 입장을 차단해 버렸다. 나머지 진짜 글들은 제목도 본문도 멀쩡한데, 사이트가 워낙 뉴비라 구글이 아직 간을 보고 있는 상태였다. "시간이 해결해 준다"는 명언을 믿고 일단 패스.

2. 네이버 서치어드바이저: 초대장 없이는 안 오는 철벽남

구글은 그나마 눈치껏 찾아오기라도 하지, 네이버는 완전히 다른 결핍의 세계다. 네이버 서치어드바이저에 등록조차 안 했더니, 네이버봇(Yeti)의 방문 횟수는 정확히 0건이었다. 문을 두드리지 않으니 열어줄 리가.

1. searchadvisor.naver.com에 접속해서 도메인 등록.
2. 소유 확인 관문을 통과하기 위해 두 가지 방식을 동원했다. 네이버가 던져준 naver5bdf….html 파일을 서버 루트에 툭 던져놓고, 홈페이지 <head> 태그에 메타태그도 예쁘게 박아줌.
3. '요청 > 사이트맵 제출'에 https://cursorai.co.kr/sitemap.xml 투척.
4. '요청 > RSS 제출'에 https://cursorai.co.kr/feed.xml 투척.
5. '요청 > 웹 페이지 수집'에 홈 주소 입력.

신기한 건, 사이트맵을 제출하자마자 거짓말처럼 네이버봇(Yeti)이 벌떡 일어나더니 /sitemap.xml을 물어 갔다는 것이다. 역시 네이버는 성과가 즉각적으로 눈에 보여서 묘한 쾌감이 있다.

3. 다음(Daum): 아날로그 감성의 신청서 한 장

다음은 뭔가 절차가 옛날 감성(?)이 난다.

1. register.search.daum.net 접속 후 카카오 계정으로 로그인.
2. 신규 등록에서 '사이트 검색'을 당당히 선택.
3. 제목, URL, 설명, 설명 품목을 꾹꾹 눌러 담아 입력.
4. 카테고리를 찾으려니 목이 빠진다. 학문, 사전 > 공학 > 컴퓨터공학 > 인공지능으로 정성스럽게 지정.
5. "신청 완료. 결과는 이메일로 통보됩니다."

이제 편안하게 커피 한 잔 마시며 이메일함을 기다리면 된다.

4. Bing: 구글의 숟가락 얹기 신공 (가장 마음에 듦)

마이크로소프트의 빙(Bing)은 개발자의 마음을 가장 잘 아는 녀석이다.

1. bing.com/webmasters 접속.
2. 로그인하자마자 'Google 검색 콘솔에서 가져오기' 버튼이 눈에 띈다.
3. 딸깍 누르는 순간, 소유 확인도 사이트맵 제출도 필요 없이 구글에 있던 설정이 프리패스로 복사된다.

귀찮은 절차를 한 방에 생략해 주는 이런 시스템, 아주 칭찬한다.

5. 덤: 봇들이 사람 코스프레하며 파티 중이었다

모든 등록을 마치고 실시간 접속 화면과 서버 로그를 대조해 보는데 이상한 점을 발견했다. 트래픽 통계에는 사람이 들어온 것처럼 찍히는데, 실제 서버 로그를 파고들어가 보니 전부 AI 크롤러와 검색 봇들이었다.

서버를 찰지게 훑고 지나가던 ShapBot과 네이버의 Yeti가 내 통계 프로그램 안에서는 고결한 '인간 방문객'으로 집계되고 있었던 것이다. 크롤러 목록에 이 친구들을 당장 추가하고 서버를 재시작하자마자, 실시간 접속자 수가 3명에서 쓸쓸하지만 정직한 1명(나)으로 바로잡혔다. 봇들아, 너네 방문자 수 올리지 마라….

6. 현재 상태 요약

• 구글: 색인 누락 찌꺼기들 깔끔하게 청소 완료, 유효성 검사 진행 중 🚀
• 네이버: Yeti가 사이트맵과 RSS를 싹 쓸어가며 본격 활동 개시 🐾
• Bing: bingbot이 구글 형님 뒤를 이어 자연스럽게 수집 시작 🤖
• 다음: 신청서 제출하고 차분하게 대기 중 ☕

혹시 아직도 서치콘솔이나 서치어드바이저 미루고 있는 분들이 있다면, 하루만 고생해서 싹 정리해 보시길 권한다. 봇들이 내 사이트를 찾아오는 로그를 구경하는 것만으로도 묘한 희열을 느낄 수 있을 것이다.