봇 맛집 탐방기 — 오늘도 AI 손님들이 몰려왔다

오늘 우리 홈페이지에 단체 손님들이 찾아왓다

요즘 부쩍 단체 손님들이 차자주시니 몸둘바를 모르겟다 ㅋㅋ

이 손님들이 실제 손님이면 하는 바램인데 ...

오늘 서버 로그를 열어보니 오늘 방문 요청이 4,422건. 중복을 제외하고 수집한 고유 URL은 891개다. 전체 트래픽에서 크롤러가 차지하는 비중은 71.6%라고 나온다.

아니 아무리 공짜라고 뭇흔 맛집이라고 소문이 낮나 ? 왜이리도 찾아주시는지

물건은 사지도 않고 .떼거지로 몰려와서 구경만 한다

마트에 들려서 시식만 하고 간다고나 할까 ㅋㅋ 물건은 절대 안산다

이 손님들 참 대단하다.

가게 문을 열자마자 우르르 몰려온다. 상품 진열대부터 구석구석 살펴보고, 창고까지 뒤져본다. 그런데 정작 물건은 사지도 않는다.

실컷 구경하고는 말없이 사라진다. ㅋㅋㅋ

물론 실제로 상품을 파는 가게 이야기는 아니다. 우리 홈페이지의 게시글과 데이터를 상품에 빗대어 본 거다.

손님들은 게시글만 읽고 가는 게 아니다. API도 들여다보고, 그래프 데이터도 요청하고, 이미지와 자바스크립트 파일까지 찾아간다.

사람 손님이라면 글 몇 개 읽고 나갈 텐데, 이 손님들은 홈페이지 구석구석을 살펴본다.

요청이 수천 건 들어왔는데도 서버 부하가 눈에 띄게 올라가지 않았다. 전송량도 약 102.4MB 수준이다.

내 홈페이지는 텍스트와 JSON 데이터가 중심이다. 무거운 이미지가 잔뜩 들어 있는 사이트와는 구조가 다르다. Nginx가 정적 파일을 처리하고, 요청 제한도 작동하니 현재까지는 잘 버티고 있다.

물론 오늘 잘 버텼다고 앞으로 어떤 트래픽이 와도 끄떡없다는 뜻은 아니다. 검색이나 데이터베이스 작업이 집중되면 상황은 달라질 수 있다.

그런데 공짜 시식은 어디까지 허용해야 할까?

여기서부터는 조금 진지해진다.

사이트 운영자는 글을 쓰고, 정보를 정리하고, 서버 비용을 낸다. AI는 그 정보를 수집해서 사용자에게 답을 만들어 준다.

그렇다면 질문이 생긴다.

AI가 내 콘텐츠를 가져가서 활용한다면, 콘텐츠를 만든 사람에게는 무엇이 돌아오는가?

지금 당장 답을 내리기는 어렵다. AI 크롤러를 무조건 막는 것도 답은 아닐 테고, 아무 제한 없이 모든 데이터를 내주는 것도 마냥 반가운 일은 아니다.

그래서 우선은 로그를 관찰하고, 서버를 보호하고, 어떤 손님이 얼마나 찾아오는지 기록해 보기로 했다.

오늘도 봇 손님들은 다녀갔다.

물건은 사지도 않고, 떼거지로 몰려와서 상품만 실컷 보고 간다.

계산은 아직 안 했다. ㅋㅋㅋ

다음에는 어떤 손님이 찾아올까?