--- title: 초보자를 위한 웹사이트 관제 화면 만들기: 실시간 접속부터 404 오류까지 date: 2026-10-11 time: 20:30 model: admin category: knowhow author_type: human summary: 홈페이지를 만들면 끝이 아니라, 서버 로그와 실시간 접속·크롤러 기록·누적 통계를 화면으로 확인하는 관제실을 만들면서 배운 이야기. 301과 404를 두려워하지 않게 된 초보 운영자의 기록. tags: 관제 화면, 서버 로그, 실시간 접속, 404, 301, AI 크롤러, 누적 통계, 초보 운영 --- # 초보자를 위한 웹사이트 관제 화면 만들기: 실시간 접속부터 404 오류까지 홈페이지를 만들면 끝인 줄 알았다. 글을 올리고, 디자인을 다듬고, 사람들이 찾아오기를 기다리면 되는 줄 알았다. 그런데 막상 서버를 운영해 보니 홈페이지가 돌아가는 것과 홈페이지 안에서 무슨 일이 벌어지는지는 전혀 다른 문제였다. 처음에는 서버 로그라는 것부터 낯설었다. IP 주소, GET 요청, HTTP 상태 코드 같은 것들이 줄줄이 찍히는데, 이걸 보고 무슨 일이 일어났는지 바로 알아내기는 쉽지 않았다. 그렇다고 매번 터미널을 열고 로그를 뒤져볼 수도 없는 노릇이었다. 나 같은 초보자에게는 더더욱 그렇다. 그래서 직접 화면을 만들었다. ## 화면 하나 만들었을 뿐인데 달라졌다 내 홈페이지에는 이제 실시간 접속 기록과 AI 크롤러 수집 기록, 누적 통계, 시간대별 크롤링 그래프가 있다. 왼쪽에는 글과 태그, 카테고리 등을 연결해 보여주는 지식 그래프도 배치했다. 처음부터 거창한 시스템을 만들 생각은 없었다. 운영하면서 궁금한 것, 직접 확인하고 싶은 것들을 하나씩 화면에 담았다. 그런데 막상 만들어 놓으니 생각보다 훨씬 유용했다. 어떤 봇이 접속했는지, 어떤 주소를 요청했는지, 서버가 어떤 응답을 돌려줬는지 한눈에 볼 수 있었다. 구글이나 여러 AI 관련 크롤러가 내 글을 요청하는 기록도 확인할 수 있었다. 예전 같으면 이런 기록이 서버 안에 쌓여 있어도 찾아보지 않는 이상 모르고 지나갔을 것이다. ## 숫자보다 중요한 건 무슨 일이 일어났는지 아는 것 얼마 전에는 이런 기록이 보였다. ``` GET /knowhow/2026-09-25-agent-logic-over-knowledge 301 ``` 처음 보는 사람이라면 이게 무슨 소리인가 싶을 것이다. 나도 모든 상태 코드를 처음부터 알고 있었던 건 아니다. 확인해 보니 301은 주소가 다른 곳으로 영구 이동한다는 뜻이었다. 이제는 해당 주소가 어디로 이동하는지 확인하면 된다. 최종 주소가 정상이라면 그대로 두면 되고, 엉뚱한 곳으로 이동한다면 원인을 찾아보면 된다. 이게 별것 아닌 것 같아도 직접 운영하는 입장에서는 차이가 크다. 문제가 있다는 사실조차 모르고 지나가는 것과, 문제의 흔적을 발견하고 확인할 수 있는 것은 완전히 다르다. 404도 마찬가지다. 존재하지 않는 페이지를 누군가 요청했다면 주소를 확인하고, 예전 주소가 남아 있는 것인지 실제로 페이지가 빠진 것인지 살펴볼 수 있다. 물론 301이나 404가 무조건 오류라는 뜻은 아니다. 정상적인 주소 변경 과정에서도 발생할 수 있다. 중요한 것은 기록을 보고 상황을 판단할 수 있다는 점이다. ## AI 크롤러는 정말 많이 돌아다닌다 서버 기록을 들여다보면서 또 하나 알게 된 것이 있다. 홈페이지를 찾아오는 것은 사람만이 아니라는 사실이다. 구글봇을 비롯해 GPTBot, ClaudeBot, ExaSearchBot 등 다양한 크롤러의 요청이 기록에 남는다. 어떤 시간대에는 요청이 몰리기도 한다. 이 기록만으로 AI가 내 글을 학습에 사용했다거나 검색 결과에 반영했다고 단정할 수는 없다. 하지만 적어도 어떤 봇이 어떤 주소를 요청했는지는 확인할 수 있다. 그래프도 계속 누적되도록 만들었다. 가로축은 하루 24시간이고, 각 시간대에 쌓인 크롤링 기록을 집계한다. 데이터가 더 쌓이면 시간대별 활동 차이를 장기적으로 살펴볼 수 있을 것이다. 그냥 방문자 수 하나만 보여주는 화면과는 조금 다른 이유다. ## 초보자일수록 이런 화면이 필요하지 않을까? 전문가라면 터미널에서 명령어를 입력하고 로그를 분석하는 것이 익숙할 것이다. 하지만 홈페이지를 처음 운영하는 사람에게는 그런 과정부터 어렵다. 나 역시 모든 것을 알고 시작한 게 아니다. 직접 운영하면서 궁금한 게 생겼고, 필요한 정보를 한곳에서 확인할 수 있도록 화면을 만들었다. 복잡한 로그를 읽기 쉬운 형태로 바꾸고, 문제가 의심되는 기록이 보이면 그 자리에서 확인할 수 있게 한 것이다. 물론 화면만 만든다고 보안 문제가 저절로 해결되는 것은 아니다. 기록은 문제를 발견하는 데 도움을 줄 뿐이고, 실제 원인을 확인한 다음 적절한 조치를 해야 한다. 그래도 적어도 이제는 무슨 일이 일어나는지 전혀 모른 채 운영하지는 않는다. **문제가 생기지 않는 것이 가장 좋지만, 문제가 생겼을 때 알아차릴 수 있는 것도 중요하다.** ## 이제는 기능을 더 늘리기보다 글을 쓰려고 한다 처음에는 이것저것 더 추가하고 싶었다. 조금 더 보기 좋게 만들고, 기능도 하나씩 붙이고 싶었다. 그런데 지금 정도면 내가 확인하고 싶은 정보는 충분히 들어왔다고 생각한다. 지식 그래프도 마음에 들고, 크롤러 기록과 누적 통계도 필요한 역할을 하고 있다. 이제는 화면을 계속 뜯어고치기보다 글을 쌓아가려고 한다. 홈페이지는 만들어 놓는다고 끝나는 것이 아니었다. 운영하면서 배우고, 기록을 확인하고, 필요한 것을 직접 만들어 가는 과정도 중요했다. 나 같은 초보자에게는 이 화면이 단순한 통계판이 아니다. 내 홈페이지 안에서 무슨 일이 벌어지는지 직접 확인할 수 있게 해주는 작은 관제실이다. 이제 글을 쓰면서 데이터가 어떻게 쌓이는지 지켜볼 생각이다. 앞으로 어떤 기록이 더 보일지 나도 궁금하다. ## 그리고 오늘도 크롤러는 쉬지 않는다 재미있는 사실이 하나 있다. 이 글을 올린 순간부터 구글봇과 친구들은 어김없이 찾아올 것이다. 내가 새벽 3시에 글을 올려도 그 봇들은 때를 놓치지 않는다. 아무도 안 보는 시간에 오히려 가장 바쁘다. 가끔 서버 로그를 보다가 내가 쓴 글보다 구글봇이 내 사이트를 더 자주 방문한다는 생각이 들 때도 있다. 구독자 수를 봇에게 맡겨도 될 것 같은 착각이 드는 순간이 있다. 물론 봇은 글을 좋아해 줄 수는 없다. 좋다고 눌러주지도 않는다. 그래도 관제 화면을 켜면 언제든 누가 왔는지는 알 수 있다. 초보 운영자에게 그 정도면 충분하다.