[운영파트] (1) 방문자 수 0명의 늪: 열심히 만든 내 웹사이트, 왜 구글 검색에 안 나올까? (초보 웹마스터의 생존기)

👤 관리자

조회 수 97

잔인한 현실: 조회수 0명, 내 사이트는 유령선이었다

다음 날 아침, 눈을 뜨자마자 부푼 가슴을 안고 관리자 페이지의 조회수를 확인했습니다. 그런데 웬걸, 방문자 수는 처참하게도 '0명'이었습니다. 처음에는 "아직 아침이라서 그렇겠지, 사람들이 출근하고 나면 점심때쯤엔 들어오겠지"라고 위안을 삼았습니다. 하지만 점심때도, 저녁때도 새로고침(F5)을 수십 번 눌러봤지만 야속한 숫자는 미동조차 하지 않았습니다.

혹시나 하는 마음에 구글 검색창에 제 웹사이트 주소(<code>site:inspeep.com</code>)를 직접 타이핑해 보았습니다. 아뿔싸, 검색 결과가 단 한 건도 나오지 않는 텅 빈 하얀 화면이 저를 반겼습니다. 세상에, 제가 밤새워 만든 소중한 집이 구글이라는 거대한 인터넷 바다에서는 아예 존재조차 하지 않는 '투명 인간'이자 '유령선' 취급을 받고 있었던 겁니다.

집만 지으면 끝? 구글 로봇에게 '초대장'을 보내야 한다

도대체 어떻게 해야 내 글이 검색 포털에 노출되고 사람들에게 읽힐 수 있을까요? 며칠 동안 답답한 마음에 검색 엔진 최적화(SEO)와 구글 서치 콘솔(Google Search Console)에 대해 미친 듯이 파고들었습니다. 그리고 아주 중요한 사실을 하나 깨달았습니다.

웹사이트는 그럴싸하게 집을 지어놨다고 해서 사람들이 알아서 찾아오는 마법의 공간이 아니었습니다. 전 세계의 웹사이트를 순찰하는 구글 로봇(크롤러)에게 "여기 새로운 집이 생겼고, 이런 방(게시글)들이 있으니 와서 지도 좀 그려가세요!"라고 친절하게 초대장과 안내도를 쥐여줘야만 했습니다.

그래서 저는 부랴부랴 파이썬 코드를 수정해 제 사이트의 모든 글 주소를 모아둔 <code>sitemap.xml</code>(사이트맵)을 자동 생성하도록 만들었습니다. 그리고 구글 로봇이 제 사이트를 막힘없이 돌아다닐 수 있도록 <code>robots.txt</code> 파일까지 설정해 검색 엔진을 향해 대문을 활짝 열어두었습니다.

구글 서치 콘솔의 공포: "가져올 수 없음"과 기다림의 미학

구글 서치 콘솔에 사이트맵을 제출하고 나면 이제 10분 만에 검색 1페이지에 뜰 줄 알았습니다. 하지만 저를 기다리고 있는 건 무시무시한 빨간 글씨의 "가져올 수 없음"이라는 에러 메시지였습니다. 며칠 뒤에는 "발견됨 - 현재 색인이 생성되지 않음"이라는 알림까지 날아왔죠.

"내가 코드를 잘못 짰나?", "서버가 어딘가 단단히 꼬였나?" 며칠 동안 이 문구들 때문에 엄청난 스트레스를 받아 아무런 코딩도 손에 잡히지 않았습니다. 서치 콘솔 화면만 띄워놓고 하루에 백 번씩 새로고침을 누르며 초조해했죠.

하지만 수많은 문서를 찾아보고 고수분들의 조언을 구하며 깨달은 진실은, 이것이 치명적인 '에러'가 아니라 구글의 '지극히 정상적인 업무 지연'이라는 것이었습니다. 전 세계에서 매일 수억 개의 웹사이트 문서가 쏟아지는데, 이제 막 태어난 제 사이트의 결재 서류가 구글 로봇의 어마어마한 대기열 맨 밑바닥에 깔려 있었던 것뿐이었습니다. 로봇이 내 서류를 꺼내어 읽어볼 때까지 순수하게 기다려야 하는 인고의 시간이 필요했던 것입니다.

마냥 기다릴 수만은 없다: 수동 색인 요청과 표준 주소(Canonical) 설정

물론 마냥 손 놓고 기도만 할 수는 없었습니다. 저는 구글 로봇이 조금이라도 제 사이트를 빨리, 그리고 정확하게 파악할 수 있도록 두 가지 조치를 취했습니다.

첫째, 매일 서치 콘솔에 들어가 제가 가장 정성 들여 쓴 칼럼 주소를 상단 검색창에 넣고 [색인 생성 요청] 버튼을 꾹 눌렀습니다. 바쁜 구글 직원(로봇)의 멱살을 살짝 잡고 "제 서류 진짜 열심히 썼으니까 제발 한 번만 먼저 읽어봐 주세요!"라고 수동으로 민원을 넣는 셈이었죠.

둘째, 똑똑한 로봇이 제 사이트 주소를 헷갈리지 않게, HTML 코드에 <code><link rel="canonical" ...></code> 이라는 표준 주소 치트키를 심어주었습니다. <code>www</code>가 붙은 주소나 이상한 경로로 들어오더라도 "진짜 오리지널 원본 주소는 여기야!"라고 깔끔하게 정리해 주어, 구글 로봇이 중복 문서로 헷갈리지 않고 명확하게 제 사이트를 인식할 수 있도록 도왔습니다.

맺음말: 조급함을 버리고 묵묵히 글을 쓰자

여전히 제 사이트의 방문자 수는 0에서 크게 벗어나지 못하고 있습니다. 여전히 구글 로봇의 까다로운 심사와 색인 생성을 기다리며 하루하루 서치 콘솔을 들여다보는 중이죠.

하지만 이번 며칠간의 마음고생을 통해 아주 귀중한 교훈을 얻었습니다. 웹사이트는 뚝딱 '만드는 것'에서 끝나는 것이 아니라, 검색 엔진의 언어를 이해하고 소통하며, 꾸준히 양질의 콘텐츠를 쌓아가며 오랜 시간 '가꾸어 나가는 것'이라는 사실입니다.

혹시 지금 이 순간에도 저처럼 첫 웹사이트를 론칭하고 텅 빈 검색 결과와 방문자 수 0명에 좌절하고 계신 초보 웹마스터분이 있다면, 절대 자책하거나 실망하지 마세요. 여러분이 치열하게 고민하고 세팅한 코드는 완벽합니다. 우리의 정성스러운 글들은 구글 로봇의 결재 서류철 어딘가에서 곧 세상의 빛을 볼 준비를 하고 있을 테니까요. 우리 모두 조급함을 내려놓고, 내일도 묵묵히 좋은 글을 하나 더 써 내려가 봅시다. 파이팅!