웹사이트 트래픽 폭증과 광고 Fill Rate 급락의 진실: 악성 봇 차단과 Cloudflare Bot Fight Mode 적용기

👤 인스피

조회 수 17

1. 첫 번째 혼란: 잘못된 진단과 CSS 삽질

지표가 박살 난 이유를 찾기 위해 백방으로 검색해 보았을 때, 가장 먼저 접한 해결책은 "광고를 감싸는 부모 <div>에 min-width와 min-height가 없어서 스크립트가 렌더링을 포기하고 무한 재요청(Loop)을 보내고 있다"는 프론트엔드 관점의 진단이었습니다.

하지만 이 진단은 제 웹사이트의 시스템 아키텍처를 완전히 간과한 오진이었습니다. 제 커뮤니티는 React나 Vue 같은 클라이언트 사이드 렌더링(CSR) 기반의 SPA가 아니라, 파이썬 FastAPI를 이용한 서버 사이드 렌더링(SSR) 환경으로 구축되어 있습니다. 즉, 유저가 F5를 눌러 새로고침을 하지 않는 이상 자바스크립트가 스스로 화면을 갈아엎으며 광고를 무한 재요청하는 것은 물리적으로 불가능합니다. 게다가 이전 작업을 통해 모바일 하단 광고 영역 등에 최소 높이(min-height)를 튼튼하게 고정해 둔 상태였으므로 레이아웃 붕괴가 원인일 리 없었습니다.

2. 스모킹 건: 왜 최하단 광고와 모바일 광고만 살아남았을까?

진짜 범인을 잡기 위한 결정적인 단서는 웹사이트 화면 그 자체에 있었습니다. PC 화면의 상단 배너와 좌우 날개 배너는 모조리 하얗게 죽어버렸는데, 유독 'PC 화면의 최하단 배너'와 '모바일 기기로 접속했을 때의 광고'는 아무 일 없다는 듯 쌩쌩하게 잘 나오고 있었던 것입니다.

이 기묘한 편식 현상의 원인은 악성 크롤러 봇들의 고유한 행동 패턴에 있었습니다.

PC 브라우저 위장 (User-Agent Spoofing): 무단 크롤러나 스크래퍼 봇들은 거의 100% 윈도우(Windows) PC 환경의 크롬 브라우저인 척 위장하여 접속합니다. 이 때문에 모바일 전용 광고 단위에는 봇 트래픽이 묻지 않아 페널티를 피할 수 있었습니다.
스크롤을 내리지 않는 봇: 진짜 사람은 글을 읽기 위해 마우스 휠을 내리지만, 봇들은 HTML 코드만 0.1초 만에 찰나로 긁어간 뒤 다음 페이지로 떠나버립니다.
광고망의 타겟 차단: 봇들이 화면 최상단과 좌우 광고만 5,300번 넘게 호출하고 스크롤은 내리지 않으니, 카카오 애드핏 시스템은 "이 사이트의 상단/좌우 지면은 클릭도 안 나오는 불량 트래픽이 폭주하고 있다"고 판단하여 해당 광고 단위(Unit ID)에만 빈 지면을 내려보내는 제재(Throttling)를 가한 것입니다. 반면 유저가 스크롤을 끝까지 내려야만 로딩되는 최하단 광고는 봇들의 마수에서 벗어나 안전하게 살아남았습니다.

3. 통쾌한 반격: 구글 애널리틱스(GA) 300명에서 1명으로

모든 퍼즐이 맞춰지자마자, 저는 즉시 외부 네트워크 방어막인 클라우드플레어(Cloudflare) 대시보드에 접속했습니다. 그리고 [보안(Security)] -> [봇(Bots)] 메뉴에 들어가 'Bot Fight Mode(봇 방어 모드)' 스위치를 켰습니다.

효과는 믿을 수 없을 정도로 즉각적이었습니다. 구글 애널리틱스(GA)의 실시간 활성 사용자 탭을 띄워두고 있었는데, 방어 모드를 켜기 전까지 무려 300명을 가리키던 접속자 수가, 스위치를 켠 지 1분도 채 되지 않아 단 1명(저 자신)으로 수직 낙하했습니다. 내 사이트를 북적이게 만들던 299명이 모두 유령(봇)이었던 것입니다. 서버를 갉아먹고 광고 지표를 망치던 허수 트래픽이 완벽하게 걷혀 나가는 통쾌한 순간이었습니다.

추가로 브라우저 콘솔 하단에 찍히던 [Cloudflare Turnstile] Ignored message from unexpected source라는 경고 문구 역시, 광고를 차단한다는 에러가 아니라 보안 프로그램(Turnstile)이 봇과 정상 트래픽을 분류하는 과정에서 띄운 단순한 확인용 알림(Warning) 메시지였음을 최종적으로 확인했습니다.

맺으며: 방어막과 냉각기(Cooldown)의 미학

이번 사태를 통해 깨달은 것은, 무효 트래픽 폭증으로 인해 광고 시스템에서 어뷰징 의심을 받을 때는 "코드를 수정해야 하나?"라며 내부를 파헤치기 전에 외부의 봇 공격을 먼저 의심해야 한다는 점입니다.

봇 트래픽을 차단했다고 해서 이미 화가 난 광고 시스템(카카오 애드핏 등)이 즉각적으로 100% 정상화되는 것은 아닙니다. 저는 카카오 애드핏 관리자 페이지에서 Fill Rate가 6%대로 붕괴한 상단 및 좌우 광고 단위들을 하루 동안 '상태: 중지'로 돌려두었습니다. 이는 카카오의 AI 시스템에게 "이제 더 이상 이상 트래픽이 발생하지 않는다"는 것을 확인시켜 주는 '냉각기(Cooldown)'를 부여하여, 계정 정지나 블라인드 같은 최악의 페널티를 완벽하게 예방하기 위한 전략적 후퇴입니다.

봇과의 전쟁은 웹사이트를 운영하는 한 끝없이 이어집니다. 무의미한 숫자에 일희일비하지 않고 트래픽의 본질을 꿰뚫어 보는 통찰력이야말로, 1인 개발자가 구글 애드센스와 같은 까다로운 광고 플랫폼에서 장기적으로 생존할 수 있는 최고의 무기일 것입니다.

❓ 자주 묻는 질문 (FAQ)

Q1. 클라우드플레어의 Bot Fight Mode를 켜면 구글 애드센스 심사 봇도 막히지 않나요?

A. 전혀 막히지 않습니다. 클라우드플레어의 봇 방어 시스템은 구글 검색 봇(Googlebot), 애드센스 심사 봇(Mediapartners-Google), 빙(Bing)과 같이 공식적으로 신원이 확인된 '착한 봇(Verified Bots)'에게는 화이트리스트 프리패스를 발급합니다. 트래픽을 좀먹는 정체불명의 악성 스크래퍼만 족집게처럼 골라내서 차단하므로 안심하고 켜두셔도 됩니다.

Q2. 사이트 접속자가 전부 봇이었다면, 지금까지 쌓인 광고 수익은 모두 몰수당하나요?

A. 다행히 그렇지는 않습니다. 카카오 애드핏이나 구글 애드센스는 봇이 발생시킨 무의미한 노출이나 클릭(무효 트래픽)을 실시간으로 감지하고 수익 산정에서 아예 제외합니다. 즉, 애초에 봇 트래픽으로 번 수익 자체가 없기 때문에 몰수당할 금액도 없습니다. 다만, 방치할 경우 '비정상적인 매체'로 찍혀 광고 송출 자체가 영구 정지될 수 있으므로 선제적인 차단 조치가 필수적입니다.

Q3. 광고를 하루 동안 '임시 중지' 했다가 다시 켜면 불이익이 있나요?

A. 불이익은 전혀 없으며 오히려 계정을 보호하는 가장 훌륭한 조치입니다. 무효 트래픽이 쏟아지는 와중에 억지로 광고를 열어두어 어뷰징 페널티(계정 정지)를 받는 것보다, 외부 봇 방어막을 튼튼하게 친 후 24~48시간 정도의 냉각기를 가지고 재활성화하는 것이 가장 빠르고 안전한 수익률(Fill Rate) 정상화 방법입니다.