[서버관리] 소중한 서버 자원을 갉아먹는 악성 봇(Bot) 트래픽 차단기: 클라우드플레어 WAF 활용 실전 후기

👤 인스피

조회 수 19

1차 방어선: 파이썬(Python) 및 스크립트 기반 크롤러 차단

첨부된 통계 사진의 가장 상단을 보시면 'python bot block'이라는 이름의 규칙이 작동한 것을 확인할 수 있습니다. 지난 하루 동안 총 6번의 접근을 막아냈네요.

보통 웹 스크래핑을 연습하는 초보 개발자들이나 악의적인 데이터를 수집하는 크롤러들은 파이썬의 requests 라이브러리나 Go 언어의 Go-http-client를 이용하여 서버에 무수한 요청을 던집니다. 이때 이들은 자신들의 정체를 숨기는 것을 깜빡하고 기본 유저 에이전트(User-Agent) 값을 그대로 달고 들어오는 경우가 많습니다.

저는 WAF 설정에서 유저 에이전트 문자열에 'python'이나 'Go-http-client'가 포함된 경우 아예 사이트 문턱조차 밟지 못하도록 'Block(차단)' 조치를 내렸습니다. 횟수는 6번으로 적어 보이지만, 이 한 번의 접근이 사이트 전체 게시글을 수천 번 긁어가는 대량 크롤링의 시작점일 수 있기에 초기에 싹을 자르는 것이 매우 중요합니다.

2차 방어선: 특정 악성 IP 타겟팅 및 '매니지드 챌린지' 도입

사진의 두 번째 항목을 보면 특정 IP에서 들어오는 요청들에 대해 'Managed Challenge(매니지드 챌린지)'가 무려 422번이나 작동한 것을 볼 수 있습니다.

서버 로그를 면밀히 분석하다 보면, 유저 에이전트를 정상적인 크롬 브라우저처럼 완벽하게 위장하고 들어오는 고도화된 악성 봇들을 발견하게 됩니다. 이럴 때는 패턴을 파악하여 해당 IP 주소 자체를 타겟팅해야 합니다.

하지만 IP를 무작정 차단(Block)해버리면, 해당 IP 대역을 함께 쓰는 선량한 일반 사용자까지 접속이 막히는 억울한 피해가 발생할 수 있습니다. 그래서 저는 '매니지드 챌린지'를 적용했습니다. 이 설정은 해당 IP로 접속을 시도할 때 백그라운드에서 브라우저 환경을 검사하거나, 필요시 화면에 캡챠(로봇이 아닙니다 체크)를 띄워 사람인지 기계인지 한 번 더 검증하는 스마트한 방어막입니다. 통계를 보니 422번의 찌르기 공격을 서버에 부하를 주지 않고 아주 우아하게 튕겨냈음을 알 수 있습니다.

3차 방어선: 데이터 스크래핑 봇 대량 학살

가장 놀라운 결과는 세 번째 항목인 'Block Paging Bots' 규칙에서 나타났습니다. 불과 24시간 만에 무려 1.56k(1,560번)의 차단 기록이 발생했습니다!

이 규칙은 무분별하게 페이지를 넘겨가며 데이터를 퍼가는 페이징 봇들을 막기 위해 설정한 것입니다. 유저 에이전트에 'bot', 'spider', 'crawl'과 같이 봇임을 암시하는 단어나 무분별한 링크 수집용 'facebook' 봇 등이 포함된 경우 강제로 접속을 끊어버리도록 세팅했습니다.

만약 이 방어막이 없었다면 어떻게 되었을까요? 1,560번의 요청이 그대로 제 서버의 데이터베이스(DB)를 때리고, 수백 메가바이트의 이미지와 HTML 텍스트를 응답하느라 서버의 팬이 굉음을 내며 돌아갔을 것입니다. 정당한 구글 검색 노출을 위한 착한 봇(Googlebot 등)은 화이트리스트로 통과시키고, 내 트래픽만 축내는 나쁜 봇들만 이렇게 핀셋으로 골라내어 차단하는 것이 서버 최적화의 핵심입니다.

봇 차단이 가져온 긍정적인 나비효과

이렇게 강력한 방화벽 규칙을 적용하고 난 뒤, 웹사이트에는 놀라운 변화가 찾아왔습니다.

눈에 띄게 빨라진 체감 속도: 쓸데없는 봇들의 요청에 응답하느라 허덕이던 백엔드 서버가 여유를 되찾으면서, 실제 방문자들이 게시판을 클릭할 때 서버가 응답하는 시간(TTFB)이 비약적으로 단축되었습니다.
정확해진 통계 데이터: 유령 방문자들이 통계에서 잡초처럼 제거되니, 이제는 구글 애널리틱스에 찍히는 방문자 체류 시간과 이탈률이 진짜 사람들의 행동 데이터로만 채워지게 되었습니다. 향후 광고 수익을 분석하고 마케팅 전략을 세우는 데 훨씬 더 신뢰할 수 있는 지표가 된 것입니다.
서버 유지비용 절감: 불필요한 아웃바운드 트래픽이 줄어들면서, 클라우드 호스팅 서비스의 트래픽 과금이나 데이터베이스 읽기 비용을 크게 절약할 수 있게 되었습니다.

마무리하며: 방어는 끝없는 창과 방패의 싸움

보안과 서버 관리에 완벽한 끝이란 없습니다. 봇을 개발하는 해커나 스크래퍼들은 내일이면 또 다른 IP로 변경하고, 유저 에이전트를 교묘하게 위장하여 우리 사이트의 문을 두드릴 것입니다.

하지만 오늘 확인한 클라우드플레어 WAF의 24시간 차단 기록은, 우리가 문을 굳건히 걸어 잠그고 룰을 다듬는 노력만으로도 소중한 웹사이트 자원을 얼마나 훌륭하게 지켜낼 수 있는지 증명해주고 있습니다. 1인 개발자이거나 개인 웹사이트를 운영하시는 분들이라면, 지금 당장 서버의 접속 로그를 확인해 보세요. 그리고 보이지 않는 곳에서 트래픽을 갉아먹고 있는 좀비 봇들을 향해 과감한 차단 버튼을 눌러보시길 강력히 권장합니다.