봇 트래픽이란 무엇이며 트래픽 보고 사기에 어떻게 사용됩니까?
게시 됨: 2023-05-16사이트 방문이 급증하면 사이트 속도 저하, 성능 저하, 리소스 과부하, 손상된 방문, 클릭 통계, SEO에 부정적인 영향, DDoS 및 피싱 공격에 대한 취약성 증가가 발생할 수 있습니다.
사이트 트래픽을 분석하려면 카운터에서 특정 페이지의 조회수 급증, 높은 이탈률, 비정상적으로 길거나 짧은 페이지 체류 시간, 유효하지 않거나 누락된 전환, 귀하가 방문하지 않는 지역의 대량 추천을 살펴보십시오. 공시 하다.
봇이 생성하는 인터넷 트래픽의 비율은 얼마입니까? 추정치는 다양합니다. 그러나 우리는 봇 추천이 전체 글로벌 웹 트래픽의 약 42%를 차지하며 그 중 절반 이상이 "나쁜" 봇에 속한다고 가정할 수 있습니다.
봇 트래픽이란 무엇입니까?
로봇은 항상 사이트를 방문합니다. 사이트는 현대 인터넷의 일부일 뿐이며 검색 엔진도 이러한 방식으로 리소스를 인덱싱합니다. 그러나 봇(또는 자동 스캐너)의 도움으로 데이터를 분석할 수도 있습니다. 즉, 웹 리소스에서 정보를 추출할 수 있습니다. 여기에 관련된 봇은 사이트에서 간단한 자동 작업을 수행하는 프로그램 또는 스크립트입니다.
- 페이지 코드를 언로드합니다.
- 그것을 구성 요소로 나눕니다.
- 데이터 추출 중.
- 데이터베이스에 저장합니다.
이러한 수집의 목적은 다를 수 있습니다. 대부분의 경우 웹사이트는 경쟁업체의 페이지에서 특정 데이터를 가져오기 위해 스크랩되며, 이는 경쟁업체의 리소스에 사용되어 악의적인 공격을 수행할 수 있습니다. 그럼에도 불구하고 구문 분석은 분석 또는 연구 목적에 유용하며 그 자체로는 끔찍한 것을 의미하지 않습니다.
좋은, 나쁜, 못생긴 봇
봇 트래픽을 식별하는 방법에 대해 알아보기 전에 분류를 배워야 합니다. 봇을 유용한(좋은) 것과 악의적인(나쁜) 봇으로 나눌 수 있습니다.
유용한 봇
이것이 우리에게 필요한 로봇입니다. 그들은 인터넷에서 필요한 활동을 수행합니다. 가장 짧은 시간에 가치 있고 복잡한 작업을 수행하는 데 도움이 됩니다. 게다가 사람과 달리 방대한 양의 데이터를 처리할 수 있어 일상적인 프로세스를 자동화한다.
로봇 검색
- "웹 스파이더" 또는 "검색 크롤러"로 알고 있을 수도 있습니다. 그들은 인터넷에서 가장 일반적이고 가장 유용한 봇 중 하나입니다. 모든 검색 결과와 검색과의 사용자 상호 작용은 검색 로봇의 장점입니다. 새 사이트 페이지가 게시되면 봇이 몇 주 내에 페이지를 스캔합니다. SEMRush, Screaming Frog, SE Ranking, Moz 등과 같은 SEO 도구에는 검색 결과와 리소스를 분석하여 보다 효과적으로 최적화하는 로봇이 있습니다.
사이트 검증 봇
- 글로벌 수준에서 사이트를 색인화하는 검색 로봇과 달리 이러한 봇은 특정 리소스의 성능을 평가하기 위한 도구입니다. 도움말이 여러 페이지이거나 큰 경우 이러한 확인이 필요합니다. 이를 통해 사이트 소유자는 사용자의 요구에 따라 사이트를 개선할 수 있습니다. 예를 들어 페이지 로드 시간, 성능 문제, 끊어진 링크, 최적화되지 않은 이미지를 신속하게 식별하고 수정할 수 있습니다.
저작권 침해를 확인하는 봇
- 이러한 봇은 YouTube 및 TikTok과 같은 주요 비디오 호스팅 및 소셜 네트워크에서 저작권 집행을 제어합니다. 특수 소프트웨어의 도움으로 이러한 로봇은 보호된 저작권 자료와 일치하고 호스팅 데이터베이스에 있는 특정 형식 및 패턴의 존재에 대해 대량의 오디오 및 비디오 데이터를 분석합니다. 이러한 로봇의 부인할 수 없는 효과에도 불구하고 많은 전문가와 일반 사용자는 봇이 허용할 수 없을 정도로 높은 수준의 거짓 긍정을 생성하고 콘텐츠가 저작권 자료와 거의 유사하지 않은 작성자를 부당하게 처벌한다는 데 동의합니다.
악성 봇
안타깝게도 "좋은" 봇이 인터넷을 개선하기 위해 덜 가치 있는 일을 하는 악의적인 봇이 있을 것입니다. 예를 들어, 봇 광고에서 트래픽을 속이는 것입니다. "나쁜" 로봇이 무엇인지 봅시다.
광고 클릭 봇
- 그들은 디지털 광고에 대한 중요한 도전을 나타냅니다. 그들은 검색에서 문맥 광고를 클릭합니다. 그들은 광고 예산을 낭비하고 마케팅 캠페인에 큰 피해를 줍니다. 점차 실제 사용자의 행동을 모방하여 악의적인 활동을 숨길 수 있는 봇을 찾을 수 있습니다. 예를 들어 사이트의 페이지를 스크롤하고 무작위로 따라가며 페이지에 1초 이상 머무를 수 있습니다.
DDoS 공격용 봇
- 서비스 거부(DoS)는 서비스 거부 공격으로, 그 목적은 리소스 속도를 늦추거나 특정 시간 동안 비활성화하는 것입니다. 직접 스트리밍 봇 트래픽은 서버에 과부하를 일으키고 실제 사용자의 요청에 대한 응답을 중지합니다. 결과적으로 사이트를 사용할 수 없게 됩니다. DDoS(분산 서비스 거부)는 여러 장치 및 네트워크에서 발생하는 분산 서비스 거부 공격입니다. 이 기능을 사용하면 웹 사이트에서 봇 공격을 차단하기가 훨씬 더 어려워집니다. DDoS 봇은 일반적으로 맬웨어에 감염된 사용자 장치 네트워크인 봇넷을 통해 확산됩니다. 사용자가 실수로 맬웨어를 설치하거나 사기성 사이트를 방문할 수 있습니다. 따라서 그의 장치는 봇넷의 일부가 되어 자동으로 운영자 지시 공격을 수행합니다.
구매자 봇
- 온라인 상점에 대한 품절 공격을 위해 설계되었습니다. 개념은 간단합니다. 봇은 수요가 높은 특정 항목을 장바구니에 추가하고 결제하지 않고 보관합니다. 따라서 재고가 있는 제품의 수는 자동으로 줄어듭니다. 제품이 "소진"될 때까지 이 작업을 수행합니다. 그러면 정품 구매자는 해당 상품이 품절된 것을 보고 사이트를 떠납니다. 카탈로그의 제품은 짧은 시간(보통 10~15분) 동안만 특정 바구니에 연결됩니다. 그러나 카탈로그가 장기간 자동 공격을 받으면 봇이 구매자가 제품을 사용할 수 없게 만들기 쉽습니다.
이는 Botfaqtor와 같은 봇 차단 서비스가 매일 접하는 악의적인 활동 중 일부에 불과합니다.
유기적 봇 트래픽이 필요한 사람
마케터와 SEO가 추가 트래픽을 필요로 하는 많은 옵션이 있습니다. 그러나 거의 모든 것이 제휴 마케팅의 차원에 있습니다.
구매 및 판매 사이트
웹사이트 판매는 큰 사업입니다. 실생활과 마찬가지로 상업용 디지털 부동산은 모든 모양, 크기 및 조건으로 제공됩니다. 추가 판매 또는 수익 창출을 위해 리소스 또는 온라인 비즈니스를 "정리"하는 데 시간과 돈을 기꺼이 사용하는 사람들은 큰 돈을 벌고 있습니다.
사이트 방문자가 많은 경우 잠재 구매자에게 광고 콘텐츠를 게재하여 얻을 수 있는 이점을 보여줄 수 있습니다. 따라서 판매자 입장에서는 봇의 도움을 받아 트래픽 수치를 인위적으로 부풀리려는 유혹이 강합니다.
검은 모자 판매자
Google과 같은 검색 엔진의 "웹 사이트 트래픽은 순위 요소가 아니다"라는 단정적인 주장에도 불구하고 많은 전문가들은 높은 트래픽을 검색 결과에서 높은 위치와 잘못 연관시킵니다.
결과적으로 많은 프로모션 "전문가"(및 클라이언트)는 여전히 유기적 봇 트래픽에 대해 큰 비용을 지불할 의향이 있습니다. 검색된 키워드가 발생하지 않는 요청에 따라 검색 결과에 관련 없는 사이트를 표시하는 검색 엔진 폭격 기술이 사용됩니다. 그들은 자신의 순위와 위치가 이렇게 성장할 것이라고 잘못 믿을 것입니다.
부정직한 마케팅 담당자 및 대행사
불행하게도 봇 트래픽으로 웹사이트 방문자를 부풀리는 불공정한 관행은 2023년에도 여전히 건재합니다. 디지털 마케팅에 대해 조금이라도 이해하는 사람이라면 트래픽 자체가 자아를 즐겁게 하기 위해 고안된 지표일 뿐 그 이상은 아니라는 것을 알고 있습니다.
광고를 클릭한 방문자 중 타겟 행동을 완료한 방문자가 없다면 방문자 증가는 비즈니스에 도움이 되지 않습니다. 그러나 많은 사업주들은 마케팅의 모든 내용을 배울 시간이 없습니다.
부풀려진 트래픽에 대한 진실이 명백해지더라도 부정직한 마케터나 대행사는 낮은 전환율을 다른 요인(제공된 제품 또는 서비스, 최적화되지 않은 페이지 등) 때문이라고 생각합니다. 또한 추가 서비스에 대해 고객을 홍보할 수 있습니다.
보시다시피 유기적인 봇 트래픽은 일부 부정직한 마케팅 및 SEO 서비스와 관련되지 않는 한 거의 쓸모가 없습니다.
원칙적으로 봇은 방문 횟수가 많은 모양을 만듭니다. 그러나 실제로는 금전적 이익을 위해서만 사용됩니다.
유료 봇 트래픽은 승자가 없는 게임입니다
트래픽 봇을 사용하여 광고 클릭을 늘리는 것은 두 그룹의 사람들, 즉 광고를 배치하는 게시자/웹마스터 또는 광고주의 경쟁자에게만 도움이 됩니다.
숨겨진 봇 트래픽을 통해 수익을 늘리는 것은 이미 Google 애드센스를 통해 사이트에서 수익을 창출하고 있는 게시자에게 매력적으로 보일 수 있습니다. 예를 들어 웹에는 봇을 구매하는 가장 좋은 방법에 대한 많은 기사가 있습니다.
그러나 광고 플랫폼은 참여 규칙을 점점 더 강화하고 있으며 트래픽 증가에 대해 경계하고 있습니다. 따라서 소득을 늘리기 위해 이 옵션을 사용해서는 안 됩니다.
게시자에 의한 광고 사기는 쉽게 돈을 벌고 면책되는 것이 아닙니다. 많은 금액을 지불하는 대신 금지 당하고 사이트에서 수입을 잃을 수 있습니다.
탐지 방법
개별 로봇에 대한 보호 또는 봇넷에 대한 완전한 보호는 하나의 원칙을 기반으로 합니다. 먼저 봇 트래픽을 감지해야 합니다.
트래픽 유입이 봇 공격의 결과인지 확인하려면 다음 방법을 참조할 수 있습니다.
- access.log 파일을 사용하여 서버 로그에 액세스하여 액세스 통계를 추적할 수 있습니다. 이 텍스트 파일에는 서버의 트래픽에 대한 완전한 정보가 들어 있습니다. 여기에서 요청이 이루어진 IP 주소, 시간, 유형 및 내용을 볼 수 있습니다. % {User-Agent} 매개변수에 특히 주의를 기울여야 합니다. 이 매개변수는 요청에 대한 정보(응용 프로그램 및 해당 요청이 작성된 언어)를 포함하는 헤더입니다. 동일한 IP 및 User-Agent에서 정기적으로 여러 요청을 보내면 경고가 표시됩니다.
- JavaScript를 사용하면 사이트를 방문하는 사용자에 대한 중요한 정보(화면 해상도, 시간대, 클릭 가능한 버튼)를 수집하는 데 도움이 될 수 있습니다. 요청에 대한 정보를 일치시키기만 하면 어떤 사용자가 파서일 가능성이 가장 높은지 식별할 수 있습니다.
- 동일한 IP에서 동일한 요청, 지역, 시간대 및 화면 크기를 가진 에이전트의 원치 않는 요청은 아래에서 설명하는 방법 중 하나를 사용하여 안전하게 차단할 수 있습니다.
봇의 모든 요청이 동일한 IP 주소에서 올 수 있는 것은 아닙니다. 봇은 일반적으로 프록시 네트워크를 사용하여 분산 구문 분석을 수행하기 때문입니다. 그러나 서로 다른 서버에서 동일한 요청을 수신하더라도 이것이 차단 이유일 가능성이 큽니다.
디도스
악성 봇이라고 하면 DDoS 공격에 대한 보호와 같은 주제를 무시할 수 없습니다. 현재 이 문제는 일부 특정 활동 영역과 특히 관련이 있습니다. 여기에는 온라인 상점 사이트, 멀티플레이어 온라인 게임, 거래소, 투자 플랫폼 및 기타 상업적 리소스가 포함됩니다. 때때로 사이트에 대한 DDoS 공격은 리소스를 비활성화하려는 공격적인 경쟁자에 의해 유발될 수 있습니다. 그래도 사이트가 랜섬웨어 해커들에게 공격을 받는 경우도 있고, 악의가 없는 재미로 공격을 받는 경우도 있습니다. 어떤 경우이든 중요한 프로젝트는 이러한 공격으로부터 보호해야 합니다. 웹 사이트에서 봇 트래픽을 중지하는 방법을 알아야 합니다.
일반적으로 DDoS 공격은 7계층 OSI 모델로 설명됩니다. 네트워크의 첫 번째 수준은 물리적입니다. 두 번째는 채널입니다(스위치를 통해 채널 수준에서 네트워크 연결). 높을수록 더 추상적입니다. DDoS 공격은 저수준 및 고수준이 될 수 있습니다. 가장 낮은 수준의 공격은 네트워크의 3~5번째 수준에 있습니다. 즉, ping 또는 TCP 연결 요청(소위 SYN 요청)으로 채널을 "막힘"합니다. 그들은 다루기 쉽습니다. 그러나 공격 수준이 높을수록 방어가 더 복잡해집니다.
가장 높은 레벨인 7레벨의 공격이 더 위험합니다. 예를 들어 최대 제품 선택을 표시하도록 카탈로그 필터를 설정하는 것과 같이 사이트에서 가장 어려운 페이지로 이동하거나 복잡한 작업을 수행합니다. 수백 또는 수천 개의 봇이 공격을 수행하며 웹 서버, 백엔드 또는 데이터베이스 서버에서 서비스 거부가 발생할 수 있습니다.
이러한 공격에 대처하기 위해 웹 애플리케이션에 대한 네트워크 공격을 감지하고 차단하도록 설계된 특수 모니터 및 필터 시스템인 WAF(웹 애플리케이션 방화벽)를 사용합니다. 그러나 이것은 비교적 높은 수준의 공격이며 가장 심각한 경우에만 WAF를 활성화합니다. 일반적으로 모든 서버에서 기본적으로 활성화되는 필수 보호로 충분합니다.
사이트가 서버실의 하드웨어에서 호스팅되는 경우 공격에 직접 대처해야 할 가능성이 높습니다. 사이트를 보호하려면 추가 IP 주소 또는 전문 서비스를 연결해야 합니다. 경우에 따라 VDS 또는 전용 서버로 전환하는 것이 이러한 서비스가 이미 연결되어 있는 탁월한 옵션일 수 있습니다. 결국, 대규모 공격을 기다릴 수 있습니다! 그러나 가장 좋은 점은 DDoS로부터 사이트 보호를 위임할 수 있는 신뢰할 수 있는 호스팅 공급자가 있는 경우입니다.
결론
웹 리소스 소유자는 종종 데이터 구문 분석 및 악의적인 공격 문제에 직면하지만 보호 방법 개발은 멈추지 않습니다. 사이트 데이터의 복사 및 도난을 방지하기 위해 예를 들어 페이지에 보안 문자를 설치하거나 코드에 트랩을 입력하거나 후속 차단과 함께 User-Agent 데이터에 따라 봇을 추적하는 등 여러 가지 방법을 사용할 수 있습니다. 최소한의 코드 작업으로도 분석 및 보호 도구 설치에 주의를 기울이면 구문 분석, 스팸 및 사이트 로드 문제를 해결하는 데 도움이 됩니다.