Apa Lalu Lintas Bot dan Bagaimana Digunakan untuk Menipu Pelaporan Lalu Lintas?

Diterbitkan: 2023-05-16

‍Lonjakan kunjungan situs dapat menyebabkan pelambatan situs, penurunan kinerja, kelebihan sumber daya, kunjungan rusak, statistik klik-tayang, dampak negatif pada SEO, dan peningkatan kerentanan terhadap serangan DDoS dan phishing.

‍Jika Anda ingin menganalisis lalu lintas ke situs Anda, lihat di konter untuk melihat lonjakan tampilan halaman tertentu, rasio pentalan tinggi, waktu halaman yang sangat lama atau singkat, konversi yang tidak valid atau hilang, dan rujukan massal di wilayah yang tidak Anda miliki mengiklankan.

‍Berapa proporsi lalu lintas internet yang dihasilkan oleh bot? Perkiraan bervariasi. Namun, kami dapat berasumsi bahwa rujukan bot menyumbang sekitar 42% dari semua lalu lintas web global, lebih dari setengahnya adalah milik bot "jahat".

Apa Itu Lalu Lintas Bot?

‍Robot selalu mengunjungi situs — ini hanyalah bagian dari Internet modern, dan bahkan mesin telusur mengindeks sumber daya dengan cara ini. Tetapi dengan bantuan bot (atau pemindai otomatis), Anda juga dapat mengurai data, yaitu mengekstrak informasi dari sumber daya web. Bot yang terlibat dalam hal ini adalah program atau skrip yang melakukan tindakan otomatis sederhana di situs:

Bongkar kode halaman.

Membaginya menjadi unsur-unsur penyusunnya.

Mengekstrak data.

Menyimpannya di database.

‍Tujuan pengumpulan semacam itu mungkin berbeda. Dalam kebanyakan kasus, situs web dikorek untuk mendapatkan data spesifik dari halaman pesaing, yang kemudian dapat digunakan pada sumber daya mereka dan melakukan serangan berbahaya. Tetap saja, penguraian bermanfaat untuk tujuan analitik atau penelitian, yang dengan sendirinya tidak menyiratkan sesuatu yang buruk.

Bot Baik, Buruk, dan Jelek

‍Sebelum kita masuk ke topik bagaimana mengidentifikasi lalu lintas bot, kita harus mempelajari klasifikasinya. Kami dapat membagi bot menjadi berguna (baik) dan berbahaya (buruk).

Bot yang berguna

‍Ini adalah robot yang kami butuhkan. Mereka melakukan aktivitas yang diperlukan di Internet. Mereka membantu melakukan pekerjaan yang berharga dan kompleks dalam waktu sesingkat mungkin. Selain itu, tidak seperti manusia, mereka mengotomatiskan proses rutin, karena mereka dapat memproses data dalam jumlah besar.

Cari Robot

Anda mungkin juga mengenal mereka sebagai "laba-laba web" atau "perayap penelusuran". Mereka adalah salah satu bot yang paling umum — dan paling berguna — di Internet. Semua hasil pencarian dan interaksi pengguna dengan pencarian adalah keunggulan robot pencarian. Saat halaman situs baru diterbitkan, bot akan memindainya dalam beberapa minggu. Alat SEO seperti SEMRush, Screaming Frog, SE Ranking, Moz, dll., juga memiliki robot untuk menganalisis hasil pencarian dan sumber daya untuk mengoptimalkannya secara lebih efektif.

Bot Kualifikasi Situs

Tidak seperti robot pencarian yang mengindeks situs di tingkat global, bot semacam itu adalah alat untuk menilai kinerja sumber daya tertentu. Jika bantuannya multi halaman atau besar, pemeriksaan seperti itu diperlukan. Mereka mengizinkan pemilik situs untuk memperbaikinya sesuai dengan kebutuhan pengguna. Misalnya, mereka dapat dengan cepat mengidentifikasi dan memperbaiki waktu muat halaman, masalah kinerja, tautan rusak, dan gambar yang kurang dioptimalkan.

Bot Memeriksa Pelanggaran Hak Cipta

Bot ini mengontrol penegakan hak cipta di hosting video terkemuka dan jejaring sosial seperti YouTube dan TikTok. Dengan bantuan perangkat lunak khusus, robot ini menganalisis data audio dan video dalam jumlah besar untuk keberadaan bentuk dan pola tertentu yang sesuai dengan materi hak cipta yang dilindungi dan ditempatkan di database hosting. Terlepas dari keefektifan robot ini yang tidak dapat disangkal, banyak ahli dan pengguna biasa setuju bahwa bot menghasilkan tingkat positif palsu yang sangat tinggi dan menghukum penulis secara tidak adil yang kontennya sedikit mirip dengan materi berhak cipta.

Bot berbahaya

‍Sayangnya, untuk setiap bot "baik" untuk meningkatkan Internet, akan ada bot jahat untuk melakukan sesuatu yang kurang berharga. Misalnya, untuk menipu lalu lintas iklan dengan bot. Mari kita lihat apa itu robot "jahat".

Bot Klik Iklan

Mereka mewakili tantangan yang signifikan untuk periklanan digital. Mereka mengklik iklan kontekstual dalam pencarian. Mereka menyia-nyiakan anggaran iklan dan mendatangkan malapetaka pada kampanye pemasaran. Semakin banyak, Anda dapat menemukan bot yang dapat meniru perilaku pengguna sebenarnya, sehingga menyembunyikan aktivitas jahat mereka. Misalnya, mereka dapat menelusuri halaman situs, mengikutinya secara acak, tetap berada di halaman selama lebih dari satu detik, dll.

Bot untuk Serangan DDoS

Denial-of-Service (DoS) adalah serangan denial-of-service, yang tujuannya adalah untuk memperlambat sumber daya atau menonaktifkannya untuk waktu tertentu. Lalu lintas bot streaming terarah membebani server, dan berhenti merespons permintaan dari pengguna nyata. Akibatnya, situs menjadi tidak tersedia. Distributed-Denial-of-Service (DDoS) adalah serangan denial-of-service terdistribusi dari beberapa perangkat dan jaringan. Fitur ini membuatnya jauh lebih sulit untuk memblokir serangan bot di situs web. Bot DDoS biasanya menyebar melalui botnet, jaringan perangkat pengguna yang terinfeksi malware. Pengguna mungkin secara tidak sengaja menginstal malware atau mengunjungi situs penipuan. Dengan demikian, perangkatnya menjadi bagian dari botnet dan secara otomatis melakukan serangan yang diarahkan oleh operator.

Bot Pembeli

Mereka dirancang untuk serangan kehabisan stok di toko online. Konsepnya sederhana: bot menambahkan item dengan permintaan tinggi tertentu ke keranjang dan menyimpannya di sana tanpa harus membayar. Dengan demikian, jumlah stok produk secara otomatis berkurang. Mereka melakukan ini sampai produk “habis”. Kemudian, pembeli asli melihat bahwa produk tersebut terjual habis dan meninggalkan situs tersebut. Produk dari katalog diikat ke keranjang tertentu hanya untuk waktu yang singkat (biasanya 10–15 menit). Tetapi ketika sebuah katalog mengalami serangan otomatis yang panjang, mudah bagi bot untuk membuat produk tidak tersedia bagi pembeli.

‍Ini hanyalah beberapa aktivitas jahat yang dihadapi layanan pemblokiran bot seperti Botfaqtor setiap hari.

Siapa yang Membutuhkan Lalu Lintas Bot Organik

Ada banyak opsi di mana pemasar dan SEO membutuhkan lalu lintas tambahan. Namun, hampir semuanya terletak pada bidang pemasaran afiliasi.

Situs Jual Beli

Menjual situs web adalah bisnis besar. Seperti kehidupan nyata, real estat digital komersial hadir dalam berbagai bentuk, ukuran, dan kondisi. Mereka yang bersedia menghabiskan waktu dan uang untuk "merapikan" sumber daya atau bisnis online untuk penjualan atau monetisasi lebih lanjut akan mendapatkan banyak uang.

‍Jika situs tersebut memiliki banyak pengunjung, Anda dapat menunjukkan kepada calon pembeli keuntungan apa yang bisa dia peroleh dengan menempatkan konten iklan di situs tersebut. Jadi, dari sudut pandang penjual, godaan untuk meningkatkan lalu lintas secara artifisial dengan bantuan bot sangatlah kuat.

Penjual Topi Hitam

‍Terlepas dari pernyataan kategorikal dari mesin telusur seperti Google bahwa “lalu lintas situs web bukanlah faktor peringkat”, banyak pakar secara keliru mengaitkan lalu lintas tinggi dengan posisi tinggi dalam hasil penelusuran.

‍Akibatnya, banyak "ahli" promosi (dan klien) masih bersedia membayar mahal untuk lalu lintas bot organik. Teknologi pengeboman mesin pencari digunakan, di mana situs yang tidak relevan ditampilkan dalam hasil pencarian berdasarkan permintaan, di mana tidak ada kemunculan kata kunci yang dicari. Mereka secara keliru percaya bahwa peringkat dan posisi mereka akan tumbuh dengan cara ini.

Pemasar dan Agensi yang Tidak Jujur

‍Sayangnya, praktik tidak adil menggembungkan pengunjung situs web dengan lalu lintas bot masih hidup dan sehat di tahun 2023. Siapa pun yang memahami sedikit tentang pemasaran digital tahu bahwa lalu lintas seperti itu adalah indikator yang dirancang untuk menghibur ego dan tidak lebih.

‍Jika tidak ada pengunjung yang mengklik iklan menyelesaikan tindakan yang ditargetkan, peningkatan pengunjung tidak akan menguntungkan bisnis. Namun, banyak pemilik bisnis tidak memiliki waktu untuk mempelajari semua seluk beluk pemasaran.

‍Bahkan ketika kebenaran tentang peningkatan lalu lintas menjadi jelas, pemasar atau biro iklan yang tidak jujur akan mencoba mengaitkan tingkat konversi yang rendah dengan faktor lain (produk atau layanan yang ditawarkan, halaman yang dioptimalkan dengan buruk, dll.). Ini juga memungkinkan mereka untuk mempromosikan pelanggan untuk layanan tambahan.

‍Seperti yang Anda lihat, lalu lintas bot organik tidak banyak berguna kecuali dikaitkan dengan beberapa layanan pemasaran dan SEO yang tidak jujur.

‍Biasanya, bot membuat tampilan banyak kunjungan. Namun, pada kenyataannya, mereka hanya digunakan untuk keuntungan finansial.

Traffic Bot Berbayar adalah Game Tanpa Pemenang

Menggunakan bot lalu lintas untuk meningkatkan klik iklan hanya akan menguntungkan dua kelompok orang: penerbit/webmaster yang memasang iklan atau pesaing pengiklan.

Meningkatkan pendapatan melalui lalu lintas bot tersembunyi mungkin tampak menggiurkan bagi penerbit yang sudah memonetisasi situs mereka melalui Google Adsense. Misalnya, ada banyak artikel di web tentang cara terbaik untuk membeli bot.

Namun, platform periklanan semakin memperketat aturan partisipasi dan waspada dalam meningkatkan lalu lintas. Karena itu, Anda sebaiknya tidak menggunakan opsi ini untuk menambah penghasilan.

Penipuan iklan oleh penerbit bukanlah tentang uang mudah dan impunitas. Alih-alih pembayaran besar, Anda bisa diblokir dan kehilangan penghasilan apa pun dari situs Anda.

Metode Deteksi

Perlindungan terhadap robot individu, atau bahkan perlindungan penuh terhadap botnet, didasarkan pada satu prinsip: pertama-tama Anda harus mendeteksi lalu lintas bot.

‍Untuk mengetahui apakah lalu lintas masuk adalah hasil dari serangan bot, Anda dapat merujuk ke metode berikut:

Anda dapat melacak statistik akses dengan mengakses log server menggunakan file access.log. File teks ini berisi informasi lengkap tentang lalu lintas di server. Di dalamnya, Anda dapat melihat alamat IP dari mana permintaan dibuat, waktu, jenis, dan kontennya. Anda harus memberi perhatian khusus pada parameter % {User-Agent} — header yang berisi informasi tentang permintaan- aplikasi, dan bahasa pembuatannya. Mengirim beberapa permintaan dari IP dan User-Agent yang sama secara berkala akan mengingatkan Anda.

Menggunakan JavaScript dapat membantu mengumpulkan informasi penting tentang pengguna yang mengunjungi situs (resolusi layar, zona waktu, tombol yang dapat diklik). Dimungkinkan untuk mengidentifikasi pengguna mana yang paling mungkin menjadi parser hanya dengan mencocokkan informasi tentang permintaan.

Permintaan yang tidak diinginkan dari agen dengan permintaan, wilayah, zona waktu, dan ukuran layar yang sama dari IP yang sama dapat diblokir dengan aman menggunakan salah satu metode yang akan kami jelaskan di bawah ini.

‍Perhatikan bahwa tidak semua permintaan dari bot dapat berasal dari alamat IP yang sama. Itu karena bot biasanya menggunakan jaringan proxy, sehingga melakukan penguraian terdistribusi. Namun, meskipun permintaan yang sama diterima dari server yang berbeda, kemungkinan besar ini adalah alasan pemblokiran.

DDoS

‍Berbicara tentang bot jahat, seseorang tidak dapat mengabaikan topik seperti perlindungan terhadap serangan DDoS. Saat ini, masalah ini sangat relevan untuk beberapa bidang kegiatan tertentu. Ini termasuk situs toko online, game online multipemain, pertukaran, platform investasi, dan sumber daya komersial lainnya. Terkadang serangan DDoS di situs dapat dipicu oleh pesaing agresif yang berusaha menonaktifkan sumber daya Anda. Namun, terkadang situs tersebut juga diserang oleh peretas ransomware, dan terkadang dapat diserang hanya untuk bersenang-senang tanpa tujuan jahat. Apa pun masalahnya, proyek serius apa pun akan membutuhkan perlindungan dari serangan ini. Anda harus tahu cara menghentikan lalu lintas bot di situs web.

‍Biasanya, serangan DDoS dijelaskan dalam model OSI tujuh lapis. Tingkat pertama jaringan adalah fisik. Yang kedua adalah saluran (menghubungkan jaringan pada tingkat saluran melalui sakelar); semakin tinggi, semakin abstrak. Serangan DDoS bisa tingkat rendah dan tinggi. Serangan tingkat terendah berada di tingkat ketiga-kelima jaringan: "menyumbat" saluran dengan permintaan koneksi ping atau TCP (yang disebut permintaan SYN). Mereka mudah ditangani. Namun semakin tinggi level serangannya, semakin kompleks pula pertahanannya.

‍Serangan tingkat tinggi yang tertinggi, level 7, lebih berbahaya. Mereka diarahkan ke halaman situs yang paling sulit atau melakukan tindakan rumit di atasnya, misalnya, menyiapkan filter katalog untuk menampilkan pilihan produk yang maksimal. Ratusan atau bahkan ribuan bot melakukan serangan, dan penolakan layanan dapat terjadi dari server web, backend, atau server basis data.

‍Untuk mengatasi serangan tersebut, kami menggunakan WAF (Web Application Firewall) — sistem monitor dan filter khusus yang dirancang untuk mendeteksi dan memblokir serangan jaringan pada aplikasi web. Namun, ini adalah tingkat serangan yang relatif tinggi, dan kami mengaktifkan WAF hanya dalam kasus yang paling parah — sebagai aturan, perlindungan esensial sudah cukup, diaktifkan secara default di semua server kami.

‍Jika situs Anda dihosting di perangkat keras di ruang server, kemungkinan besar Anda harus menghadapi serangan itu sendiri. Anda harus menghubungkan alamat IP tambahan atau layanan khusus untuk melindungi situs Anda. Dalam beberapa kasus, beralih ke VDS atau server khusus mungkin merupakan pilihan yang sangat baik yang sudah terhubung dengan layanan tersebut. Pada akhirnya, serangan besar-besaran bisa ditunggu! Tetapi yang terbaik adalah jika Anda memiliki penyedia hosting yang andal yang dapat Anda delegasikan perlindungan situs dari DDoS.

Kesimpulan

Pemilik sumber daya web mereka sering menghadapi masalah penguraian data dan serangan jahat, tetapi pengembangan metode perlindungan tidak berhenti. Untuk melindungi dari penyalinan dan pencurian data situs, Anda dapat menggunakan beberapa cara, misalnya memasang captcha di halaman, memasukkan jebakan ke dalam kode, atau melacak bot berdasarkan data Agen-Pengguna dengan pemblokiran selanjutnya. Perhatian yang cermat terhadap analitik dan pemasangan alat perlindungan, bahkan dengan pekerjaan minimal dengan kode, akan membantu menyelesaikan masalah penguraian, spam, dan pemuatan di situs.

Bangun Tautan Balik Saya