URL salah di Bing IndexNow dari CloudFlare

Apakah Anda mengalami kesalahan situs di Google Search Console Anda? Error ini dapat mencakup halaman dengan pengalihan, halaman yang diblokir oleh robots.txt, soft 404, 404, dan halaman dengan tag kanonis yang tepat. Melihat kesalahan ini bisa membuat frustrasi, terutama jika Anda pikir Anda telah menetapkan arahan pada halaman yang terpengaruh. Tetapi mengapa kesalahan ini terjadi, dan apa yang dapat Anda lakukan untuk memperbaikinya?

Berdasarkan diskusi di sini di forum komunitas CloudFlare tentang masalah ini, berikut adalah sedikit garis besar dan ringkasan dan cara mengatasi URL halaman yang salah ini agar tidak masuk ke data IndexNow.

Pada artikel ini, kami akan mengeksplorasi kemungkinan penyebab kesalahan ini dan memberikan solusi untuk mengatasinya. Beberapa kemungkinan penyebab mungkin termasuk penggunaan fitur "indeks sekarang" Cloudflare atau perubahan pada halaman hasil mesin pencari (SERP) Google. Kami juga akan membahas manfaat menggunakan fitur atau plugin "indeks sekarang" milik Anda sendiri, serta potensi kelemahan memblokir mesin telusur tertentu. Dengan mengikuti tip berikut, Anda dapat membantu memastikan bahwa situs Anda bebas dari kesalahan dan dioptimalkan sepenuhnya untuk mesin telusur.

• Fitur “Indeks Sekarang” dari Cloudflare
• Menggunakan Fitur “Indeks Sekarang” Anda Sendiri atau Plugin
• Memblokir Mesin Pencari Tertentu
• Tetap Terkini tentang Perubahan pada SERP Google

Apa itu "IndeksSekarang"?

IndexNow adalah alat yang membantu pemilik situs web dengan cepat memberi tahu mesin telusur tentang pembaruan konten mereka. Dengan menggunakan IndexNow, pemilik situs web dapat mengirim sinyal ke mesin telusur bahwa URL dan konten terkaitnya telah ditambahkan, diubah, atau dihapus. Hal ini memungkinkan mesin telusur menampilkan perubahan ini dalam hasil penelusuran mereka dengan lebih cepat, daripada menunggu jadwal perayapan reguler untuk menemukan pembaruan. Tanpa IndexNow, diperlukan waktu beberapa hari hingga minggu bagi mesin telusur untuk mendeteksi perubahan pada konten situs web. IndexNow membantu memprioritaskan perayapan URL yang diubah, mengurangi kebutuhan mesin telusur untuk merayapi semua URL guna menemukan konten baru.

Fitur “Indeks Sekarang” dari Cloudflare

Fitur “Indeks Sekarang” dari Cloudflare adalah alat yang memungkinkan pengguna mengirimkan URL untuk diindeks oleh mesin pencari, khususnya Bing dan Yandex. Meskipun fitur ini berguna untuk membuat halaman baru diindeks dengan cepat, fitur ini juga dapat menyebabkan masalah jika tidak digunakan dengan benar.

Satu masalah dengan fitur "indeks sekarang" adalah ia mengirimkan semua URL yang dimasukkan ke Bing dan Yandex, meskipun salah ketik atau di belakang aturan firewall. Hal ini dapat menyebabkan kesalahan pelaporan Google pada halaman yang diminta untuk dirayapi oleh mesin telusur lain. Misalnya, jika halaman diblokir oleh robots.txt, Google tidak akan merayapinya, tetapi jika diminta untuk dirayapi oleh Bing atau Yandex melalui fitur "indeks sekarang", Google masih dapat melaporkannya sebagai kesalahan.

Untuk menghindari masalah ini, Anda dapat menggunakan fitur “indeks sekarang” dari situs Anda sendiri daripada mengandalkan Cloudflare. Ada juga plugin untuk CMS seperti WordPress, yang dapat mendukung fitur “indeks sekarang” dan membantu memastikan bahwa hanya URL yang valid yang dikirimkan untuk pengindeksan. Ini dapat menghemat waktu dan tenaga Anda dalam memperbaiki kesalahan di Google Search Console Anda.

Perlu juga dicatat bahwa meskipun fitur "indeks sekarang" dapat berguna untuk mengindeks halaman baru dengan cepat, ini mungkin bukan solusi yang paling efektif untuk semua situs web. Beberapa ahli merekomendasikan penggunaan metode yang lebih tradisional, seperti mengirimkan peta situs atau menggunakan tautan internal, untuk membuat halaman diindeks. Seperti alat apa pun, penting untuk mempertimbangkan pro dan kontra dengan hati-hati sebelum menggunakannya di situs Anda.

Mengunduh daftar URL yang dikirimkan oleh CloudFlare IndexNow

Dimungkinkan untuk mengunduh daftar URL yang telah dikirimkan ke Bing melalui fitur IndexNow CloudFlare menggunakan Bing Webmaster Tools. Ini dapat bermanfaat bagi pemilik situs web yang ingin meninjau URL yang dikirimkan untuk pengindeksan dan memastikan bahwa hanya halaman valid yang dirayapi oleh Bing.

Untuk mengunduh daftar URL yang dikirimkan oleh CloudFlare IndexNow dari Bing Webmaster Tools, Anda harus memiliki akun Bing Webmaster terverifikasi dan masuk. Setelah masuk, ikuti langkah-langkah berikut:

1. Arahkan ke bagian "Laporan & Data" di menu utama.
2. Klik opsi "Pengiriman URL".
3. Di bawah tab "Pengiriman URL", pilih opsi "Indeks Sekarang".
4. Gunakan filter pada halaman untuk memilih rentang tanggal untuk URL yang ingin Anda unduh.
5. Klik tombol "Ekspor" di sudut kanan atas halaman.
6. Pilih format yang Anda inginkan untuk mengekspor data (misalnya, CSV, Excel, dll.).
7. Klik "Ekspor" untuk mengunduh file.

File yang diunduh akan berisi daftar semua URL yang telah dikirimkan ke Bing melalui CloudFlare IndexNow, serta informasi tentang tanggal dan waktu pengiriman.

Dengan menggunakan informasi ini, pemilik situs web dapat meninjau URL yang dikirimkan untuk pengindeksan dan mengambil tindakan yang diperlukan untuk memastikan bahwa hanya halaman valid yang dirayapi oleh Bing. Ini dapat membantu mencegah kesalahan dalam hasil mesin telusur dan meningkatkan pengoptimalan mesin telusur situs secara keseluruhan.

Menggunakan Fitur “IndexNow” Anda Sendiri atau Plugin

Menggunakan fitur “indeks sekarang” Anda sendiri atau plugin dapat menjadi cara yang efektif untuk menghindari kesalahan di Google Search Console Anda yang disebabkan oleh fitur “indeks sekarang” dari Cloudflare. Dengan mengirimkan URL langsung dari situs Anda sendiri atau menggunakan plugin, Anda dapat mengontrol URL mana yang dikirimkan untuk pengindeksan dan memastikan bahwa hanya halaman valid yang dirayapi oleh mesin telusur.

Salah satu opsi untuk mengimplementasikan fitur “indeks sekarang” Anda sendiri adalah dengan menggunakan plugin, seperti plugin SEO WordPress. Plugin ini sering menyertakan alat untuk mengirimkan peta situs dan URL individual ke mesin telusur, serta fitur lain untuk mengoptimalkan situs Anda untuk mesin telusur. Menggunakan plugin dapat menghemat waktu dan tenaga Anda dalam mengirimkan URL secara manual dan dapat memberikan manfaat tambahan, seperti membantu Anda mengidentifikasi dan memperbaiki masalah SEO lainnya di situs Anda.

Pilihan lainnya adalah menggunakan fitur “indeks sekarang” langsung dari situs Anda sendiri. Sebagian besar mesin pencari, termasuk Google, Bing, dan Yandex, memiliki alat untuk mengirimkan URL secara manual untuk pengindeksan. Alat ini dapat diakses melalui akun webmaster mesin telusur Anda dan biasanya memungkinkan Anda untuk mengirimkan URL satu per satu atau seluruh peta situs.

Meskipun menggunakan fitur "indeks sekarang" Anda sendiri atau sebuah plugin dapat efektif dalam mencegah kesalahan yang disebabkan oleh fitur "indeks sekarang" Cloudflare, tetap penting untuk mempertimbangkan pro dan kontra dari setiap pendekatan dengan hati-hati. Menggunakan plugin mungkin lebih nyaman, tetapi juga dapat menimbulkan ketergantungan tambahan dan memerlukan pemeliharaan berkelanjutan. Mengirimkan URL secara manual melalui alat webmaster mesin telusur dapat lebih memakan waktu, tetapi juga dapat memberi Anda lebih banyak kendali dan berpotensi memberikan solusi yang lebih stabil dalam jangka panjang.

Memblokir Mesin Pencari Tertentu

Memblokir mesin telusur tertentu, seperti Bing, Seznam, dan Yandex, di file robots.txt Anda dapat menjadi cara yang efektif untuk mencegah kesalahan di Google Search Console Anda yang disebabkan oleh fitur "indeks sekarang" dari Cloudflare, tetapi itu bukan solusi yang disarankan. Dengan memblokir mesin telusur ini, Anda dapat mencegahnya merayapi laman di situs Anda yang dapat menyebabkan galat di Google.

Untuk memblokir mesin telusur di file robots.txt, Anda perlu menambahkan satu baris kode yang menentukan mesin telusur mana yang ingin diblokir dan halaman atau direktori mana yang ingin diblokir. Misalnya, untuk memblokir Bing agar tidak merayapi seluruh situs Anda, tambahkan baris kode berikut ke file robots.txt Anda:

Agen-pengguna: Bing Larang: /

Anda juga dapat memblokir halaman atau direktori tertentu dengan menentukan jalurnya, seperti:

Agen-pengguna: Bing Larang: /private/

Perlu diperhatikan bahwa memblokir mesin telusur di file robots.txt tidak menjamin bahwa mesin telusur tidak akan merayapi situs Anda. Beberapa mesin telusur mungkin mengabaikan arahan dalam file robots.txt Anda, atau mereka mungkin merayapi situs Anda meskipun diblokir. Namun, menggunakan file robots.txt dapat menjadi cara yang berguna untuk memberi sinyal ke mesin telusur halaman atau direktori mana di situs Anda yang tidak ingin dirayapi.

Memblokir mesin telusur tertentu dapat menjadi cara yang efektif untuk mencegah kesalahan di Google Search Console Anda, tetapi penting untuk mempertimbangkan potensi kekurangannya dengan cermat. Dengan hanya mengandalkan satu mesin pencari, seperti Google, Anda mungkin lebih rentan terhadap perubahan algoritme atau kebijakan mereka. Umumnya disarankan untuk memiliki alternatif sebanyak mungkin untuk membantu mengurangi dampak potensial pada peringkat situs Anda.

Memeriksa 404 kesalahan dengan Screaming Frog

Menggunakan Screaming Frog SEO Spider adalah cara yang berguna untuk memeriksa situs web untuk 404 kesalahan. Error 404 terjadi saat pengguna mencoba mengakses halaman web yang tidak ada atau telah dihapus. Kesalahan ini dapat merugikan pengalaman pengguna situs web dan pengoptimalan mesin telusur, karena dapat menyebabkan pengguna meninggalkan situs dan dapat berdampak negatif pada peringkat situs dalam hasil penelusuran.

Menggunakan Screaming Frog kita dapat yakin bahwa website tersebut tidak penuh dengan 404 error.

Tetap Terkini tentang Perubahan pada SERP Google

Tetap up-to-date tentang perubahan pada halaman hasil mesin pencari Google (SERPs) adalah bagian penting dari mengoptimalkan situs Anda untuk mesin pencari dan mencegah kesalahan di Google Search Console Anda. Google sering membuat perubahan pada algoritme dan faktor peringkatnya, yang dapat berdampak signifikan pada visibilitas dan peringkat situs Anda di hasil penelusuran.

Untuk tetap mendapat informasi tentang perubahan pada SERP Google, Anda dapat mendaftar untuk mendapatkan peringatan dari Pusat Webmaster Google atau mengikuti blog dan sumber berita industri SEO. Sumber-sumber ini dapat memberikan pembaruan tentang fitur baru, perubahan pada algoritme peringkat, dan informasi penting lainnya yang dapat membantu Anda mengoptimalkan situs untuk mesin telusur.

Selain tetap mendapat informasi tentang perubahan pada SERP Google, penting juga untuk meninjau dan mengoptimalkan situs Anda secara teratur untuk mesin telusur. Ini dapat mencakup mengidentifikasi dan memperbaiki kesalahan di Google Search Console Anda, mengoptimalkan konten dan meta tag situs Anda, dan membangun backlink berkualitas tinggi. Dengan meninjau dan mengoptimalkan situs Anda secara teratur, Anda dapat membantu memastikan bahwa situs tersebut sepenuhnya dioptimalkan untuk mesin telusur dan bebas dari kesalahan.

Secara keseluruhan, selalu mengikuti perubahan pada SERP Google dan mengoptimalkan situs Anda secara teratur dapat membantu Anda menghindari kesalahan di Google Search Console dan meningkatkan visibilitas dan peringkat situs Anda di hasil pencarian. Dengan mengikuti tips ini, Anda dapat membantu memastikan bahwa situs Anda dioptimalkan sepenuhnya untuk mesin telusur dan menarik lebih banyak lalu lintas dan pelanggan.

Kesimpulan

Kesimpulannya, kesalahan situs di Google Search Console Anda bisa membuat frustasi, tetapi ada beberapa langkah yang dapat Anda ambil untuk memperbaikinya. Salah satu kemungkinan penyebab kesalahan ini adalah penggunaan fitur "indeks sekarang" Cloudflare, yang dapat mengirimkan URL ke Bing dan Yandex meskipun salah ketik atau di belakang aturan firewall. Untuk mencegah kesalahan ini, Anda dapat menggunakan fitur atau plugin “indeks sekarang” Anda sendiri, atau memblokir mesin telusur tertentu di file robots.txt Anda.

Menggunakan fitur "indeks sekarang" Anda sendiri atau plugin dapat memberikan kontrol lebih besar atas URL mana yang dikirimkan untuk pengindeksan, sementara memblokir mesin telusur tertentu dapat membantu mencegah kesalahan yang disebabkan oleh fitur "indeks sekarang" Cloudflare. Namun, penting untuk mempertimbangkan dengan hati-hati pro dan kontra dari setiap pendekatan, serta potensi kelemahan hanya mengandalkan satu mesin pencari.

Tetap mengikuti perubahan pada halaman hasil mesin pencari Google (SERP) dan mengoptimalkan situs Anda secara teratur juga dapat membantu mencegah kesalahan dan meningkatkan visibilitas dan peringkat situs Anda dalam hasil pencarian. Dengan mengikuti tip berikut, Anda dapat membantu memastikan bahwa situs Anda dioptimalkan sepenuhnya untuk mesin telusur dan bebas dari kesalahan.