Yapay Zekaların İçeriğinizi Taraması Nasıl Engellenir?

Google Bard ve Bing Chat gibi yapay zeka üreten araçlar, web dahil birçok içerik kaynağından oluşturulmuştur. Arama motorlarının, geleneksel web araması için tarama yaparken buldukları tüm içerik konusunda yapay zeka modellerini sessizce eğitmesi pek çok kişiyi şaşırttı.

Bing ve Google artık, web araması için dizine eklenmiş halde kalırken içeriğin yapay zeka eğitimi için kullanılmasını engellemeye yönelik yöntemleri duyurdu.

Peki yapay zekaları engellemeli misiniz ve bunu nasıl yapacaksınız?

• Yapay zekaları engellemeli misiniz?
• AI botlarını nasıl engellersiniz?
• Bing'in yapay zekası nasıl engellenir
• Google'ın yapay zekası nasıl engellenir
• ChatGPT nasıl engellenir
• Test yapmak

Yapay zekaları engellemeli misiniz?

Kendi ürünlerini üreten şirketler, içeriklerini yapay zeka modellerine dahil etmenin bir fayda olduğunu düşünebilir. Teknik özellikler veya ürün desteği gibi bilgiler satışlara ve müşteri destek maliyetlerinin azaltılmasına yardımcı olabilir.

Ancak diğer birçok çevrimiçi işletme için içerik onların ürünüdür. İçerik oluşturmaya harcanan enerjinin, trafik açısından herhangi bir değer sağlamadan, büyük teknoloji şirketlerinin sahip olduğu yapay zeka ürünlerini geliştirmek için kullanılacağına dair geçerli endişeler var.

Google ve Bing, kaynakları belirtmenin ve bir miktar yönlendirme trafiği sağlamanın yollarını bulmaya çalışıyor, ancak bunun geleneksel web aramasından daha az olması ve bilgilendirici arama sorgularından daha işlemsel olması muhtemeldir.

Bu yapay zekalardan gelen içeriğin engellenmesinin tarama davranışını etkilemeyeceğini unutmamak önemlidir. Google, 'robots.txt kullanıcı aracısı belirtecinin kontrol kapasitesinde kullanıldığını' söylüyor. Siteniz, arama dizinlerini oluşturmak için botlar tarafından normal şekilde taranacaktır.

Arama motorlarının belirli sayfaları taraması zaten engellenmişse, bunları özellikle yapay zekalar için engellemenize gerek yoktur.

AI botlarını nasıl engellersiniz?

Çoğu SEO'ya aşina olan yöntemleri, robots.txt dosyasını ve sayfa düzeyindeki robot direktiflerini kullanarak Google, Bing ve ChatGPT'yi engellemek şu anda mümkündür.

Google ve ChatGPT, URL modellerini belirtmenize olanak tanıyan robots.txt yöntemini seçmiştir ve Bing, tek tek sayfalara uygulanan robots yönergelerini kullanmayı seçmiştir.

Robots.txt, web sitesinin tamamı için tek bir yerden kolayca yapılandırılabilme avantajına sahiptir. Her bir sayfa getirilerek test edilmesi gereken sayfa düzeyindeki robot direktifleriyle karşılaştırıldığında hangi URL'lerin engellendiği çok açıktır.

Bing'in yapay zekası nasıl engellenir

Bing, bir sayfaya meta etiket olarak veya X-Robots-Tag yanıt üstbilgisinde eklenebilecek nocache veya noarchive robots yönergelerini arar.

Nocache, Microsoft'un yapay zeka modellerinin eğitiminde sayfaların yalnızca URL'ler, Başlıklar ve Parçacıklar kullanılarak Bing Chat yanıtlarına dahil edilmesine izin verecek.

Noarchive, sayfaların Bing Chat'e dahil edilmesine izin vermez ve Microsoft'un yapay zeka modellerinin eğitiminde hiçbir içerik kullanılmayacaktır.

Bir sayfada hem Nocache hem de Noarchive varsa, daha az kısıtlayıcı olan Nocache öncelikli olacaktır.

' Robots ' belirteci, yönergeyi tüm tarayıcılara uygulayacaktır. Buna, sayfanın arama sonuçlarında önbelleğe alınmış bir bağlantıyla görünmesini önleyen Google da dahildir.

<meta name=”robotlar” content=”noarşiv”>

Diğer arama motorlarını etkilememek için daha spesifik ' bingbot ' veya ' msnbot ' belirteçlerini kullanabilirsiniz.

<meta name=”bingbot” content=”nocache”>

Google'ın yapay zekası nasıl engellenir

Google, Bard'da kullanılmasını istemediğiniz sayfalarla ve bunların Vertex API eşdeğeriyle eşleşecek URL modellerini belirtmenize olanak tanıyan robots.txt yöntemini tercih etmiştir. Şu anda Arama Üretken Deneyimi (SGE) için geçerli değildir.

Google tarafından genişletilmiş bir kullanıcı aracısı belirteciyle eşleşecekler. Tokenın durumu önemli değil.

Kullanıcı aracısı: Google Genişletilmiş

İzin verme: /

Google tarafından genişletilmiş belirteç için özel olarak bir kural bloğu yoksa, joker simgeyle (*) eşleşecektir.

Kullanıcı aracısı: *

İzin verme: /

Googlebot için belirli bir kural bloğunuz ve ayrı bir joker karakter bloğunuz varsa dikkatli olun. Google tarafından genişletilmiş, Googlebot bloğuyla değil, joker karakter bloğuyla eşleşir.

Kullanıcı aracısı: Googlebot

İzin vermek: /

Kullanıcı aracısı: *

İzin verme: /

Daha kesin olmak için kural bloklarından önce birden fazla kullanıcı aracısını listeleyebilirsiniz.

Kullanıcı aracısı: Google Genişletilmiş

Kullanıcı aracısı: Googlebot

İzin vermek: /

Kullanıcı aracısı: *

İzin verme: /

ChatGPT nasıl engellenir

ChatGPT ayrıca robots.txt yöntemini de tercih etti.

Chat GPT'de iki farklı kullanıcı aracısı belirteci bulunur: ChatGPT kullanıcıları adına yapılan sorgular için ChatGPT-User ve OpenAI'nin modellerini oluşturmak için kullanılan web tarayıcısı olan GPTBot.

Devre dışı bırakma sistemi şu anda her iki kullanıcı aracısına da aynı şekilde davranmaktadır, dolayısıyla bir aracı için robots.txt'te izin verilmemesi her ikisini de kapsayacaktır. Bu durum gelecekte değişebilir; bu nedenle bunları ayrı ayrı engellemenizi öneririz.

Kullanıcı aracısı: GPTBot

Kullanıcı aracısı: ChatGPT-Kullanıcı

İzin verme: /

Test yapmak

Web sitenizin tamamını engelliyorsanız test yapmak kolaydır.

Google ve ChatGPT'nin engellenip engellenmediğini kontrol etmek için robots.txt dosyanızda engellemek istediğiniz botlar için her şeye izin verme kuralının olup olmadığını görmeniz gerekir.

Kullanıcı aracısı: Google Genişletilmiş

Kullanıcı aracısı: GPTbot

İzin verme: /

Yalnızca bazı URL'leri engellemek istiyorsanız, daha karmaşık bir robots.txt yönergeleri kümesi gerekebilir. Engellenmesini ve engellenmemesini beklediğiniz bir dizi URL'yi test etmeyi düşünebilirsiniz.

Tomo, belirli URL'lerin robots.txt dosyasında engellenip engellenmediğini test etmenize yardımcı olabilecek ücretsiz robots.txt aracımızdır. Testleri bir URL listesi biçiminde ve her bir URL için beklenen izin verilmeyen durumunu tanımlayabilirsiniz.

Her biri için hangi URL'lerin engellendiğini ve bunun beklenen test sonucuyla eşleşip eşleşmediğini göstermek için Google-Extulated, GPTBot ve ChatGPT-Kullanıcı kullanıcı aracısı belirteçleriyle yapılandırılabilir.

Robots.txt dosyanız her güncellendiğinde testler yeniden çalıştırılacak ve sonuçların beklenenle eşleşmemesi durumunda size bilgi verilecektir.

Bing'in engellenip engellenmediğini test etmek için tarayıcıdaki ana sayfa şablonlarınızı inceleyebilir ve robots etiketine sahip olduğunu doğrulayabilirsiniz.

X-Robots-Tag yanıt başlığını kullanıyorsanız, ağ istekleri listesindeki sayfayı seçip 'Başlıklar' sekmesini görüntüleyerek ağ sekmesinde görülebilir.

Belirli bir sayfa grubunu engelliyorsanız test yapmak daha karmaşık olacaktır, ancak yardımcı olabilecek bazı araçlar vardır.

Lumar tarayıcısı artık Google ve Bing'in yapay zekalarının engellendiği tüm sayfaları da otomatik olarak raporlayacak.

Ek teknik desteğe mi ihtiyacınız var? Semetrical'in teknoloji teklifleri hakkında daha fazla bilgi edinin veya daha fazla bilgi için bizimle iletişime geçin !