Cloudflare, AI tarayıcılarını tanımlama ve engelleme yöntemini güncelliyor; bu, Googlebot'un AI eğitimini engelleyen sitelerde engellenmesine neden olabilir. Şirket, güncellemeyi ikinci İçerik Bağımsızlık Günü kapsamında duyurdu.
Yeni kontroller, web sitelerinin otomatik trafiği tek bir “AI botları engelle” anahtarı yerine üç davranışa göre yönetmesine olanak tanıyor. Ücretsiz katman da dahil olmak üzere artık tüm müşteriler için yayındalar. Ayrı bir varsayılan değişiklik seti 15 Eylül'den itibaren yürürlüğe girecek.
AI Tarayıcılarını Sıralamanın Üç Yolu
Cloudflare artık tarayıcıları “AI” olarak sayılıp sayılmayacağına göre değil, sitede ne yaptıklarına göre sıralıyor. Şirket, yapay zeka kullanım örneklerini üç kategoriye ayırıyor:
- Arama, soruları daha sonra yanıtlamak için bir siteyi dizine ekler ve Cloudflare bu davranışı yönlendirme trafiğine bağlar.
- ChatGPT Kullanıcısı gibi bir kişi adına hareket eden aracı, gerçek zamanlı botlar veya Chrome'u çalıştıran Gemini veya Claude gibi tarayıcı aracıları.
- Bir modeli eğitmek veya ince ayar yapmak için içeriği çeken eğitim, tarama.
Cloudflare, bot operatörlerinin her davranış için ayrı tarayıcılar çalıştırması gerektiğini, böylece web sitelerinin bir botun neden ziyaret ettiğini görebilmesini ve ona izin verip vermeyeceğine karar verebilmesi gerektiğini söylüyor.
15 Eylül'de Neler Değişiyor?
Varsayılan olarak iki değişiklik 15 Eylül'de yürürlüğe girecektir. Yeni müşteriler için ve mevcut müşteriler için yeni siteler için, Reklam görüntüleyen sayfalarda Eğitim ve Aracı tarayıcıları varsayılan olarak engellenecek, Arama'ya ise izin verilmeye devam edilecektir. Cloudflare'in basın bülteninde ayrıca, 15 Eylül'e kadar ayarlarını değiştirmeyen mevcut ücretsiz müşterilerin bu varsayılan ayarlara taşınacağı belirtiliyor.
İkinci değişiklik daha da ileri gidiyor. Cloudflare, çok amaçlı tarayıcıları genel davranışlarına göre ele almaya başlayacak ve geçerli en katı kuralı uygulayacaktır. Örneğin, hem Arama hem de Eğitim gerçekleştiren bir tarayıcı, bir sitenin Eğitimi engellemesi durumunda engellenecektir. Cloudflare, her biri hem arama hem de yapay zeka eğitimi için tarama yaptığından Googlebot, Applebot ve Bingbot'u örnek olarak kullanıyor. Bir site eski “Yapay Zeka botlarını engelle” ayarını zaten etkinleştirmişse bu yeni kural kapsamında olacaktır.
Bu tarayıcıları elinizde tutmak istiyorsanız, bu ayarları Cloudflare kontrol panelinizde 15 Eylül'den önce istediğiniz zaman inceleyebilir veya değiştirebilirsiniz. Cloudflare, bu tarihten önce müşterileri bilgilendirmeye devam edeceğini söylüyor.
Botların İçeriği Nasıl Kullandığına İlişkin Yeni Sinyaller
Cloudflare ayrıca robots.txt'deki İçerik Sinyallerini genişleten bir içerik kullanım sinyalini de test ediyor. En çok kısıtlayıcıdan en az kısıtlayıcıya doğru üç değer taşır: anında, hiçbir şeyi saklamayan; referans, indeksleyen ve geri bağlanan ve yeni varsayılan olan; ve dolu, özetleyen ve yeniden üreten. Cloudflare, bunların bir tercih olduğunu ve kendi başlarına engelleme yapmadığını söylüyor.
Şirket, botlar için “Doğrulanmış” tanımını revize etti. Artık doğrulanmış bir bota her yerde otomatik olarak izin verilmiyor; bunun yerine erişimi kategorisine bağlıdır. Ayrıca içeriğin tamamını kopyalayan botlar doğrulama için uygun değildir. Cloudflare, Kurumsal Bot Yönetimi kullanıcıları için, izlenen her botun sınıflandırmasını ve güvenlik kuralları için kopyalanabilir bir algılama kimliğini görüntüleyen, aranabilir bir dizin olan BotBase'i kullanıma sundu.
Değişikliklerin Arkasındaki Rapor
Güncelleme, ilk İçerik Bağımsızlık Günü'nün birinci yıl dönümünü kutlayan bir Cloudflare raporuyla geldi. Rapora göre, yapay zeka eğitimi artık ağındaki tarayıcı isteklerinin çoğunluğunu oluşturuyor; bu oran 2025 baharındaki kabaca %20'den fazla. Raporda ayrıca günlük yapay zeka aracısı isteklerinin yıl içinde %1.700'den fazla arttığı belirtiliyor. Bu istatistikler Cloudflare'in ağ trafiğine dayanmaktadır ve web'in tamamını temsil etmemektedir.
Bu Neden Önemli?
15 Eylül kuralı, AI eğitim bloklarını Cloudflare ağında tarama yapmaya bağlar. Bir site, içeriğini AI modellerinden korumak için Eğitim'i engellerse, bir Cloudflare bloğu ağ düzeyinde çalıştığından, Googlebot'u istemeden de engelleyebilir; robots.txt tarayıcılar için bir tavsiye niteliğinde talimat olduğundan, Google'ın Cloudflare bloğu ağ düzeyinde çalıştığı için Google'ın yok sayabileceği basit bir robots.txt satırından daha zor hale gelir. Googlebot'un erişimini kaybetmek, sitenin o kadar etkili bir şekilde taranamayacağı anlamına gelir ve bu da sonuçta sitenin arama sonuçlarındaki görünürlüğünü etkileyebilir.
Varsayılan reddetme ayarlarına geçen ve hem erişimi hem de eğitimi engelleyen yayıncıları takip ettim botlar bitti geçen yıl. Maruz kalma her seferinde aynıdır. Eğitim katmanının engellenmesi aynı zamanda sitenin bulunabilir olmasını sağlayan arama katmanını da engelleyebilir.
İleriye Bakış
Cloudflare kullanan web sitelerinin 15 Eylül'e kadar AI engelleme ayarlarını gözden geçirmesi ve Arama tarayıcılarını etkin tutup tutmayacağına karar vermesi gerekiyor. Birleşik tarayıcı kuralı esas olarak daha önce “Yapay Zeka botlarını engelle” seçeneğini etkinleştirmiş ve o zamandan beri ayarlarını değiştirmemiş olanları etkilemektedir. Ayarlarını değiştirmeyen ücretsiz kullanıcılar, o tarihte ayarlarını yeni varsayılan ayarlara güncelleyecektir.
Cloudflare, karma amaçlı tarayıcıların operatörlerinin önümüzdeki yıl bu botları davranışlarına göre ayırmasını istiyor. Büyük operatörlerin botlarını davranışlarına göre farklılaştırıp farklılaştırmayacağı, yapay zeka eğitimini engellemek ile arama görünürlüğünü sürdürmek arasında bir uzlaşma yerine bunun gerçek bir seçim olup olmayacağını belirleyecektir.
Öne Çıkan Resim: jackpress/Shutterstock
Bir yanıt yazın