Cloudflare, AI tarayıcı kontrolünü önemli ölçüde genişletiyor. Gelecekte, web sitesi operatörleri artık kendilerini genel olarak erişimi engellemekle sınırlandıramayacak, ancak bunu amaca göre farklılaştırabilecekler. Arama indeksleme, yapay zeka aracıları ve model eğitimi için ayrı kurallar yenidir. Cloudflare'e göre özellikler artık ücretsiz planda bile tüm müşterilerin kullanımına sunuluyor.
Duyurudan sonra devamını okuyun
15 Eylül 2026'da Cloudflare, yeni alan adları için de varsayılan ayarları değiştirmek istiyor. Reklam içeren sayfalarda, AI eğitim tarayıcıları ve AI aracıları varsayılan olarak engellenmeli, arama motoru tarayıcılarına izin verilmeye devam edilmelidir. CDN ve güvenlik sağlayıcısı, arama motorlarının web sitelerine tıklama ve dolayısıyla ziyaretçi getirmeye devam ettiğini, buna karşın eğitim tarayıcılarının ve aracıların genellikle karşılık gelen değere sahip olmayan içeriği kullandığını söyleyerek bunu haklı çıkarıyor.
Genel bir AI bloğu yerine üç kategori
Daha önce Cloudflare, bilinen AI tarayıcılarının eğitim modellerini engelleme seçeneği sunuyordu. Şirket şimdi bu özelliği, üç kategoriye daha kesin bir şekilde ayırma yöntemiyle değiştiriyor.
“Arama”, daha sonra arama hizmetlerinde veya yapay zeka arama motorlarında kullanılmak üzere içeriği dizine ekleyen tarayıcıları içerir. “Ajan”, ChatGPT veya Claude aracıları gibi bir kullanıcı adına web sitelerine gerçek zamanlı olarak erişen ve bilgi alan veya formları dolduran sistemleri ifade eder. Son olarak “eğitim”, yapay zeka modellerini eğitmek veya yeniden eğitmek için kalıcı olarak içerik toplayan tarayıcıları ifade eder.
Cloudflare, sağlayıcıların bu görevleri ayrı tarayıcılar kullanarak gerçekleştirmesini önerir. Arama indeksleme, yapay zeka aracıları ve model eğitimini aynı botla gerçekleştiren şirketlerin, gelecekte işlevleri farklı botlar arasında bölmesi gerekiyor. Bunun amacı, web sitesi operatörlerinin daha şeffaf kararlar almasına olanak sağlamaktır.
Genel tarayıcılar için yeni varsayılan kurallar
Cloudflare, yeni varsayılan ayarlarla çoklu görev tarayıcılarının yönetimini de geliştiriyor. Gelecekte, geçerli tüm kurallar aynı anda onlar için de geçerli olacaktır.
Duyurudan sonra devamını okuyun
Bu nedenle, bir tarayıcı arama dizine ekleme ile yapay zeka eğitimini birleştirirse en kısıtlayıcı ayar geçerli olur. Eğitim tarayıcılarını engelleyen operatörler aynı zamanda genel amaçlı tarayıcıları da otomatik olarak engeller. Cloudflare, diğerlerinin yanı sıra Googlebot, Applebot ve Bingbot'u bu değişiklikten etkilenebilecek bot örnekleri olarak gösteriyor. Web sitesi operatörleri, yeni varsayılanları süreleri dolmadan devre dışı bırakabilir ve önceki kuralları koruyabilir.
BotBase daha fazla şeffaflık yaratmayı amaçlıyor
Cloudflare, kurumsal müşteriler için BotBase adlı bir veritabanı da sunuyor. Bilinen ve doğrulanan tüm botları sınıflandırmalarıyla birlikte listeler: BotBase, üç AI kategorisine ek olarak botları diğerlerinin yanı sıra SEO tarayıcılarına, fiyat karşılaştırıcılarına ve veri toplayıcılara, izleme hizmetlerine, reklam incelemecilerine veya sosyal medya önizleme botlarına da atar. Yöneticiler, Cloudflare panosundaki bireysel botları özel olarak filtreleyebilir ve izleme kimliklerini doğrudan güvenlik kuralları için kullanabilir.
Gelecekte Cloudflare, botları içeriği nasıl tükettiklerine göre de farklılaştırmak istiyor. Üç kullanım düzeyi vardır: depolama gerektirmeyen saf gerçek zamanlı etkileşimler için “anında”, referanslar ve alıntılarla indeksleme için “referans” ve özetler veya içeriğin daha fazla kullanılması için “tam”.
Gelecekte bu tercih robots.txt dosyasındaki ek bir parametre aracılığıyla yayınlanabilir. Giriş yalnızca tarayıcılara bir uyarı niteliğindedir ve herhangi bir yasak getirmez. Cloudflare aynı zamanda bu bilgiyi BotBase'de de hesaba katmak istiyor. Belirtilen kullanım kurallarını göz ardı eden botlar, doğrulanmış bot durumlarını kaybedecektir.
Bu durumun tanımı da değişiyor. Doğrulanmış botlar gelecekte otomatik olarak onaylanmayacak. Bunun yerine ilgili kategori, bir botun erişim alıp almayacağına karar verir. Cloudflare, doğrulanmamış botları varsayılan olarak engellemeye devam ediyor.
Ek bir bileşen olarak Cloudflare, standartlaştırılmış HTTP başlığı aracılığıyla bir botun gerçek operatörü hakkında bilgi önerir Forwarded iletin. Amaç, birden fazla aracı platform üzerinden talepte bulunulsa bile, otomatik hizmet operatörlerinin kimliklerini ve eriştikleri içeriklerin amaçlanan yönetimini şeffaf hale getirmelerine olanak sağlamaktır.
Ayrıca okuyun
(fo)
Bir yanıt yazın