Google, web sitelerinin botlardan ve AI aracılarından gelen bazı otomatik istekleri kriptografik olarak doğrulamasına yardımcı olabilecek deneysel bir IETF protokolü olan Web Bot Auth'un testini açıklayan belgeler yayınladı.
Protokol, aracıların HTTP isteklerini kriptografik anahtarlarla imzalamasına izin vererek başka bir doğrulama katmanı ekler. Web siteleri daha sonra talebin iddia edilen kişiden geldiğini doğrulamak için bu imzaları yayınlanan genel anahtarlarla doğrulayabilir.
Ne var ne yok
Web Bot Kimlik Doğrulaması, otomatik istemcilerin giden istekleri imzalamasına izin vermek için HTTP İleti İmzalarını (RFC 9421) kullanır. Bir bot özel bir anahtara sahiptir, genel anahtarını bilinen bir URL'de yayınlar ve her isteği imzalar. Alıcı web sitesi, kimliği doğrulamak için imzayı genel anahtarla karşılaştırır.
Google, imzalı Google-Agent isteklerinin bir alt kümesinin şu şekilde doğrulandığını söylüyor: https://agent.bot.goog. İmzalı istekler şunları içerir: Signature-Agent HTTP üstbilgisi şu şekilde ayarlandı: g="https://agent.bot.goog"ve karşılık gelen imza, o alan adında yayınlanan genel anahtarlar kullanılarak doğrulanabilir. .well-known dizin.
Google'ın belgelerine göre bot algılama hizmetleri, CDN'ler ve WAF'ler zaten protokolü destekliyor. IETF taslağı, Cloudflare'den Thibault Meunier ve Google'dan Sandor Major tarafından yazılmıştır. Cloudflare, GitHub'da bir referans uygulaması yayınlıyor.
IETF Web Bot Yetkilendirme Çalışma Grubu, standart izleme spesifikasyonlarına yönelik kilometre taşları ve mevcut en iyi uygulama belgesi ile 2026'nın başlarında kuruldu.
Google'ın Henüz Yapmadığı Şeyler
Tüm Google kullanıcı aracıları katılmıyor. Belgelerde Google'ın “Google altyapısında barındırılan bazı AI aracıları” ile test yaptığı belirtiliyor ancak Google Aracısı kullanıcı tarafından tetiklenen alıcının ötesinde hangilerinin isimlendirilmediği belirtiliyor.
Katılımcı acenteler için bile her talep imzalanmaz. Belgeler, imzalı trafik kademeli olarak yayılırken sitelerin birincil doğrulama yöntemi olarak IP adreslerine, ters DNS'ye ve kullanıcı aracısı dizelerine güvenmeye devam etmesini öneriyor.
Çalışma grubu standardı geliştirdikçe İnternet Taslağı değişebilir.
Bu Neden Önemli?
Bot kimliğine bürünme kalıcı bir sorun olmuştur. Kazıyıcılar ve kötü aktörler, trafiklerini Googlebot veya diğer yasal tarayıcılar olarak gizlemek için kullanıcı aracısı dizelerini taklit edebilir, bu da site sahiplerinin gerçek bot trafiğini sahte olandan ayırmasını zorlaştırır.
Google'dan Martin Splitt, “Googlebot olduğunu iddia eden herkesin aslında Googlebot olmadığını” uyardığında bu konuyu ele almıştık. O dönemde mevcut doğrulama yöntemleri ters DNS aramaları ve IP aralığı kontrolleriydi. Web Bot Kimlik Doğrulaması, aracının özel anahtarı olmadan taklit edilemeyecek bir katman ekleyecektir.
Zaten protokolü destekleyen bir CDN veya WAF kullanan siteler için doğrulama otomatik olarak gerçekleşebilir. Diğer herkes için deneysel durum, harekete geçmenin acil olmadığı anlamına geliyor. Belgeler, mevcut doğrulamanın varsayılan, Web Bot Kimlik Doğrulamasının ise tamamlayıcı olarak değerlendirilmesini önerir.
İleriye Bakış
Web Bot Auth hala standartlar sürecinde ilerlemektedir ve Google'ın uygulaması deneysel olmayı sürdürmektedir.
Şimdilik pratik değişiklik görünürlüktür. Web siteleri, Google-Agent trafiğinin bir kısmından imzalı istekler görmeye başlayabilir ancak mevcut doğrulama yöntemleri varsayılan olarak kalır.
Bir sonraki soru, daha fazla AI aracısının imzalı istekleri benimseyip benimsemediği ve barındırma sağlayıcılarının, anahtarları yönetmek istemeyen web siteleri için doğrulamayı otomatik hale getirip getirmediğidir.
Bir yanıt yazın