20 Mart 2026'da Google, resmi web getirici listesine sessizce yeni bir giriş ekledi. Bir tarayıcı değil. Eğitim botu değil. Bir ajan.
Google-Agent, Google altyapısı üzerinde çalışan ve kullanıcılar adına web sitelerine göz atan yapay zeka sistemleri için kullanıcı aracısı dizesidir. Birisi bir yapay zeka asistanından bir ürünü araştırmasını, bir form doldurmasını veya web siteleri arasındaki seçenekleri karşılaştırmasını istediğinde, aslında sayfayı ziyaret eden şey Google-Agent'tır. Google'ın deneysel yapay zeka tarama aracı Project Mariner, onu kullanan ilk üründür.
Bu Googlebot değil. Googlebot, web'i sürekli olarak tarar ve arama için sayfaları dizine ekler. Google-Agent yalnızca bir insan istediğinde ortaya çıkar. Bu ayrım, işleyişine ilişkin her şeyi değiştiriyor.
Robots.txt Uygulanmıyor
Google, Google-Agent'ı kullanıcı tarafından tetiklenen bir getirici olarak sınıflandırır. Kategori, Google Read Aloud (metinden konuşmaya), NotebookLM (belge analizi) ve Feedfetcher (RSS) gibi araçları içerir. Hepsinin ortak bir özelliği var: Talebi bir insan başlattı. Google'ın görüşü, getirme işleminin bir kişi tarafından istenmesi nedeniyle, kullanıcı tarafından tetiklenen getiricilerin “robots.txt kurallarını genellikle göz ardı ettiği” yönündedir.
Mantık: Chrome'a bir URL yazarsanız tarayıcı, robots.txt dosyasında ne söylenirse söylensin sayfayı getirir. Google-Agent aynı prensipte çalışır. Aracı, otonom bir tarayıcı değil, kullanıcının proxy'sidir.
Bu, OpenAI ve Anthropic'in benzer trafiği yönetme biçiminden anlamlı bir sapmadır. ChatGPT-User ve Claude-User'ın her ikisi de kullanıcı tarafından tetiklenen getiriciler olarak çalışır ancak robots.txt yönergelerine uyarlar. Robots.txt dosyasında ChatGPT Kullanıcısını engellerseniz ChatGPT, kullanıcı göz atmasını istediğinde sayfanızı getirmez. Google farklı bir çağrı yaptı.
Evrensel erişim kontrol mekanizması olarak robots.txt'ye güvenen web sitesi sahiplerinin artık bir boşluğu var. Google-Agent'tan erişimi kısıtlamanız gerekiyorsa sunucu tarafı kimlik doğrulamasına veya erişim kontrollerine ihtiyacınız olacaktır. Bir insan ziyaretçiyi engellemek için kullanacağınız araçların aynısı.
Kriptografik Kimlik: Web Botu Kimlik Doğrulaması
Daha önemli gelişme, Google'ın dokümantasyonunun tek bir satırında gizli: Google-Agent şunu deniyor: web-bot-auth kimliği kullanan protokol https://agent.bot.goog.
Web Bot Auth, botlar için dijital pasaport gibi çalışan bir IETF taslak standardıdır. Her aracı özel bir anahtara sahiptir, genel anahtarını bir dizinde yayınlar ve her HTTP isteğini kriptografik olarak imzalar. Web sitesi imzayı doğrular ve ziyaretçinin iddia ettiği kişi olduğunu kriptografik kesinlikle bilir.
Kullanıcı aracısı dizeleri herkes tarafından taklit edilebilir. Web Bot Kimlik Doğrulaması yapılamaz. Google'ın deneysel olarak da olsa bu protokolü benimsemesi, temsilci kimliğinin nereye doğru gittiğinin sinyalini veriyor. Akamai, Cloudflare ve Amazon (AgentCore Tarayıcı) bunu zaten destekliyor. Google kritik kütleyi getiriyor.
Bu önemli çünkü web'de bir kimlik sorunu yaşanmak üzere. Temsilci trafiği arttıkça web sitelerinin, gerçek kullanıcılar adına hareket eden meşru AI aracıları ile aracı gibi davranan kazıyıcılar arasında ayrım yapması gerekir. IP doğrulaması yardımcı olur, ancak kriptografik imzalar daha iyi ölçeklenir ve taklit edilmesi daha zordur.
Bu, Web Siteniz İçin Ne İfade Ediyor?
Google-Agent, web için üç katmanlı bir ziyaretçi modeli oluşturur:
- İnsan ziyaretçiler doğrudan tarama.
- Tarayıcılar Arama ve eğitim için içeriği indeksleme (Googlebot, GPTBot, Google-Extulated).
- Temsilciler Gerçek zamanlı olarak belirli insanlar adına hareket etmek (Google-Agent, ChatGPT-Kullanıcı, Claude-Kullanıcı).
Her katmanın farklı erişim kuralları, farklı amaçları ve farklı beklentileri vardır. Bir tarayıcı içeriğinizi dizine eklemek istiyor. Bir temsilci bir görevi tamamlamak istiyor. Bu bir ürün sayfasını okumak, fiyatları karşılaştırmak, iletişim formunu doldurmak veya randevu almak olabilir.
Şimdi yapmanız gerekenler:
Günlüklerinizi izleyin. Google-Agent kendisini aşağıdakileri içeren bir kullanıcı aracısı dizesiyle tanımlar: compatible; Google-Agent. Google, doğrulama için IP aralıklarını yayınlar. Temsilcilerin ne sıklıkta ziyaret ettiğini, hangi sayfalara tıkladıklarını ve ne yapmaya çalıştıklarını izlemeye başlayın.
CDN'nizi ve güvenlik duvarı kurallarınızı kontrol edin. Güvenlik araçlarınız tarayıcı dışı trafiği agresif bir şekilde engelliyorsa, Google-Agent sunucunuza ulaşmadan reddediliyor olabilir. Google'ın yayınlanan IP aralıklarına izin verildiğini doğrulayın.
Formlarınızı ve akışlarınızı test edin. Google-Agent form gönderebilir ve çok adımlı süreçlerde gezinebilir. Ödeme, rezervasyon veya iletişim formlarınız otomatik sistemlerin kafasını karıştıran JavaScript modellerine dayanıyorsa, temsilci ziyaretçileri sessizce başarısız olur. Semantik HTML ve net etiketler temel olmaya devam ediyor.
robots.txt dosyasının artık eksiksiz bir erişim kontrol aracı olmadığını kabul edin. Gerçekten kısıtlamanız gereken içerik için kimlik doğrulamayı kullanın. robots.txt tarayıcılar için tasarlandı. Ajan çağının farklı sınırlara ihtiyacı var.
Hibrit Web Gelmiyor. Günlüğe Kaydedildi
Bir yıl önce, yapay zeka ajanlarının insanlarla birlikte web sitelerine de göz atacağı fikri bir konferans konuşması tahminiydi. Bugün, bir kullanıcı aracısı dizisine, yayınlanmış IP aralıklarına, bir kriptografik kimlik protokolüne ve Google'ın resmi belgelerinde bir girişe sahiptir.
Web, insan ve makine olarak bölünmedi. Birleşti. Artık yayınladığınız her sayfa aynı anda her iki hedef kitleye de hizmet veriyor ve Google, insan olmayan hedef kitlenin tam olarak ne zaman ortaya çıktığını görmeyi mümkün kıldı.
Daha Fazla Kaynak:
Bu yazı ilk olarak No Hacks'te yayınlandı.
Öne Çıkan Resim: Zirve Sanat Eserleri/Shutterstock
Bir yanıt yazın