Bir Google mühendisi, AI ajanlarının ve otomatik botların yakında internete trafikle doldurulacağı konusunda uyardı.
Google'ın arama ilişkileri ekibinde çalışan Gary Illyes, yakın zamanda yapılan bir podcast sırasında “herkes ve büyükannem bir tarama başlatıyor” dedi.
Uyarı, Google'ın rekor podcast bölümünün son arayışından geliyor.
AI ajanları web sitelerini süzer
Arama ilişkileri ekibi üyesi Martin Splitt ile yaptığı görüşme sırasında Illyes, AI ajanlarının ve “AI Shenanigans” ın yeni web trafiğinin önemli kaynakları olacağı konusunda uyardı.
Illyes dedi ki:
“Web tıkanıyor… Web'in işleyemeyeceği bir şey değil… Web, otomatik olsa bile tüm bu trafiği halledebilecek şekilde tasarlanmıştır.”
Bu dalgalanma, işletmeler içerik oluşturma, rakip araştırması, pazar analizi ve veri toplama için AI araçları kullanırken gerçekleşir. Her araç, web sitelerinin çalışmasını gerektirir ve AI benimsemesinin hızlı büyümesiyle bu trafiğin artması beklenmektedir.
Google'ın Palet Sistemi Nasıl Çalışır?
Podcast, Google'ın tarama kurulumu hakkında ayrıntılı bir tartışma sunuyor. Google, her ürün için farklı tarayıcılar kullanmak yerine bir birleşik sistem geliştirdi.
Google Search, AdSense, Gmail ve diğer ürünler aynı tarama altyapısını kullanır. Her biri kendini farklı bir kullanıcı aracısı adıyla tanımlar, ancak hepsi robots.txt ve sunucu sağlığı için aynı protokollere uymaktadır.
Illyes açıkladı:
“İnternetten onunla getirebilirsiniz, ancak kendi kullanıcı aracısı dizinizi belirtmeniz gerekir.”
Bu birleşik yaklaşım, tüm Google tarayıcılarının aynı protokollere uymasını ve web siteleri zorluklarla karşılaştığında geri ölçeklenmesini sağlar.
Gerçek kaynak domuzu? Sürünmüyor
Illyes, potansiyel olarak tartışmalı bir iddiayla geleneksel SEO bilgeliğine meydan okudu: tarama önemli kaynaklar tüketmez.
Illyes şöyle dedi:
“Kaynakları yiyen sürünme değil, endeksleme ve potansiyel olarak hizmet veriyor ya da verilerle ne yaptığınız.”
Hatta bunu söylediği için “internette bağırdığı” için şaka yaptı.
Bu perspektif, sayfaların getirilmesinin verilerin işlenmesine ve saklanmasına kıyasla minimal kaynak kullandığını göstermektedir. Tarama bütçesinden endişe duyanlar için bu, optimizasyon önceliklerini değiştirebilir.
Binlerce trilyona: Web'in büyümesi
Google'lar tarihsel bağlam sağladı. 1994 yılında, World Wide Web solucan arama motoru sadece 110.000 sayfa endekslerken, WebCrawler 2 milyon endekslemeyi başardı. Bugün, bireysel web siteleri milyonlarca sayfayı aşabilir.
Bu hızlı büyüme teknolojik evrimi gerektirdi. Tarayıcılar, daha hızlı bağlantılar için temel HTTP 1.1 protokollerinden modern HTTP/2'ye ilerledi ve ufukta HTTP/3 desteği vardı.
Google'ın Verimlilik Savaşı
Google, geçen yıl site sahiplerindeki yükü kabul ederek sürünen ayak izini azaltmaya çalıştı. Ancak, yeni zorluklar ortaya çıkmaya devam ediyor.
Illyes ikilemi açıkladı:
“Yaptığınız her istekten yedi bayt kaydettiniz ve daha sonra bu yeni ürün sekiz geri ekleyecek.”
Her verimlilik kazancı, daha fazla veri gerektiren yeni AI ürünleri ile dengelenir. Bu, durma belirtisi göstermeyen bir döngüdür.
Web sitesi sahipleri hangi web sitesi yapmalı
Yaklaşan trafik artışı çeşitli alanlarda eylemi gerektirir:
- Altyapı: Mevcut barındırma beklenen yükü desteklemeyebilir. Akıldan önce sunucu kapasitesini, CDN seçeneklerini ve yanıt sürelerini değerlendirin.
- Erişim Kontrolü: Hangi AI tarayıcılarının sitenize erişebileceğini kontrol etmek için robots.txt kurallarını inceleyin. Meşru olanların düzgün çalışmasına izin verirken gereksiz botları engelleyin.
- Veritabanı performansı: Illyes özellikle “pahalı veritabanı çağrılarını” sorunlu olarak belirtti. Sorguları optimize edin ve sunucu suşunu hafifletmek için önbellekleme uygulayın.
- İzleme: Kapsamlı günlük analizi ve performans izleme yoluyla meşru tarayıcılar, AI ajanları ve kötü amaçlı botlar arasında ayrım yapın.
İleriye giden yol
Illyes, ortak taramaya bir kez taranan ve verileri kamuoyuna paylaşan ve yedek trafiği azaltan potansiyel bir model olarak işaret etti. Web uyum sağladıkça benzer işbirlikçi çözümler ortaya çıkabilir.
Illyes, web'in artan trafiği yönetme yeteneğine güvendiğinde, mesaj açıktır: AI ajanları büyük sayılara geliyor.
Altyapılarını güçlendiren web siteleri, fırtınayı havalandırmak için daha donanımlı olacak. Bekleyenler, dalganın tam gücü vurduğunda kendilerini bunalmış bulabilirler.
Aşağıdaki tüm podcast bölümünü dinleyin:
https://www.youtube.com/watch?v=giggonz1e
Öne Çıkan Resim: Kolageer/Shutterstock
Bir yanıt yazın