Web'deki web sitesi operatörleri AI Web tarayıcılarından artan etkinlik bildiriyor. Bu artış, site performansı, analiz ve sunucu kaynakları ile ilgili endişeleri gündeme getirmektedir.
Bu botlar, arama sıralamalarıyla ilgili performans metriklerini etkileyebilecek büyük dil modelleri için veri toplamak için önemli bant genişliği tüketir.
İşte bilmeniz gerekenler.
AI tarayıcılar site performansını nasıl etkileyebilir?
SEO uzmanları düzenli olarak geleneksel arama motoru tarayıcılar için optimize eder, ancak Openai, Antropic ve Amazon gibi şirketlerden AI tarayıcılarının artan varlığı yeni teknik düşünceler sunar.
Birkaç site operatörü, performans sorunları ve doğrudan AI paletli etkinliğine atfedilebilen sunucu yüklerini bildirmiştir.
“SourceHut, agresif LLM tarayıcılarından dolayı aksaklıklarla karşılaşmaya devam ediyor,” dedi.
Yanıt olarak, SourceHut “GCP dahil olmak üzere birkaç bulut sağlayıcısını tek taraflı olarak engelledi [Google Cloud] Ve [Microsoft] Azure, ağlarından kaynaklanan yüksek miktarda bot trafiği için. ”
Bulut barındırma hizmeti Vercel'den alınan veriler bu trafiğin ölçeğini göstermektedir: Openai'nin GPTBOT'si bir ayda 569 milyon talep üretirken, Antropic'in Claude 370 milyonu oluşturdu.
Bu AI tarayıcıları, aynı dönemde Google'ın arama paletli hacminin yaklaşık yüzde 20'sini temsil ediyordu.
Analitik verileri üzerindeki potansiyel etki
Önemli bot trafiği analiz verilerini etkileyebilir.
Bir reklam metrik firması olan DoubleVify'e göre, “genel geçersiz trafik – yani GIVT, reklam görüşleri olarak sayılmaması gereken botlar – AI tarayıcıları nedeniyle 2024'ün ikinci yarısında yüzde 86 arttı.”
Firma, “2024 yılında bilinen bot izlenimlerinden GIVT'nin yüzde 16'sının GPTBOT, Claudebot ve Applebot gibi AI kazıcılarıyla ilişkili olanlar tarafından üretildiğini” belirtti.
Doküman Projesi, AI tarayıcılarının engellenmesinin trafiğini günde 800GB'dan 200GB'a yüzde 75 oranında azalttığını ve bant genişliği maliyetlerinde ayda yaklaşık 1.500 $ tasarruf sağladığını buldu.
AI palet desenlerini tanımlama
AI palet davranışını anlamak trafik analizine yardımcı olabilir.
AI tarayıcılarını geleneksel botlardan farklı kılan şey, onların sıklığı ve erişim derinlikleridir. Arama motoru tarayıcıları tipik olarak öngörülebilir desenleri takip ederken, AI tarayıcıları daha agresif davranışlar sergiler.
Diaspora Sosyal Ağı için altyapıyı sürdüren Dennis Schubert, AI tarayıcılarının “bir sayfayı bir kez sürünmediğini ve devam etmediğini gözlemledi. Oh, hayır, her 6 saatte bir geri geliyorlar çünkü lol neden olmasın.”
Bu tekrarlanan tarama, aynı sayfalara açık bir gerekçe olmadan tekrar tekrar erişildiğinden kaynak tüketimini çoğaltır.
Frekansın ötesinde, AI tarayıcıları tipik ziyaretçilerden daha fazla içerik keşfederek daha kapsamlıdır.
SourceHut'un kurucusu Drew DeVault, tarayıcıların içerik ağır siteler için özellikle kaynak yoğun olabilecek “her git günlüğünün her sayfasına ve deponuzdaki her taahhüdü” eriştiğini belirtti.
Yüksek trafik hacmi bu tarayıcıların tanımlanması ve yönetilmesi ile ilgili olsa da ek zorluklar sunmaktadır.
Palet teknolojisi geliştikçe, geleneksel engelleme yöntemleri giderek daha etkisizdir.
Yazılım geliştiricisi XE IOSO, “Yalan söyledikleri, kullanıcı aracısını değiştirdikleri, konut IP adreslerini vekil olarak ve daha fazlasını kullandıkları için AI paletli botları engellemek boşuna.”
Görünürlüğü kaynak yönetimi ile dengelemek
Web sitesi sahipleri ve SEO profesyonelleri pratik bir değerlendirme ile karşı karşıya: meşru arama motorları için görünürlüğü korurken kaynak yoğun tarayıcıların yönetilmesi.
AI tarayıcılarının sitenizi önemli ölçüde etkileyip etkilemediğini belirlemek için:
- Özellikle bulut sağlayıcı IP aralıklarından olağandışı trafik modelleri için sunucu günlüklerini inceleyin
- Kullanıcı etkinliğine karşılık gelmeyen bant genişliği kullanımında sivri uçlara bakın
- Arşivler veya API uç noktaları gibi kaynak yoğun sayfalara yüksek trafik olup olmadığını kontrol edin
- Çekirdek Web Vitals Metriklerinizde Olağandışı Desenleri İzleyin
Aşırı AI paletli trafiğinden etkilenenler için çeşitli seçenekler mevcuttur.
Google, Robots.txt dosyasında Google-Exteded adlı bir çözüm tanıttı. Bu, web sitelerinin içeriğinin Google'ın İkizler ve Verix AI hizmetlerini eğitmek için kullanmayı bırakmasını ve yine de bu sitelerin arama sonuçlarında görünmesine izin vermesini sağlar.
Cloudflare kısa bir süre önce “AI Labirent” i açıkladı: “Yetkisiz taramayı tespit ettiğimizde, isteği engellemek yerine, bir tarayıcıyı onları geçmeye ikna edecek kadar ikna eden bir dizi AI tarafından üretilen sayfaya bağlayacağız.”
İleriye Bakış
Yapay zeka arama ve keşifle bütünleştikçe, SEO profesyonelleri tarayıcıları dikkatle yönetmelidir.
İşte bazı pratik adımlar:
- Özel siteleriniz üzerindeki yapay zeka paletli etkisini değerlendirmek için sunucu günlükleri denetim
- AI eğitim erişimini sınırlarken arama görünürlüğünü korumak için Google-Extended Robots.txt'de uygulamayı düşünün
- Analytics filtrelerini daha doğru raporlama için bot trafiğini ayıracak şekilde ayarlayın
- Şiddetle etkilenen siteler için daha gelişmiş hafifletme seçeneklerini araştırın
Çoğu web sitesi standart robots.txt dosyaları ve izleme ile iyi olacaktır. Bununla birlikte, yüksek trafikli siteler daha gelişmiş çözümlerden yararlanabilir.
Öne Çıkan Resim: Lightspring/Shutterstock
Bir yanıt yazın