Google'ın Geliştirici Avukatı Martin Splitt, web sitesi sahiplerini Googlebot'tan geliyor gibi görünen trafiğe karşı dikkatli olmaları konusunda uyarıyor. Googlebot gibi görünen isteklerin çoğu aslında üçüncü taraf kazıyıcılardan geliyor.
Bunu Google'ın SEO Kolaylaştırıldı serisinin son bölümünde paylaşarak “Googlebot olduğunu iddia eden herkesin aslında Googlebot olmadığını” vurguladı.
Bu neden önemli?
Sahte tarayıcılar analizleri bozabilir, kaynakları tüketebilir ve sitenizin performansını doğru şekilde değerlendirmeyi zorlaştırabilir.
Meşru Googlebot trafiği ile sahte tarayıcı etkinliğini nasıl ayırt edebileceğiniz aşağıda açıklanmıştır.
Googlebot Doğrulama Yöntemleri
Olağandışı istekler yerine genel trafik modellerine bakarak gerçek Googlebot trafiğini sahte tarayıcılardan ayırt edebilirsiniz.
Gerçek Googlebot trafiği tutarlı istek sıklığına, zamanlamasına ve davranışına sahip olma eğilimindedir.
Sahte Googlebot etkinliğinden şüpheleniyorsanız Splitt, bunu doğrulamak için aşağıdaki Google araçlarını kullanmanızı önerir:
URL Denetleme Aracı (Arama Konsolu)
- Oluşturulan HTML'de belirli içeriğin bulunması, Googlebot'un sayfaya başarıyla erişebildiğini doğrular.
- Mevcut erişim durumunu doğrulamak için canlı test yeteneği sağlar.
Zengin Sonuçlar Testi
- Googlebot erişimi için alternatif bir doğrulama yöntemi görevi görür
- Googlebot'un sayfayı nasıl oluşturduğunu gösterir
- Search Console erişimi olmadan bile kullanılabilir
Tarama İstatistikleri Raporu
- Özellikle doğrulanmış Googlebot isteklerinden alınan ayrıntılı sunucu yanıt verilerini gösterir
- Meşru Googlebot davranışındaki kalıpların belirlenmesine yardımcı olur
Dikkat edilmesi gereken önemli bir sınırlama vardır: Bu araçlar, gerçek Googlebot'un gördüklerini ve yaptıklarını doğrular, ancak sunucu günlüklerinizdeki taklitçileri doğrudan tanımlamazlar.
Sahte Googlebot'lara karşı tam koruma sağlamak için şunları yapmanız gerekir:
- Sunucu günlüklerini Google'ın resmi IP aralıklarıyla karşılaştırın
- Ters DNS arama doğrulamasını uygulayın
- Temel meşru Googlebot davranışını oluşturmak için yukarıdaki araçları kullanın
Sunucu Yanıtlarını İzleme
Splitt ayrıca, özellikle tarama isteklerine verilen sunucu yanıtlarının izlenmesinin önemini vurguladı:
- 500 serisi hatalar
- Hataları getir
- Zaman Aşımları
- DNS sorunları
Bu sorunlar, milyonlarca sayfa barındıran daha büyük web sitelerinde tarama verimliliğini ve arama görünürlüğünü önemli ölçüde etkileyebilir.
Splitt'in açıklaması şu şekilde:
“Sunucunuzun Googlebot'a verdiği yanıtlara, özellikle de 500'ün üzerindeki yanıtlara, getirme hatalarına, zaman aşımlarına, DNS sorunlarına ve diğer şeylere dikkat edin.”
Bazı hataların geçici olmasına rağmen kalıcı sorunların “daha fazla araştırmak isteyebileceğini” belirtti.
Splitt, daha karmaşık bir tanı koymak için sunucu günlük analizinin kullanılmasını önerdi ancak bunun “yapılacak temel bir şey olmadığını” kabul etti.
Ancak bunun değerini vurguladı ve “web sunucusu günlüklerinize bakmanın, sunucunuzda neler olup bittiğini daha iyi anlamanın güçlü bir yolu olduğunu” belirtti.
Potansiyel Etki
Güvenliğin ötesinde, sahte Googlebot trafiği web sitesi performansını ve SEO çalışmalarını etkileyebilir.
Splitt, aşağıdakiler de dahil olmak üzere çeşitli potansiyel engelleri öne sürerek, bir tarayıcıdaki web sitesine erişilebilirliğin Googlebot erişimini garanti etmediğini vurguladı:
- Robots.txt kısıtlamaları
- Güvenlik duvarı yapılandırmaları
- Bot koruma sistemleri
- Ağ yönlendirme sorunları
İleriye Bakış
Sahte Googlebot trafiği can sıkıcı olabilir ancak Splitt, nadir görülen durumlar konusunda çok fazla endişelenmemeniz gerektiğini söylüyor.
Sahte tarayıcı etkinliğinin bir sorun haline geldiğini veya çok fazla sunucu gücü kullandığını varsayalım. Bu durumda istek hızını sınırlamak, belirli IP adreslerini engellemek veya daha iyi bot tespit yöntemleri kullanmak gibi adımlar atabilirsiniz.
Bu sorunla ilgili daha fazla bilgi için aşağıdaki videonun tamamına bakın:
Öne Çıkan Resim: eamesBot/Shutterstock
Bir yanıt yazın