Google, İçerik Dağıtım Ağlarının (CDN'ler) arama taramasını nasıl etkilediğini ve SEO'yu nasıl iyileştirdiğini ve aynı zamanda bazen nasıl sorunlara neden olabileceğini tartışan bir açıklayıcı yayınladı.
CDN Nedir?
İçerik Dağıtım Ağı (CDN), bir web sayfasını önbelleğe alan ve bu web sayfasını isteyen tarayıcıya en yakın veri merkezinden görüntüleyen bir hizmettir. Bir web sayfasını önbelleğe almak, CDN'nin bir web sayfasının kopyasını oluşturup saklaması anlamına gelir. Bu, web sayfası dağıtımını hızlandırır çünkü artık site ziyaretçisine daha yakın olan bir sunucudan sunulmaktadır ve kaynak sunucudan hedefe (site ziyaretçisinin tarayıcısı) kadar İnternet üzerinde daha az “atlama” gerektirmektedir.
CDN'ler Daha Fazla Taramanın Kilidini Açıyor
CDN kullanmanın yararlarından biri, Google'ın web sayfalarının bir CDN'den sunulduğunu tespit ettiğinde tarama hızını otomatik olarak artırmasıdır. Bu, Googlebot tarafından taranan sayfaların miktarını artırma konusunda endişe duyan SEO'lar ve yayıncılar için CDN kullanmayı cazip hale getiriyor.
Normalde Googlebot, sunucunun yavaşlamasına neden olan belirli bir eşiğe ulaştığını tespit ederse, sunucudan gelen tarama miktarını azaltır. Googlebot, kısma adı verilen tarama miktarını yavaşlatır. Bir CDN tespit edildiğinde “kısma” eşiği daha yüksek olur ve bu da daha fazla sayfanın taranmasına neden olur.
Sayfaların CDN'den sunulmasıyla ilgili anlaşılması gereken bir şey, sayfalar ilk kez sunulduğunda doğrudan sunucunuzdan sunulması gerektiğidir. Google, bir milyondan fazla web sayfasına sahip bir site örneğini kullanıyor:
“Ancak, bir URL'ye ilk erişimde CDN'nin önbelleği “soğuk”tur; bu, henüz hiç kimse bu URL'yi talep etmediği için içeriğinin henüz CDN tarafından önbelleğe alınmadığı anlamına gelir; bu nedenle, kaynak sunucunuzun yine de bu URL'yi sunması gerekecektir. CDN'nin önbelleğini “ısıtmak” için en az bir kez. Bu, HTTP önbelleğe almanın çalışma şekline de çok benzer.
Kısacası, web mağazanız bir CDN tarafından desteklense bile sunucunuzun bu 1.000.007 URL'yi en az bir kez sunması gerekecektir. Ancak bu ilk hizmetten sonra CDN'niz önbellekleri konusunda size yardımcı olabilir. Bu, “tarama bütçeniz” üzerinde önemli bir yüktür ve tarama hızı muhtemelen birkaç gün boyunca yüksek olacaktır; Aynı anda birçok URL'yi başlatmayı planlıyorsanız bunu aklınızda bulundurun.”
Tarama için CDN'leri Kullanırken Geri Tepme
Google, bir CDN'nin Googlebot'u kara listeye alabileceği ve ardından taramayı engelleyebileceği zamanların olabileceğini önerir. Bu etki iki tür blok olarak tanımlanır:
1. Sert bloklar
2. Yumuşak bloklar
Sabit engellemeler, bir CDN bir sunucu hatası olduğuna yanıt verdiğinde meydana gelir. Kötü bir sunucu hatası yanıtı, sunucuda büyük bir sorun olduğunun sinyalini veren 500 (dahili sunucu hatası) olabilir. Başka bir hatalı sunucu hatası yanıtı da 502'dir (hatalı ağ geçidi). Bu sunucu hatası yanıtlarının her ikisi de Googlebot'un tarama hızını yavaşlatmasını tetikleyecektir. Dizine eklenen URL'ler Google'da dahili olarak kaydedilir, ancak devam eden 500/502 yanıtları, Google'ın sonunda URL'leri arama dizininden çıkarmasına neden olabilir.
Tercih edilen yanıt, geçici bir hatayı belirten 503'tür (hizmet kullanılamıyor).
Dikkat edilmesi gereken bir diğer zor engel, Google'ın “rastgele hatalar” olarak adlandırdığı, bir sunucunun 200 yanıt kodu göndermesidir; bu, yanıtın iyi olduğu anlamına gelir (bu 200 yanıtla bir hata sayfası sunsa bile). Google bu hata sayfalarını kopya olarak yorumlayacak ve bunları arama dizininden çıkaracaktır. Bu büyük bir sorundur çünkü bu tür bir hatadan kurtulmak zaman alabilir.
CDN'de şu “Sen insan mısın?” sorularından biri görüntülenirse yumuşak bir engelleme meydana gelebilir. pop-up'ları (bot geçiş reklamları) Googlebot'a yönlendirin. Google'ın bunun geçici bir sorun olduğunu bilmesi için bot geçiş reklamlarının 503 sunucu yanıtı göndermesi gerekir.
Google'ın yeni dokümantasyonu şunları açıklıyor:
“…geçiş reklamı göründüğünde, gördükleri tek şey bu, harika siteniz değil. Bu bot doğrulama geçiş reklamları durumunda, tarayıcılar gibi otomatik istemcilere, içeriğin geçici olarak kullanılamadığına dair 503 HTTP durum kodu biçiminde net bir sinyal göndermenizi kesinlikle öneririz. Bu, içeriğin Google'ın dizininden otomatik olarak kaldırılmamasını sağlayacaktır.”
Ayrıca bakınız: SEO İçin Tarama Bütçesini Optimize Etmek İçin 9 İpucu
URL Denetleme Aracı ve WAF Kontrolleriyle İlgili Hata Ayıklama Sorunları
Google, CDN'nin web sayfalarınızı nasıl sunduğunu görmek için Search Console'daki URL Denetleme Aracını kullanmanızı önerir. Web Uygulaması Güvenlik Duvarı (WAF) olarak adlandırılan CDN güvenlik duvarı, Googlebot'u IP adresine göre engelliyorsa, engellenen IP adreslerini kontrol edebilmeniz ve bunlardan birinin listede olup olmadığını görmek için bunları Google'ın resmi IP listesiyle karşılaştırabilmeniz gerekir. .
Google, CDN düzeyinde aşağıdaki hata ayıklama önerilerini sunar:
“Sitenizin arama motorlarında görünmesine ihtiyacınız varsa, önemsediğiniz tarayıcıların sitenize erişip erişemediğini kontrol etmenizi önemle öneririz. IP'lerin sizin haberiniz olmadan otomatik olarak engellenenler listesine girebileceğini unutmayın; bu nedenle engellenenler listelerini ara sıra kontrol etmek sitenizin arama ve ötesindeki başarısı için iyi bir fikirdir. Engellenenler listesi çok uzunsa (bu blog gönderisinden farklı olarak), IP aralıklarının yalnızca ilk birkaç bölümünü aramaya çalışın; örneğin, 192.168.0.101'i aramak yerine sadece 192.168'i arayabilirsiniz.
Daha fazla bilgi için Google'ın belgelerini okuyun:
Tarama Aralık: CDN'ler ve tarama
Shutterstock/JHVEPhoto'dan Öne Çıkan Görsel
Bir yanıt yazın