Google, Tarama Bütçesi Sorununa Cevap Veriyor

Reddit'teki bir kişi “tarama bütçesi” sorunuyla ilgili bir soru yayınladı ve 410 hata yanıtlarına çok sayıda 301 yönlendirmesinin Googlebot'un tarama bütçesini tüketmesine neden olup olmadığını sordu. Google'dan John Mueller, Redditor'un neden yetersiz bir tarama düzeni yaşıyor olabileceğini açıklamak için bir neden sundu ve genel olarak tarama bütçeleriyle ilgili bir noktaya açıklık getirdi.

Tarama Bütçesi

Google'ın bir tarama bütçesine sahip olduğu yaygın olarak kabul edilen bir fikirdir ve SEO'ların bazı sitelerin neden yeterince taranmadığını açıklamak için icat ettiği bir fikirdir. Buradaki fikir, her siteye belirli sayıda taramanın tahsis edilmesidir; bu, bir sitenin ne kadar taramaya hak kazandığına dair bir sınırdır.

Tarama bütçesi fikrinin arka planını anlamak önemlidir çünkü gerçekte ne olduğunu anlamaya yardımcı olur. Google uzun süredir Google'da tarama bütçesi olarak adlandırılabilecek hiçbir şeyin bulunmadığı konusunda ısrar ediyor; ancak Google'ın bir siteyi tarama şekli, taramanın bir sınırı olduğu izlenimini verebilir.

Matt Cutts adlı üst düzey bir Google mühendisi (o dönemde), 2010 yılında yapılan bir röportajda tarama bütçesiyle ilgili bu gerçeğe değinmişti.

Matt, Google tarama bütçesiyle ilgili bir soruyu ilk olarak SEO'ların anladığı şekilde bir tarama bütçesi olmadığını açıklayarak yanıtladı:

“İlk olarak endeksleme sınırı diye bir şeyin gerçekte olmamasıdır. Pek çok kişi bir alan adının yalnızca belirli sayıda sayfanın dizine ekleneceğini düşünüyordu ve aslında bu şekilde çalışmıyor.

Taramamızda da kesin bir sınır yok.”

2017 yılında Google, SEO topluluğunun tarama bütçesi dediği şeye benzeyen, taramayla ilgili çok sayıda gerçeği bir araya getiren bir tarama bütçesi açıklayıcı yayınladı. Bu yeni açıklama, şimdiye kadarki muğlak her şeyi kapsayan “tarama bütçesi” ifadesinden daha kesindir (Google tarama bütçesi belgesi, burada Arama Motoru Dergisi tarafından özetlenmiştir).

Tarama bütçesiyle ilgili ana noktaların kısa listesi şunlardır:

• Tarama hızı, sunucunun istenen URL'leri sağlama yeteneğine bağlı olarak Google'ın tarayabileceği URL sayısıdır.
• Örneğin paylaşılan bir sunucu on binlerce web sitesini barındırabilir ve bu da milyonlarca olmasa da yüz binlerce URL ile sonuçlanır. Bu nedenle Google'ın, sayfa isteklerine uyma yeteneğine göre sunucuları taraması gerekir.
• Temel olarak diğer sayfaların kopyası olan sayfalar (örneğin, yönlü gezinme) ve diğer düşük değerli sayfalar, sunucu kaynaklarını boşa harcayarak, bir sunucunun Googlebot'a taraması için verebileceği sayfaların miktarını sınırlayabilir.
• Hafif sayfaların daha fazla taranması daha kolaydır.
• Soft 404 sayfaları, Google'ın önemli sayfalar yerine düşük değerli sayfalara odaklanmasına neden olabilir.
• Gelen ve dahili bağlantı modelleri, hangi sayfaların taranacağını etkilemeye yardımcı olabilir.

Tarama Hızı Hakkında Reddit Sorusu

Reddit'teki kişi, oluşturdukları düşük değerli sayfaların Google'ın tarama bütçesini etkileyip etkilemediğini öğrenmek istedi. Kısacası, artık mevcut olmayan bir sayfanın güvenli olmayan URL'sine yönelik istek, eksik web sayfasının 410 hata yanıtı veren güvenli sürümüne yönlendirir (bu, sayfanın kalıcı olarak kaybolduğu anlamına gelir).

Bu meşru bir soru.

Şunu sordular:

“Googlebot'un, 6 yıl geçmesine rağmen hala taranmakta olan, HTTPS olmayan bazı çok eski URL'leri taramayı unutmasını sağlamaya çalışıyorum. Ve HTTPS tarafına bu kadar eski URL'lere bir 410 yanıtı yerleştirdim.

Yani Googlebot bir 301 yönlendirmesi (HTTP'den HTTPS'ye) ve ardından bir 410 buluyor.

http://example.com/old-url.php?id=xxxx -301-> https://example.com/old-url.php?id=xxxx (410 yanıt)

İki soru. G**** bu 301+410'dan memnun mu?

'Tarama bütçesi' sorunları yaşıyorum ve bu iki yanıtın Googlebot'u yorup yormadığını bilmiyorum

410 etkili mi? Yani ilk 301 olmadan 410'u doğrudan mı iade etmeliyim?”

Google'dan John Mueller yanıtladı:

G*?

301'ler iyidir, 301/410 karışımı iyidir.

Tarama bütçesi gerçekten büyük siteler için bir sorundur ( https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget ). Burada sorunlar görüyorsanız ve siteniz aslında çok büyük değilse, o zaman muhtemelen Google daha fazlasını taramaya pek değer vermiyordur. Bu teknik bir sorun değil.”

Yeterince Taranmamanın Nedenleri

Mueller, “muhtemelen” Google'ın daha fazla web sayfasını taramanın değerini görmediğini söyledi. Bu, Google'ın bu sayfaların taranmaya değer olmadığına neden karar verebileceğini belirlemek için web sayfalarının muhtemelen bir incelemeden yararlanabileceği anlamına gelir.

Bazı popüler SEO taktikleri, orijinallikten yoksun, düşük değerli web sayfaları oluşturma eğilimindedir. Örneğin, popüler bir SEO uygulaması, en üst sıradaki web sayfalarını inceleyerek bu sayfalardaki hangi faktörlerin bu sayfaların sıralandığını açıkladığını anlamak ve ardından bu bilgiyi, arama sonuçlarında neyin işe yaradığını kopyalayarak kendi sayfalarını geliştirmek için kullanmaktır.

Bu kulağa mantıklı geliyor ama değerli bir şey yaratmıyor. Eğer bunu, sıfırın zaten arama sonuçlarında bulunan ve Bir'in orijinal ve farklı bir şeyi temsil ettiği ikili Bir ve Sıfır seçimi olarak düşünürseniz, zaten arama sonuçlarında olanı taklit etmeye yönelik popüler SEO taktiği, başka bir Sıfır yaratmaya mahkumdur. SERP'lerde zaten bulunanlardan daha fazlasını sunmayan web sitesi.

Açıkça görülüyor ki, sunucu sağlığı ve diğer faktörler gibi tarama hızını etkileyebilecek teknik sorunlar var.

Ancak tarama bütçesi olarak anlaşılan şey açısından, bu, Google'ın uzun süredir koruduğu bir şeyin, küçük ve orta büyüklükteki web siteleri için değil, büyük siteler için dikkate alındığı bir şeydir.

Reddit tartışmasını okuyun:

G**** aynı URL için 301+410 yanıttan memnun mu?

Shutterstock/ViDI Studio'dan Öne Çıkan Görsel