Google'dan John Mueller, REDDIT hakkında, belirli bir X-Robots-TAG veya diğer ilgili yönergeye veya bloklara sahip olmayan sayfalar için Google arama konsolunda rapor edilen X-Robots-TAG HTTP Başlığı'nda tespit edilen görünüşte yanlış bir 'NOINDEX' hatası hakkında bir soruyu yanıtladı. Mueller bazı olası nedenler önerdi ve birden fazla redditör makul açıklamalar ve çözümler sağladı.
Noindex tespit edildi
Reddit tartışmasını başlatan kişi, birçok kişiye aşina olabilecek bir senaryo tanımladı. Google Search Console, sayfanın dizine eklemesinden (taramadan engellenenden farklı) engellenmediği için bir sayfa dizine ekleyemediğini bildirir. Sayfayı kontrol etmek, bir noindex meta elemanının varlığını ortaya çıkarmaz ve robots.txt yoktur.
İşte durumları olarak açıklananlar:
- “GSC, URL'lerimin büyük bir kısmı için“ X-Robots-TAG HTTP başlığında tespit edilen NoindEx ”gösteriyor. Fakat:
- HTML Kaynağında Noindex bulamıyorum
- Robots.txt'de Noindex yok
- Test ederken yanıt başlıklarında noindex görünmez
- GSC'de Canlı Testi, dizinlenebilir olarak sayfa gösterir
- Site Cloudflare'nin arkasında (Sayfa Kurallarını/WAF vb. Kontrol ettik) ”
Ayrıca Googlebot'u taklit etmeyi denediklerini ve çeşitli IP adreslerini test ettiklerini ve başlıkları istediklerini ve X-Robots-etiketi kaynağı için hala hiçbir ipucu bulamadığını bildirdiler.
Cloudflare şüpheli
Redditorlardan biri bu tartışmada, sorunun Cloudflare'den kaynaklanıp kaynaklanmadığını sorun giderme önermek için yorum yaptı.
Cloudflare veya başka bir şeylerin sayfayı dizine eklemesini engellediğinde nasıl teşhis edileceğine dair kapsamlı bir adım adım talimatlar sundular:
“İlk olarak, Google'ın modası geçmiş bir yanıt görüp görmediğini kontrol etmek için GSC'deki Canlı Test ile taranmış sayfayı karşılaştırın. Ardından, Cloudflare'nin dönüşüm kurallarını, yanıt başlıklarını ve işçileri modifikasyonlar açısından inceleyin. Sunucu yanıtlarını kontrol etmek için GoogleBot kullanıcı ajanı ve önbellek bypass (Cache-Control: Cache no) ile Curl kullanın. WordPress kullanıyorsanız, dinamik başlıkları dışlamak için SEO eklentilerini devre dışı bırakın. Ayrıca, sunucudaki Googlebot isteklerini kaydedin ve X-Robots-Tag'ın görünüp görünmediğini kontrol edin. Her şey başarısız olursa, DNS'yi doğrudan sunucunuza işaret ederek bulutflare'yi atlayın ve tekrar test edin. ”
OP (Tartışmaya başlayan orjinal poster) tüm bu çözümleri test ettiklerini, ancak sitenin bir önbelleğini sadece canlı site (Cloudflare değil, gerçek sunucudan) test edemediklerini yanıtladı.
Gerçek bir Googlebot ile nasıl test edilir
İlginç bir şekilde, OP, sitelerini Googlebot kullanarak test edemediklerini belirtti, ancak aslında bunu yapmanın bir yolu var.
Google'ın zengin sonuçlar test cihazı, Google IP adresinden de kaynaklanan GoogleBot kullanıcı aracısını kullanır. Bu araç Google'ın gördüğünü doğrulamak için yararlıdır. Bir istismar sitenin gizlenmiş bir sayfa görüntülemesine neden oluyorsa, zengin sonuçlar test cihazı Google'ın tam olarak hangi dizine eklediğini ortaya çıkaracaktır.
Bir Google'ın zengin sonuçları destek sayfası:
“Bu araç sayfaya Googlebot olarak erişiyor (yani kimlik bilgilerinizi değil, Google olarak).”
401 hata yanıtı?
Aşağıdakiler muhtemelen çözüm değildi ama ilginç bir teknik SEO bilgisi.
Başka bir kullanıcı, 401 hata yanıtı ile yanıt veren bir sunucunun deneyimini paylaştı. 401 yanıt, “yetkisiz” anlamına gelir ve bir kaynak talebinin kimlik doğrulama kimlik bilgilerini eksik olduğu veya sağlanan kimlik bilgilerinin doğru olmadığı zaman gerçekleşir. Google arama konsolundaki dizin oluşturma bloklu mesajları yapmak için çözümleri, giriş sayfası url'lerinin tarlanmasını engellemek için robots.txt'e bir gösterim eklemekti.
GSC hatası için Google'ın John Mueller
John Mueller, konuyu teşhis etme yardımını sunmak için tartışmaya girdi. Bu sorunun CDNS (içerik dağıtım ağları) ile ilgili olarak ortaya çıktığını gördüğünü söyledi. Söylediği ilginç bir şey, bunun çok eski URL'lerle de olduğunu görmesiydi. Sonuncusu üzerinde ayrıntılı bir şekilde detaylandırmadı, ancak eski dizinli URL'lerle ilgili bir tür endeksleme hatası ima ediyor gibi görünüyor.
İşte söyledikleri:
“Bana bazı örnekler ping yapmak istiyorsan bir göz atmaktan mutluluk duyuyorum. CDN'lerle gördüm, gerçekten eski taramalarla gördüm (sorun uzun zaman önce oradayken ve bir sitenin sadece çok sayıda eski url'leri olduğunda), belki burada yeni bir şey var… ”
Temel çıkarımlar: Google arama konsolu dizin noindex algılandı
- Google Search Console (GSC), bu başlık mevcut olmasa bile “X-Robots-TAG HTTP başlığında algılanan NoindEx” bildirebilir.
- Cloudflare gibi CDN'ler endekslemeye müdahale edebilir. CloudFlare'nin Dönüşüm Kuralları, Yanıt Başlıkları veya Önbelleğe Googlebot'un sayfayı nasıl gördüğünü etkileyip etkilemediğini kontrol etmek için adımlar paylaşıldı.
- Google tarafındaki modası geçmiş dizinleme verileri de bir faktör olabilir.
- Google'ın zengin sonuçlar test cihazı, GoogleBot'un kullanıcı aracısını ve IP'sini kullandığı için GoogleBot'un ne gördüğünü doğrulayabilir ve bir kullanıcı aracısını sahte olarak göremeyebilecek tutarsızlıkları ortaya çıkarır.
- 401 Yetkisiz yanıtlar endekslemeyi önleyebilir. Bir kullanıcı, sorunlarının robots.txt aracılığıyla engellenmesi gereken giriş sayfaları içerdiğini paylaştı.
- John Mueller CDN'ler önerdi ve tarihsel olarak URL'leri olası nedenler olarak taradı.
Bir yanıt yazın