Google'dan John Mueller yakın zamanda Google Search Console'da bildirilen hayalet noindex hatalarıyla ilgili bir soruyu yanıtladı. Mueller bu raporların gerçek olabileceğini öne sürdü.
Google Arama Konsolunda Noindex
Noindex robots direktifi, Google'ın uyması gereken birkaç komuttan biridir ve bir site sahibinin, Google'ın indeksleyicisi olan Googlebot üzerinde kontrol sahibi olabilmesinin birkaç yolundan biridir.
Yine de, arama konsolunun, görünüşe göre üzerinde bir noindex yönergesi bulunmayan, en azından HTML kodunda görünür olmayan bir noindex yönergesi nedeniyle bir sayfayı dizine ekleyemediğini bildirmesi pek de alışılmadık bir durum değil.
Google Search Console (GSC) “Gönderilen URL'nin 'noindex' olarak işaretlendiğini” bildirdiğinde, görünüşte çelişkili bir durumu bildiriyor:
- Site, Google'dan sayfayı Site Haritasındaki bir giriş aracılığıyla dizine eklemesini istedi.
- Sayfa, Google'a onu dizine eklememesi için bir sinyal gönderdi (bir noindex yönergesi aracılığıyla).
Yayıncının veya SEO'nun kod düzeyinde gözlemleyebileceği bir şey olmadığında, bir sayfanın Google'ın onu dizine eklemesini engellediğine dair Search Console'dan gelen kafa karıştırıcı bir mesaj.
Soruyu soran kişi Bluesky'de şunları paylaştı:
“Son 4 aydır web sitesinde, Search Console'dan kaybolmayı reddeden bir noindex hatası (“robotlar” meta etiketinde) yaşanıyor. Web sitesinin hiçbir yerinde veya robots.txt dosyasında noindex yok. Bunu zaten inceledik… Bu hatanın nedeni ne olabilir?”
Noindex Yalnızca Google İçin Gösterir
Google'dan John Mueller soruyu yanıtladı ve bu tür şeylerin gerçekleştiği incelediği sayfalarda her zaman Google'a gösterilen bir noindex bulunduğunu paylaştı.
Mueller'in yanıtı şöyle oldu:
“Geçmişte gördüğüm vakalar aslında bir noindex'in olduğu durumlardı, sadece bazen yalnızca Google'a gösteriliyordu (ki bunda hata ayıklamak hala çok zor olabiliyor). Bununla birlikte, bana bazı örnek URL'leri DM'den göndermekten çekinmeyin.”
Mueller neler olabileceğine dair ayrıntılı bilgi vermese de, neler olup bittiğini öğrenmek için bu sorunu gidermenin yolları var.
Phantom Noindex Hataları Nasıl Giderilir
Bir yerde noindex'in yalnızca Google için gösterilmesine neden olan bir kod olması mümkündür. Örneğin, bir sayfada bir zamanlar bir noindex bulunabilir ve sunucu tarafı önbelleği (önbellek eklentisi gibi) veya bir CDN (Cloudflare gibi) o zamana ait HTTP başlıklarını önbelleğe almış olabilir; bu da site sahibine yeni bir sürüm sunarken eski noindex başlığının Googlebot'a gösterilmesine (çünkü siteyi sık sık ziyaret eder) neden olabilir.
HTTP Başlığını kontrol etmek kolaydır; KeyCDN'de buna veya SecurityHeaders.com'da buna benzer birçok HTTP başlık denetleyicisi vardır.
520 sunucu başlığı yanıt kodu, Cloudflare tarafından bir kullanıcı aracısını engellerken gönderilen koddur.
Ekran görüntüsü: 520 Cloudflare Yanıt Kodu
Aşağıda cloudflare tarafından oluşturulan 200 sunucu yanıt kodunun ekran görüntüsü bulunmaktadır:
Ekran Görüntüsü: 200 Sunucu Yanıt Kodu
Aynı URL'yi iki farklı başlık denetleyicisi kullanarak kontrol ettim; bir başlık denetleyicisi aa 520 (engellenmiş) sunucu yanıt kodu döndürüyor ve diğer başlık denetleyicisi 200 (OK) yanıt kodu gönderiyor. Bu, Cloudflare'in başlık denetleyicisi gibi bir şeye ne kadar farklı yanıt verebileceğini gösteriyor. İdeal olarak, Cloudflare'den tutarlı bir 520 yanıtı olup olmadığını görmek için birkaç başlık denetleyicisini kontrol etmeyi deneyin.
Bir web sayfasının yalnızca Google'a özel olarak koda bakan birinin göremediği bir şeyi göstermesi durumunda yapmanız gereken, gerçek bir Google tarayıcısını kullanarak ve bir Google IP adresinden Google'ın sizin için sayfaya bakmasını sağlamaktır. Bunu yapmanın yolu URL'yi Google'ın Zengin Sonuçlar Testine bırakmaktır. Google, bir Google IP adresinden bir tarayıcı gönderecektir ve sunucuda (veya bir CDN'de) noindex gösteren bir şey varsa, bu onu yakalayacaktır. Zengin Sonuçlar testi, yapılandırılmış verilere ek olarak, sunucunun Google'a tam olarak ne gösterdiğini gösteren HTTP yanıtını ve web sayfasının anlık görüntüsünü de sağlayacaktır.
Google Zengin Sonuçlar Testi aracılığıyla bir URL çalıştırdığınızda istek:
- Google Veri Merkezlerinden Kaynaklanır: Bot gerçek bir Google IP adresi kullanır.
- Ters DNS Kontrollerini Geçer: Sunucu, güvenlik eklentisi veya CDN IP'yi kontrol ederse googlebot.com veya google.com'a geri çözümlenir.
Sayfa noindex tarafından engellenirse araç herhangi bir yapılandırılmış veri sonucu sağlayamaz. “Sayfa uygun değil” veya “Tarama başarısız” şeklinde bir durum sağlamalıdır. Bunu görürseniz “Ayrıntıları Görüntüle” bağlantısını tıklayın veya hata bölümünü genişletin. “Robots meta etiketi: noindex” veya “robots” meta etiketinde “noindex” algılandı” gibi bir şey göstermelidir.
Bu yaklaşım GoogleBot kullanıcı aracısını göndermez, Google-InspectionTool/1.0 kullanıcı aracısı dizesini kullanır. Bu, sunucu bloğunun IP adresine göre olması durumunda bu yöntemin onu yakalayacağı anlamına gelir.
Kontrol edilmesi gereken başka bir nokta, sahte bir noindex etiketinin özellikle GoogleBot'u engellemek için yazıldığı durum içindir; yine de GoogleBot kullanıcı aracısı dizesini Google'ın Chrome için kendi Kullanıcı Aracısı Değiştirici uzantısıyla taklit edebilir (taklit edebilir) veya Screaming Frog gibi bir uygulamayı kendisini GoogleBot kullanıcı aracısıyla tanımlayacak şekilde yapılandırabilirsiniz ve bu onu yakalayacaktır.
Ekran görüntüsü: Chrome Kullanıcı Aracısı Değiştirici
Arama Konsolunda Hayalet Noindex Hataları
Bu tür hataları teşhis etmek acı verici olabilir, ancak ellerinizi havaya kaldırmadan önce, burada özetlenen adımlardan herhangi birinin bu sorundan sorumlu olan gizli nedeni belirlemeye yardımcı olup olmayacağını görmek için biraz zaman ayırın.
Shutterstock/AYO Production'dan Öne Çıkan Görsel
Bir yanıt yazın