Google yeni robots.txt açıklayıcısı yayınlar

Google, robots.txt'in nasıl yayıncıların ve SEOS'un arama motoru tarayıcılarını ve diğer botları (robots.txt ota olan) kontrol etmelerini nasıl sağladığını açıklayan yeni bir robots.txt tazeleme yayınladı. Belgeler, belirli sayfaları engelleme (alışveriş sepetleri gibi), belirli botları kısıtlama ve sürünme davranışını basit kurallarla yönetme örneklerini içerir.

Temellerden Gelişmiş'e

Yeni belgeler, Robots.txt'in ne olduğuna hızlı bir giriş sunuyor ve yayıncıların ve SEO'ların robots.txt ile neler yapabileceğinin ve onlara nasıl fayda sağladıklarının giderek daha ileri düzeyde kapsamına ilerliyor.

Belgenin ilk kısmının ana noktası, arama motorları ve diğer tarayıcılar tarafından yaygın olarak desteklenen 30 yıllık geçmişe sahip robots.txt'i istikrarlı bir web protokolü olarak tanıtmaktır.

Google Arama Konsolu, robots.txt eksikse 404 hata mesajı bildirir. Bunun gerçekleşmesi sorun değil, ancak GSC'de 30 gün bekleyebileceğinizi ve uyarının düşeceğini görmenizi engellerse. Bir alternatif, Google tarafından da kabul edilebilir olan boş bir robots.txt dosyası oluşturmaktır.

Google'ın yeni belgeleri şunları açıklıyor:

“Siteniz taranabilirse veya taramayı yönetmek için kurallar ekleyebiliyorsa, robotlarınızı boş bırakabilirsiniz (veya hiç bir tane alamazsınız).”

Oradan, belirli sayfaları veya bölümleri kısıtlamak için özel kurallar gibi temelleri kapsar.

Robots.txt'in gelişmiş kullanımları bu yetenekleri kapsar:

• Farklı kurallara sahip belirli tarayıcılar hedefleyebilir.
• PDF'ler veya arama sayfaları gibi URL modellerinin engellenmesini sağlar.
• Belirli botlar üzerinde granüler kontrol sağlar.
• Dahili belgeler için yorumları destekler.

Yeni belgeler, robots.txt dosyasını (basit kurallara sahip bir metin dosyası) düzenlemenin ne kadar basit olduğunu açıklayarak biter, bu yüzden ihtiyacınız olan tek şey basit bir metin düzenleyicisidir. Birçok içerik yönetim sistemi bunu düzenlemenin bir yolu vardır ve robots.txt dosyası doğru sözdizimini kullanıyorsa test için kullanılabilir araçlar vardır.

Yeni belgeleri buradan okuyun:

Robots Tazeleme: Robots.txt – Makinelerin web sitenizi nasıl keşfettiğini kontrol etmenin esnek bir yolu

Shutterstock/Bluestork tarafından Öne Çıkan Resim