Google'dan Gary Illyes ve Martin Splitt, Googlebot hakkında bir podcast yayınladılar ve bunun yalnızca tek başına bir şey olmadığını, farklı ürün ve hizmetlerde yer alan ve çoğu kamuya açıklanmayan yüzlerce tarayıcı olduğunu açıkladılar.
Googlebot Nedir?
Gary, “Googlebot” adının, Google'ın yalnızca tek bir tarayıcıya sahip olduğu ilk günlerden kalma tarihi bir ad olduğunu açıklıyor. Artık durum böyle değil çünkü Google farklı ürünlerde çok sayıda tarayıcı çalıştırıyor, ancak artık tek bir şey olmamasına rağmen Googlebot adı takılıp kalıyor.
Ayrıca Googlebot'un tarama altyapısının kendisi veya tekil bir sistem olmadığını açıklıyor. Googlebot aslında daha büyük bir dahili tarama hizmeti olan altyapıyla etkileşim kuran bir istemcidir.
Martin Splitt sordu:
“Googlebot'u nasıl hayal edebilirim? Tarama altyapımız kabaca nasıl görünüyor?”
Gary cevap verdi:
“Demek istediğim, buna Googlebot demek yanlış bir isim. Ve o günlerde, belki de 2000'li yılların başında, işe yaradı çünkü o zamanlar muhtemelen tek bir tarayıcımız vardı çünkü tek bir ürünümüz vardı. Ancak kısa süre sonra başka bir ürün çıktıktan sonra sanırım bu AdWords'tü. Sonra daha fazla tarayıcımız olmaya başladı ve sonra daha fazla ürün ortaya çıktı ve sonra daha fazla tarayıcı ve daha sonra daha fazla tarayıcı.
Ancak Googlebot adı bir şekilde takılıp kaldı. Genel olarak tarama altyapımızdan bahsettiğimizde buna Googlebot adını verme eğilimindeydik, ancak bu son derece yanlıştı çünkü Googlebot, tarayıcı altyapımızla iletişim kuran şeylerden yalnızca biriydi.”
Tarama Altyapısının Bir Adı Var
Gary daha sonra tarama altyapısının Google'da dahili bir isme sahip olduğunu açıkladı ancak bu ismin ne olduğunu söylemeyi reddetti.
Şöyle devam etti:
“Googlebot bizim tarayıcı altyapımız değil. Tarayıcı altyapımızın harici bir adı yok. Dahili bir adı var. Ne olduğu önemli değil. Adına Jack diyelim. Ve öyle, nasıl ifade edeceğimi bilmiyorum. İsterseniz bir hizmet olarak yazılımdır. SaaS. Değil mi? O halde Jack'in API uç noktaları var, deyim yerindeyse. Ve sonra internetten bir getirme yapmak için bu API uç noktalarını arayabilirsiniz.
Ve sonra bu API çağrılarını yaptığınızda, baytların geri gelmesi için ne kadar süre beklemek istediğiniz veya göndermek istediğiniz kullanıcı aracınızın ne olduğu gibi bazı parametreleri de belirtmeniz gerekir. Uymak istediğiniz robots.txt ürün belirteci nedir ve tüm bu parametreler.
Ve bunların çoğu için, hepsi için değil ama çoğu için varsayılan bir parametre belirliyoruz. Yani genel olarak bunları atlayabilirsiniz, bu da bu çağrıları daha basit hale getirir sanırım, çünkü her şeyi belirtmeniz gerekmez. Ancak aksi halde, bu aslında yalnızca buluttaki veya rastgele bir veri merkezindeki bir şeye yapılan bir API çağrısıdır. Ve sonra bu, bir yazılım geliştiricisi veya ürün olarak sizin için bir getirme işlemi gerçekleştirecektir.
Yani bu ürün, çünkü bu noktada ona ürün diyebiliriz, içsel bile olsa, bu çok, çok, çok, çok uzun zamandır ortalıktaydı. …Ama özünde hep aynı şeyi yapıyor. Temelde siz söyleyin, interneti bozmadan internetten bir şey alın. Ve eğer sitedeki kısıtlamalar buna izin veriyorsa bunu yapacaktır. İşte bu. Sanki tek bir cümleyle ifade etmek isteseydim bu olurdu.”
Yüzlerce Tarayıcı SEO Uzmanının Bilmediği
Googlebot tarayıcılarının tümü belgelenmemiştir; SEO'ların bilmediği pek çok tarayıcı vardır. Gary, birçok dahili Google ekibinin tarama altyapısını farklı amaçlarla kullandığını söyledi. Potansiyel olarak düzinelerce veya yüzlerce dahili tarayıcının bulunduğunu ancak yalnızca büyük tarayıcıların kamuya açık olarak belgelendiğini söyledi.
Daha küçük veya düşük hacimli tarayıcılar, pratik sınırlamalar nedeniyle genellikle belgelenmez, ancak bir tarayıcı yeterince büyürse incelenip belgelenebilir.
Birden fazla müşterinin (tarama yapanların) olması konusunu ele alan Gary, şöyle devam etti:
“…bunların büyük bir kısmını belgelemeye çalışıyoruz, ancak Google büyük bir şirket, bu nedenle internetten bilgi almak isteyen çok sayıda ekip var. Yani çok sayıda tarayıcı var, çok sayıda adlandırılmış tarayıcı var; bu da, yüzlerce farklı tarayıcı veya özel tarayıcı veya getirme olmasa da düzinelerce belgelememiz gerektiği anlamına geliyor.”
Gary, yüzlerce tarayıcıyı belgelemenin mümkün olmadığını açıklıyor.
“Ve basit bir HTML sayfasında bu pek mümkün değil. Bu nedenle, bir şekilde bir çizgi çizmeye çalışıyoruz ve eğer tarayıcı gerçekten küçükse, yani internetten çok fazla şey getirmiyorsa, o zaman bunu belgelememeye çalışıyoruz çünkü tarayıcı sitesindeki geliştiriciler.google.com'daki mülk, tarayıcıları böler, aslında oldukça değerlidir diyoruz.
Bunu farklı bir şekilde ele almayı deneyebiliriz, ancak şimdilik temelde sadece büyük tarayıcılar ve özel tarayıcılar ve getirmeler belgeleniyor çünkü kelimenin tam anlamıyla yer yetersizliğinden dolayı.”
Tarayıcılar ve Getiriciler Arasındaki Fark
Gary, Googlebot kategorisine giren tarayıcıların ve getiricilerin bulunduğunu ancak aslında farklı şeyler olduğunu açıklıyor.
Farkın ne olduğunu şöyle açıklıyor:
“Yani bunu açıklamanın en basit yolu, Tarayıcıların toplu iş yapması ve ardından Getiricilerin bireysel URL temelinde çalışmasıdır; bu, bir Alıcıya bir URL verdiğinizde onun yalnızca bir URL getireceği anlamına gelir. Ona, getirilecek URL'lerin bir listesini veremezsiniz.
Ve tarayıcılar için bu, genellikle URL'lerden oluşan sürekli bir akıştır ve ekibiniz için sürekli olarak çalışır ve ekibiniz için internetten bilgi getirir.
Ve dahili olarak, getirmelerin bir şekilde kullanıcı tarafından kontrol edilmesi gereken bir politikamız da var. Temel olarak, diğer tarafta alıcının yanıtını bekleyen biri var.
Tarayıcılarla çalışırken, vaktiniz olduğunda bunu yapmak gibidir.”
Martin ve Gary, şirket içinde kullandıkları ancak belgelenmemiş birçok tarayıcı ve getirici bulunduğunu söylüyor. Gary, bir tarayıcı ve getiricinin her gün belirli bir tarama ve getirme eşiğini geçmesi durumunda bir uyarıyı tetikleyen bir araca sahip olduğunu ve bunun ardından taramalardan sorumlu ekiple birlikte ne yaptığını ve nedenini görmek ve ayrıca yanlışlıkla bir şey yapmadığını doğrulamak için takip edeceğini açıkladı. Çok sayıda URL'yi fark edilir bir şekilde getiren bir tarayıcıysa, web ekosisteminin bunu bilmesi için bunu belgeleyip belgelememeye karar verecektir.
Kayıt Dışı Arama Podcast'ini buradan dinleyin:
Shutterstock/TarikVision'dan Öne Çıkan Görsel
Bir yanıt yazın