Bir kalite sinyali olarak Sıkıştırılabilirlik kavramı yaygın olarak bilinmemektedir, ancak SEO'ların bunun farkında olması gerekir. Arama motorları, yinelenen sayfaları, benzer içeriğe sahip geçiş sayfalarını ve tekrarlanan anahtar kelimelere sahip sayfaları tanımlamak için web sayfası sıkıştırılabilirliğini kullanabilir ve bu da SEO için yararlı bir bilgi haline gelir.
Aşağıdaki araştırma makalesi spam tespiti için sayfa içi özelliklerin başarılı bir şekilde kullanıldığını gösterse de, arama motorlarının kasıtlı olarak şeffaflık eksikliği, arama motorlarının bu veya benzer teknikleri uygulayıp uygulamadığını kesin olarak söylemeyi zorlaştırmaktadır.
Sıkıştırılabilirlik Nedir?
Bilgi işlemde sıkıştırılabilirlik, tipik olarak depolama alanını en üst düzeye çıkarmak veya İnternet üzerinden daha fazla verinin iletilmesine izin vermek için temel bilgileri korurken bir dosyanın (verinin) boyutunun ne kadar azaltılabileceğini ifade eder.
TL/DR Sıkıştırma
Sıkıştırma, tekrarlanan kelime ve cümleleri daha kısa referanslarla değiştirerek dosya boyutunu önemli ölçüde azaltır. Arama motorları genellikle diğer nedenlerin yanı sıra depolama alanını en üst düzeye çıkarmak, bant genişliğini azaltmak ve erişim hızını artırmak için dizine alınmış web sayfalarını sıkıştırır.
Bu, sıkıştırmanın nasıl çalıştığına dair basitleştirilmiş bir açıklamadır:
- Kalıpları Tanımlayın:
Bir sıkıştırma algoritması tekrarlanan kelimeleri, kalıpları ve cümleleri bulmak için metni tarar - Daha Kısa Kodlar Daha Az Yer Kaplar:
Kodlar ve semboller, orijinal kelimelere ve ifadelere göre daha az depolama alanı kullanır ve bu da dosya boyutunun daha küçük olmasına neden olur. - Daha Kısa Referanslar Daha Az Bit Kullanır:
Esas itibarıyla değiştirilen kelime ve deyimleri simgeleyen “kod”, orijinallerine göre daha az veri kullanıyor.
Sıkıştırma kullanmanın bir bonus etkisi de yinelenen sayfaları, benzer içeriğe sahip geçiş sayfalarını ve tekrarlanan anahtar kelimelere sahip sayfaları tanımlamak için kullanılabilmesidir.
Spam Tespiti Hakkında Araştırma Makalesi
Bu araştırma makalesi önemlidir çünkü yapay zeka, dağıtılmış hesaplama, bilgi erişimi ve diğer alanlarda çığır açan buluşlarla tanınan seçkin bilgisayar bilimcileri tarafından yazılmıştır.
Marc Najork
Araştırma makalesinin ortak yazarlarından biri, şu anda Google DeepMind'da Seçkin Araştırma Bilimcisi unvanını taşıyan tanınmış araştırma bilimcisi Marc Najork'tur. TW-BERT makalelerinin ortak yazarlarından biridir, tıklamalar gibi örtülü kullanıcı geri bildirimlerinin kullanımının doğruluğunu artırmaya yönelik araştırmalara katkıda bulunmuştur ve gelişmiş yapay zeka tabanlı bilgi alımı (DSI++: Transformer Memory'nin Yeni Belgelerle Güncellenmesi) oluşturma üzerinde çalışmıştır. bilgi erişiminde diğer birçok büyük atılım.
Dennis Fetterley
Ortak yazarlardan bir diğeri de şu anda Google'da yazılım mühendisi olan Dennis Fetterly'dir. Bağlantıları kullanan bir sıralama algoritmasının patentinde ortak mucitlerden biri olarak listelenmiştir ve dağıtılmış hesaplama ve bilgi erişimi konusundaki araştırmalarıyla tanınmaktadır.
Bunlar, sayfa içi içerik özellikleri aracılığıyla spam'in belirlenmesine ilişkin 2006 Microsoft araştırma makalesinin ortak yazarları olarak listelenen seçkin araştırmacılardan yalnızca ikisidir. Araştırma makalesinin analiz ettiği çeşitli sayfa içi içerik özellikleri arasında sıkıştırılabilirlik de yer alıyor; bunun, bir web sayfasının spam içerikli olduğunu belirtmek için bir sınıflandırıcı olarak kullanılabileceğini keşfettiler.
İçerik Analizi Yoluyla Spam Web Sayfalarının Tespiti
Araştırma makalesi 2006 yılında yazılmış olmasına rağmen bulguları bugün için geçerli olmaya devam ediyor.
O zaman, şimdi olduğu gibi, insanlar şehir, bölge veya eyalet adlarının yanı sıra esasen yinelenen içerik olan yüzlerce veya binlerce konum tabanlı web sayfasını sıralamaya çalıştı. O zaman, şimdi olduğu gibi, SEO'lar sıralamaları iyileştirmek için başlıklar, meta açıklamalar, başlıklar, dahili bağlantı metni ve içerik içindeki anahtar kelimeleri aşırı derecede tekrarlayarak arama motorları için web sayfaları oluşturdular.
Araştırma makalesinin 4.6. Bölümü şunları açıklıyor:
“Bazı arama motorları, sorgu anahtar kelimelerini içeren sayfalara birkaç kez daha yüksek ağırlık verir. Örneğin, belirli bir sorgu terimi için, onu on kez içeren bir sayfa, onu yalnızca bir kez içeren bir sayfadan daha üst sıralarda yer alabilir. Bu tür motorlardan yararlanmak için bazı spam sayfaları, daha üst sıralarda yer almak amacıyla içeriklerini birkaç kez kopyalar.”
Araştırma makalesi, arama motorlarının web sayfalarını sıkıştırdığını ve orijinal web sayfasına referans vermek için sıkıştırılmış sürümü kullandığını açıklıyor. Aşırı miktarda gereksiz kelimenin daha yüksek düzeyde sıkıştırılabilirliğe yol açtığını belirtiyorlar. Bu nedenle, yüksek düzeyde sıkıştırılabilirlik ile spam arasında bir ilişki olup olmadığını test etmeye başladılar.
Şöyle yazıyorlar:
“Bu bölümdeki bir sayfadaki gereksiz içeriği bulmaya yönelik yaklaşımımız sayfayı sıkıştırmaktır; Yerden ve disk zamanından tasarruf etmek için, arama motorları genellikle web sayfalarını dizine ekledikten sonra, ancak sayfa önbelleğine eklemeden önce sıkıştırır.
…Web sayfalarının fazlalığını, sıkıştırılmamış sayfanın boyutunun sıkıştırılmış sayfanın boyutuna bölünmesiyle elde edilen sıkıştırma oranıyla ölçüyoruz. Sayfaları sıkıştırmak için hızlı ve etkili bir sıkıştırma algoritması olan GZIP'i kullandık.”
Yüksek Sıkıştırılabilirlik Spam ile Bağlantılıdır
Araştırmanın sonuçları, sıkıştırma oranı en az 4.0 olan web sayfalarının düşük kaliteli web sayfaları, spam olma eğiliminde olduğunu gösterdi. Ancak, daha az veri noktası olduğundan, en yüksek sıkıştırılabilirlik oranları daha az tutarlı hale geldi ve bu da yorumlanmayı zorlaştırdı.
Şekil 9: Sayfanın sıkıştırılabilirliğine göre spam yaygınlığı.
Araştırmacılar şu sonuca vardı:
“Sıkıştırma oranı en az 4,0 olan örneklenen tüm sayfaların %70'inin spam olduğuna karar verildi.”
Ancak aynı zamanda, sıkıştırma oranının tek başına kullanılmasının, spam olmayan sayfaların yanlışlıkla spam olarak tanımlandığı hatalı pozitif sonuçlarla sonuçlandığını da keşfettiler:
“Bölüm 4.6'da açıklanan sıkıştırma oranı buluşsal yöntemi, koleksiyonumuzdaki spam sayfalarının 660'ını (%27,9) doğru tanımlarken, değerlendirilen tüm sayfalardan 2.068'ini (%12,0) yanlış tanımlayarak en iyi sonucu verdi.
Yukarıda belirtilen özelliklerin tümünü kullanarak, on kat çapraz doğrulama sürecinden sonra sınıflandırma doğruluğu cesaret vericidir:
Değerlendirilen sayfalarımızın %95,4'ü doğru sınıflandırılırken, %4,6'sı yanlış sınıflandırıldı.
Daha spesifik olarak, spam sınıfı 1 için 2.364 sayfadan 940'ı doğru şekilde sınıflandırıldı. Spam olmayanlar sınıfı için 14.804 sayfadan 14.440'ı doğru şekilde sınıflandırıldı. Sonuç olarak 788 sayfa hatalı sınıflandırıldı.”
Bir sonraki bölümde, spam'ı tanımlamak için sayfa içi sinyalleri kullanmanın doğruluğunun nasıl artırılacağına ilişkin ilginç bir keşif açıklanmaktadır.
Kalite Sıralamalarına İlişkin Bilgi
Araştırma makalesi, sıkıştırılabilirlik de dahil olmak üzere birden fazla sayfa içi sinyali inceledi. Her bir sinyalin (sınıflandırıcının) bir miktar spam bulabildiğini ancak herhangi bir sinyale tek başına güvenmenin, genellikle yanlış pozitif olarak adlandırılan, spam olmayan sayfaların spam için işaretlenmesiyle sonuçlandığını keşfettiler.
Araştırmacılar, SEO ile ilgilenen herkesin bilmesi gereken önemli bir keşifte bulundu; birden fazla sınıflandırıcı kullanmanın spam tespitinin doğruluğunu arttırdığı ve yanlış pozitif olasılığını azalttığı ortaya çıktı. Aynı derecede önemli olan, sıkıştırılabilirlik sinyalinin yalnızca bir tür spam'ı tanımlaması, tüm spam aralığını tanımlamamasıdır.
Çıkarılan sonuç, sıkıştırılabilirliğin bir tür spam'ı tanımlamanın iyi bir yolu olduğu, ancak bu tek sinyalle yakalanmayan başka spam türleri de olduğudur. Sıkıştırılabilirlik sinyaliyle diğer spam türleri yakalanmadı.
Bu, her SEO ve yayıncının bilmesi gereken kısımdır:
“Önceki bölümde, spam web sayfalarını analiz etmek için bir dizi buluşsal yöntem sunduk. Yani, web sayfalarının çeşitli özelliklerini ölçtük ve bu özelliklerin, bir sayfanın spam olmasıyla ilişkili olan aralıklarını bulduk. Bununla birlikte, tek tek kullanıldığında, hiçbir teknik, spam olmayan birçok sayfayı spam olarak işaretlemeden, veri kümemizdeki spam'ın çoğunu ortaya çıkaramaz.
Örneğin, Bölüm 4.6'da açıklanan ve en umut verici yöntemlerimizden biri olan sıkıştırma oranı buluşsal yöntemi dikkate alındığında, 4,2 ve üzeri oranlar için ortalama spam olasılığı %72'dir. Ancak tüm sayfaların yalnızca %1,5'i bu aralığa girmektedir. Bu sayı, veri kümemizde belirlediğimiz %13,8'lik spam sayfalarının çok altında.”
Dolayısıyla, sıkıştırılabilirlik, spam'i tanımlamak için en iyi sinyallerden biri olmasına rağmen, araştırmacıların sinyalleri test etmek için kullandıkları veri kümesindeki spam'in tamamını ortaya çıkaramadı.
Çoklu Sinyalleri Birleştirme
Yukarıdaki sonuçlar, düşük kaliteli bireysel sinyallerin daha az doğru olduğunu göstermiştir. Bu yüzden birden fazla sinyal kullanarak test yaptılar. Spam tespiti için birden fazla sayfa içi sinyali birleştirmenin, daha az sayıda sayfanın spam olarak yanlış sınıflandırılmasıyla daha iyi bir doğruluk oranıyla sonuçlandığını keşfettiler.
Araştırmacılar, birden fazla sinyalin kullanımını test ettiklerini açıkladı:
“Sezgisel yöntemlerimizi birleştirmenin bir yolu, spam tespit sorununu bir sınıflandırma sorunu olarak görmektir. Bu durumda, bir web sayfası verildiğinde, sayfanın özelliklerini spam ve spam olmayan olmak üzere iki sınıftan birinde sınıflandırmak (doğru olmasını umuyoruz) için sayfanın özelliklerini ortaklaşa kullanacak bir sınıflandırma modeli (veya sınıflandırıcı) oluşturmak istiyoruz. .”
Birden fazla sinyal kullanmayla ilgili sonuçları şunlardır:
“MSNSearch tarayıcısından alınan gerçek dünya veri kümesini kullanarak web'deki içerik tabanlı spam'in çeşitli yönlerini inceledik. İçerik tabanlı spam'ı tespit etmek için bir dizi buluşsal yöntem sunduk. Spam tespit yöntemlerimizden bazıları diğerlerinden daha etkilidir, ancak tek başına kullanıldığında yöntemlerimiz tüm spam sayfalarını tespit edemeyebilir. Bu nedenle, yüksek doğruluklu bir C4.5 sınıflandırıcısı oluşturmak için spam tespit yöntemlerimizi birleştirdik. Sınıflandırıcımız, tüm spam sayfaların %86,2'sini doğru bir şekilde tanımlayabiliyor ve çok az sayıda meşru sayfayı spam olarak işaretleyebiliyor.”
Temel Bilgi:
Yanlışlıkla “çok az sayıda meşru sayfayı spam olarak tanımlamak” önemli bir ilerlemeydi. SEO ile ilgilenen herkesin bundan alması gereken önemli fikir, tek bir sinyalin tek başına hatalı pozitif sonuçlara yol açabileceğidir. Birden fazla sinyalin kullanılması doğruluğu artırır.
Bunun anlamı, izole sıralama veya kalite sinyallerine yönelik SEO testlerinin, strateji veya iş kararları alırken güvenilebilecek güvenilir sonuçlar vermeyeceğidir.
Paket servis
Arama motorlarında sıkıştırılabilirliğin kullanılıp kullanılmadığını kesin olarak bilmiyoruz, ancak bu, benzer içeriğe sahip binlerce şehir adı giriş sayfası gibi basit spam türlerini yakalamak için diğerleriyle bir araya getirilen, kullanımı kolay bir sinyaldir. Ancak arama motorları bu sinyali kullanmasa bile, bu, bu tür arama motoru manipülasyonlarını yakalamanın ne kadar kolay olduğunu ve bunun günümüzde arama motorlarının gayet iyi üstesinden gelebildiğini gösteriyor.
Bu makalenin akılda tutulması gereken önemli noktaları şunlardır:
- Yinelenen içeriğe sahip giriş sayfalarının yakalanması kolaydır çünkü normal web sayfalarına göre daha yüksek oranda sıkıştırılırlar.
- Sıkıştırma oranı 4,0'ın üzerinde olan web sayfası grupları ağırlıklı olarak spam'dı.
- Spam yakalamak için kendileri tarafından kullanılan negatif kaliteli sinyaller, hatalı pozitif sonuçlara yol açabilir.
- Bu özel testte, sayfadaki negatif kalite sinyallerinin yalnızca belirli spam türlerini yakaladığını keşfettiler.
- Sıkıştırılabilirlik sinyali tek başına kullanıldığında yalnızca artıklık türü spam'i yakalar, diğer spam türlerini tespit edemez ve yanlış pozitiflere yol açar.
- Kaliteli sinyallerin birleştirilmesi, spam algılama doğruluğunu artırır ve yanlış pozitifleri azaltır.
- Günümüzde arama motorları, Spam Brain gibi yapay zekanın kullanımıyla daha yüksek bir spam tespit doğruluğuna sahiptir.
Marc Najork'un Google Akademik sayfasında bağlantısı verilen araştırma makalesini okuyun:
İçerik analizi yoluyla spam web sayfalarını tespit etme
Shutterstock/pathdoc'tan Öne Çıkan Görsel
Bir yanıt yazın