Google, kullanıcı tarafından tetiklenen getiricilerin listesini Google NotebookLM için yeni belgelerle sessizce güncelledi. Görünüşte küçük olan bu değişikliğin önemi, Google NotebookLM'nin robots.txt'ye uymayacağının açık olmasıdır.
Google NotebookLM
NotebookLM, kullanıcıların içeriği işleyecek ve daha sonra çeşitli sorular sormalarına ve içeriğe dayalı özetler oluşturmalarına olanak sağlayacak bir web sayfası URL'si eklemelerine olanak tanıyan bir yapay zeka araştırma ve yazma aracıdır.
Google'ın aracı, bir web sitesindeki konuları düzenleyen ve buradan çıkarımlar çıkaran etkileşimli bir zihin haritasını otomatik olarak oluşturabilir.
Kullanıcı Tarafından Tetiklenen Alıcılar Robots.txt'yi Yoksayır
Google Kullanıcı Tarafından Tetiklenen Getiriciler, kullanıcılar tarafından tetiklenen ve varsayılan olarak robots.txt protokolünü göz ardı eden web aracılarıdır.
Google'ın Kullanıcı Tarafından Tetiklenen Alıcılar belgelerine göre:
“Getirme işlemi bir kullanıcı tarafından talep edildiğinden, bu getiriciler genellikle robots.txt kurallarını göz ardı ediyor.”
Google-NotebookLM Robots.txt dosyasını Yoksayıyor
Robots.txt'nin amacı yayıncılara web sayfalarını dizine ekleyen botlar üzerinde kontrol sağlamaktır. Ancak Google-NotebookLM alıcısı gibi aracılar web içeriğini indekslemiyor; Google'ın NotebookLM'si aracılığıyla web sitesi içeriğiyle etkileşimde bulunan kullanıcılar adına hareket ediyorlar.
NotebookLM Nasıl Engellenir
Google şunları kullanır: Google-NotebookLM Web sitesi içeriğini çıkarırken kullanıcı aracısı. Dolayısıyla, kullanıcıların içeriklerine erişmesini engellemek isteyen yayıncıların, söz konusu kullanıcı aracısını otomatik olarak engelleyen kurallar oluşturması mümkündür. Örneğin, WordPress yayıncıları için basit bir çözüm, Google-NotebookLM kullanıcı aracısını kullanan tüm web sitesi ziyaretçilerini engellemek üzere özel bir kural oluşturmak için Wordfence'i kullanmaktır.
Bunu yapmanın başka bir yolu da .htaccess ile aşağıdaki kuralı kullanmaktır:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM [NC]
RewriteRule .* - [F,L]
</IfModule>
Bir yanıt yazın