Botların hızlı büyümesi açık web'i nasıl değiştiriyor?
Web trafiğinin yarısından fazlası botlardan geliyor:
- Imperva'nın Kötü Bot Raporu 2024, 2024 yılında toplam internet trafiğinin neredeyse %50'sinin insan olmadığını ortaya koyuyor. Trend: düşüş.
- Cloudflare'in Radarı ~%70 insan trafiğini ve %30'unu botlardan gösterir.
- Akami, webdeki trafiğin %42'sinin botlardan geldiğini bildiriyor.
Şimdiye kadar botlar, uygulamaları insanlar için daha iyi hale getiren bilgiler topladı. Ancak popülasyonda yeni bir tür büyüyor: ajan robotlar.
Yirmi yıl boyunca siteleri GoogleBot için optimize ettik. Yakında insanlar ve açık web arasında aracı görevi gören yapay zeka yardımcılarına odaklanabiliriz.
Google Merchant Center'da Şemalı BotNet ve ürün feed'leri için zaten optimizasyon yaptık. XML site haritaları onlarca yıl önce önemli hale geldi.
Bir sonraki aşamada, tamamen yeni bir pazarlama alanıyla aracılı botlar için ayrı web sitelerimiz veya API'lerimiz olabilir.
Aracı Web
Açık web'de insan trafiğinden daha fazla bot trafiği elde etmeye yaklaştıkça, bot trafiğinin yaklaşık %65'inin kötü amaçlı olduğunun tahmin edildiğini akılda tutmak önemlidir.
İyi botlar arasında arama motorlarından gelen kazıyıcılar, SEO araçları, güvenlik savunması ve elbette AI tarayıcıları bulunur. Her iki bot türünün de popülasyonu artıyor, ancak yalnızca iyi olanlar gerçekten kullanışlıdır.
Son altı ay ile önceki altı ay karşılaştırıldığında, AI tarayıcıları %18 oranında büyürken, arama motorları %10 oranında yavaşladı. GoogleBot özellikle etkinliği %-1,6 oranında azalttı.
Ancak Google'ın yapay zeka tarayıcısı %1,4'lük bir artışla bunu telafi etti. GPT Bot, tüm isteklerin %3,8'ini alarak en aktif yapay zeka tarayıcısı oldu ve %12 büyüme gösterdi.
Google'ın AI tarayıcısı %62 oranında büyüdü ve tüm bot isteklerinin %3,7'sinden sorumlu oldu. Mevcut büyüme oranı göz önüne alındığında, Google'ın AI tarayıcısının yakında web'deki en aktif tarayıcı olması bekleniyor.
Günümüzde yapay zeka botlarının üç hedefi var:
- Eğitim verilerini toplayın.
- LLM yanıtlarını (RAG) temellendirmek için bir arama dizini oluşturun.
- Tazelik gerektiren istemler için gerçek zamanlı veriler toplayın.
Ancak şu anda tüm büyük yapay zeka geliştiricileri, web'de gezinen ve kullanıcılar için harekete geçen aracılar üzerinde çalışıyor:
- Claude, “Bilgisayar Kullanımı” ürün özelliğiyle birinci oldu: “Geliştiriciler, ekrana bakarak, imleci hareket ettirerek, düğmelere tıklayarak ve metin yazarak Claude'u bilgisayarları insanların kullandığı şekilde kullanmaya yönlendirebilir.”
- Google'ın “sizin için internette gezinen yararlı bir yol arkadaşı” olan Jarvis'i, yanlışlıkla Chrome mağazasında bir anlığına kullanıma sunuldu.
- OpenAI, aynı zamanda sizin için harekete geçen bir aracı olan “Operatör” üzerinde çalışır.
Üç olası sonuç görüyorum:
- Aracılar, web sitelerini tararken ve ziyaret ederken açık webdeki bot trafiğini önemli ölçüde artırır.
- Aracılar bilgi almak için API'leri kullanır.
- Temsilciler kendi platformlarında çalışır; bu, Operatörün kendi verilerini toplamak yerine yalnızca ChatGPT'den gelen verileri kullandığı anlamına gelir.
Bence bu üçünün bir karışımı büyük olasılıkla bot trafiğinin önemli ölçüde artmasıyla sonuçlanacak.
Bunun doğru olduğu ortaya çıkarsa şirketler, botlar için sitelerinin hız ve yapılandırılmış verilere yönelik ayrı versiyonlarını giderek daha fazla oluşturacak. “Sadece kullanıcıya odaklanın”, “sadece aracılara odaklanın” olur.
Bir bakıma, ChatGPT Arama zaten insanlar için web'e göz atan ve bunları seçen bir aracıdır. Ancak acenteler sözlerini tutarsa çok daha fazlasını bekleyebilirsiniz.
OpenAI CEO'su Sam Altman son Reddit AMA'sında şunları söyledi: “Sanırım bir sonraki dev atılım gibi hissettirecek şey menajerler olacak.”
Botlar interneti ele geçirirken insanlar ne yapıyor?
İnternetin Benimsenmesi
İnsanların internette gezinmeyi tamamen bırakması pek olası değil.
Yapay Zeka Sohbet Robotlarındaki Arama ve Arama özelliklerinde Yapay Zeka yanıtları olsa bile, insanlar hala Yapay Zeka ifadelerini doğrulamak, rastgele ilham almak (tesadüfen) veya diğer insanlardan yanıtlar aramak (Reddit) istiyor.
Ancak, eğer botlar yeterince iyi olursa, aramaya göz atma eylemi muhtemelen istemlere dönüşecektir.
İnsan trafiğinde büyüme potansiyeli var: 2023 yılında dünya nüfusunun %70'inin internet erişimi vardı. Mevcut hızda (yıl/yıl ~%7) devam ederse, 2030 yılına kadar tüm dünyanın internet erişimi olacak.
Ancak internetin giderek benimsenmesine rağmen insan trafiği son üç yılda sabit kaldı (bkz. Cloudflare istatistikleri). Yapay zeka tarayıcıları çok daha hızlı büyüyor (%18) ve aracılar bunu daha da hızlandırabilir.
İnternetin en büyük sitesi olan Wikipedia'ya yönelik insan talepleri 2019'dan bu yana durağanlaştı.
Bunun nedeni, özellikle genç nesiller için insanın dikkatinin sosyal platformlara kaymasıdır. Botlar açık ağı ele geçirirken insanlar da etkileşime girmek için kaçıyor.
Pazarlama
Uzak gelecekte, daha fazla insanın kapalı sosyal platformlarda vakit geçirmesi ve aracılı LLM'lerin zaten hızlı olan bot trafiği büyümesini artırması nedeniyle, iyi botlar açık web ulusunun eşit haklara sahip vatandaşları haline gelebilir. Bu teori işe yararsa, bunun pazarlama ve özellikle SEO açısından anlamı nedir?
Bir seyahat rezervasyonu yaptığınızı hayal edin. Google'a veya Booking'e göz atmak yerine acentenize nereye ve ne zaman gitmeyi düşündüğünüzü söylersiniz.
Acenteniz, tercihleriniz hakkında bildiklerine dayanarak, tercih ettiğiniz platformdan üç uçuş ve otel seçeneğini seçer.
Bir uçuş seçtiğinizde takviminize eklenir ve biletler gelen kutunuza düşer. Ödeme yapmanıza gerek yok. Temsilci sizin için her şeyi yapar. Aynı senaryoyu e-ticarete veya yazılıma da uygulayabilirsiniz.
Google gibi şirketlerin bunu bugünden gerçekleştirebilecek kapasiteye sahip olduğu göz önüne alındığında, bu vizyonda neyin sabit kalacağını, neyin değişeceğini ve neyin giderek daha az önemli hale geleceğini düşünmeye değer.
Devamlı
Botların CSS'ye veya kahraman görsellerine ihtiyacı yoktur. Sitenizi LLM tarayıcıları için gizlemenin hiçbir dezavantajı yoktur, bu nedenle web sitelerinin botlara barebone sürümü gösterme şansı vardır.
Bu gelecekte değişmeyen becerilerden biri de teknik SEO'dur: taranabilirlik, (sunucu) hızı, dahili bağlantı ve yapılandırılmış veriler.
Değiştirmek
Ajantik bir açık web, botların sahiplerini içten içe tanıması nedeniyle çok daha iyi reklam hedefleme yetenekleri sunar.
Temsilcileri onlara ihtiyaç duydukları tüm bilgileri verdikleri ve tercihlerini bildikleri için insanlar satın alma kararlarını çok daha hızlı verecekler.
Reklam maliyetleri önemli ölçüde düşüyor ve bugüne kıyasla çok daha yüksek getiriler sunuyor.
Botlar her şeyi saniyeler içinde çevirebildiği için yerelleştirme ve uluslararası satışlar artık sorun değil. İnsanlar herhangi bir yerden, herhangi bir kişiden satın alabilirler; yalnızca nakliye ve stok kısıtlamaları ile. Küresel ekonomi daha da açılıyor.
Eğer doğru davranırsak, ajanlar mahremiyetin nihai koruyucuları olabilir: Hiç kimse sizin hakkınızda onlar kadar veriye sahip değildir, ancak ne kadar paylaşacaklarını siz kontrol edebilirsiniz.
Temsilciler sizi tanır ancak bu bilgiyi başkalarıyla paylaşmaları gerekmez. Veri → anlayış → sonuçlar → veri → değer → sonuçlar → vb. değer çarkını döndürerek onlarla daha fazla veri paylaşabiliriz.
İşin kötü tarafı, botların ne yapmasına izin verildiğini robots.txt 2.0 benzeri bir formatta yeniden tanımlayarak hileli botlara karşı savunma oluşturmamız gerekiyor. Kötü robotlar iyi robotları çok daha iyi taklit edebildiği için siber güvenlik daha da önemli hale geldi, ancak aynı zamanda daha da karmaşık hale geldi.
Daha yüksek bot trafiğinin neden olduğu daha fazla enerji tüketiminin çevresel etkisini anlamamız gerekecek.
Botların daha verimli olacağını ve dolayısıyla insanlardan daha az toplam web trafiğine neden olacağını umuyoruz. Bu, en azından LLM'lerin halihazırda neden olduğu enerji boğazını bir şekilde telafi edecektir.
Önemli
En bot dostu bilgi formatı ham ve yapılandırılmıştır: XML, RSS ve API beslemeleri. Ürün yayınlarını ve XML site haritalarını zaten Google'a gönderdik, ancak temsilciler daha fazlasını isteyecektir.
Web tasarımı gelecekte daha az önemli olacak ve çoğu site zaten birbirine çok benzediğinden bunda bir sakınca olmayabilir.
Özet akışı tasarımı daha önemli hale geliyor: akışlara hangi bilgilerin dahil edileceği, bunların ne kadar, ne sıklıkta güncelleneceği ve botlara hangi isteklerin geri gönderileceği.
Pazarlamacılar, sohbet robotlarıyla yapılan konuşmaların neye benzeyeceğine tersine mühendislik yapmak için çok daha fazla zaman harcayacak. Botlar muhtemelen Google'ın algoritması gibi bir kara kutu olacaktır, ancak reklamcılık insanların en çok sorduğu şeylere ışık tutabilir.
İlişkiler
Temsilci gelecekte, müşteriler kötü bir deneyim yaşayana kadar beğendikleri bir markada karar kıldıktan sonra müşterilerin markayı değiştirmesini sağlamak zordur.
Sonuç olarak, indirimler ve özel teklifler gibi kampanyalarla müşterilerin markanızı denemesini sağlamak önemli bir pazarlama aracı olacaktır.
Ürününüzün daha iyi olduğuna dair ikna olduğunuzda ve sinyal verdiğinizde, arayış kullanıcıları onu denemeye ikna etmeye başlar. Açıkçası, bu bugün zaten işe yarıyor.
Kullanıcıları satın almadan önce organik olarak belirli bir ürüne reklam vermek ve yönlendirmek için pek çok fırsat olduğundan, satın alma üzerinde çok daha fazla etkimiz var.
Ancak gelecekte aracılar kullanıcılar için bu seçimleri yapabilir. Pazarlamacılar ilişki kurmaya, marka bilinirliği oluşturmaya ve fiyatlandırma, dağıtım (nakliye) ve farklılaşma gibi eski tarz pazarlama faktörlerini etkilemeye daha fazla zaman ayıracak.
2024 Kötü Bot Raporu
Cloudflare Radarı: Trafik Trendleri
Botlar Genel Web Trafiğinin %42'sini Oluşturuyor; Neredeyse Üçte İkisi Kötü Amaçlı
Cloudflare Radarı: Veri Gezgini
Bilgisayar kullanımına giriş, yeni Claude 3.5 Sonnet ve Claude 3.5 Haiku
Google'ın Jarvis AI uzantısının varlığı Chrome mağazasında sızdırıldı
OpenAI, Kullanıcılar için Görevleri Otomatikleştirecek Yapay Zeka Aracı Aracının Lansmanına Yakın
Site Görüntüleme Analizi
Öne Çıkan Resim: Paulo Bobita/Arama Motoru Günlüğü
Bir yanıt yazın