AI görünürlüğü SEO'lar için çok önemli bir rol oynar ve bu, AI tarayıcılarının kontrol edilmesiyle başlar. Yapay zeka tarayıcıları sayfalarınıza erişemezse yapay zeka keşif motorları için görünmez olursunuz.
Öte yandan, izlenmeyen AI tarayıcıları, sunucuları aşırı isteklerle bunaltabilir, bu da çökmelere ve beklenmedik barındırma faturalarına neden olabilir.
Kullanıcı aracısı dizeleri, hangi AI tarayıcılarının web sitenize erişebileceğini kontrol etmek için gereklidir, ancak resmi belgeler genellikle güncelliğini kaybetmiş, eksik veya tamamen eksiktir. Bu nedenle yararlı bir referans olması açısından gerçek sunucu günlüklerimizden doğrulanmış bir AI tarayıcıları listesi hazırladık.
Her kullanıcı aracısı, mevcut olduğunda resmi IP listelerine göre doğrulanır ve doğruluk sağlanır. Yeni tarayıcıları ve mevcut tarayıcılarda yapılan değişiklikleri yakalamak için bu listeyi sürdüreceğiz ve güncelleyeceğiz.
Doğrulanmış Yapay Zeka Tarayıcı Listesinin Tamamı (Aralık 2025)
| İsim | Amaç | SEJ Tarama Hızı (sayfa/saat) | Doğrulanmış IP Listesi | Robots.txt izin vermiyor | Kullanıcı Aracısını Tamamla |
|---|---|---|---|---|---|
| GPTBot | GPT modelleri için yapay zeka eğitim verileri toplama (ChatGPT, GPT-4o) | 100 | Resmi IP Listesi | Kullanıcı aracısı: GPTBot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; GPTBot/1.3; +https://openai.com/gptbot) |
| ChatGPT Kullanıcısı | Kullanıcılar ChatGPT ile etkileşime girdiğinde gerçek zamanlı web taraması için AI aracısı | 2400 | Resmi IP Listesi | Kullanıcı aracısı: ChatGPT-Kullanıcı İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi); uyumlu; ChatGPT-Kullanıcı/1.0; +https://openai.com/bot |
| OAI-AramaBot | ChatGPT arama özellikleri için AI arama indeksleme (eğitim amaçlı değil) | 150 | Resmi IP Listesi | Kullanıcı aracısı: OAI-SearchBot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, Gecko gibi) Chrome/131.0.0.0 Safari/537.36; uyumlu; OAI-SearchBot/1.3; +https://openai.com/searchbot |
| ClaudeBot | Claude modelleri için yapay zeka eğitim verileri toplama | 500 | Resmi IP Listesi | Kullanıcı aracısı: ClaudeBot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; ClaudeBot/1.0; [email protected]) |
| Claude-Kullanıcı | Claude kullanıcıları internette gezinirken gerçek zamanlı web erişimi için AI aracısı | <10 | Müsait değil | Kullanıcı aracısı: Claude-User İzin verme: /örnek-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; Claude-User/1.0; [email protected]) |
| Claude-AramaBot | Claude arama yetenekleri için yapay zeka arama indeksleme | <10 | Müsait değil | Kullanıcı aracısı: Claude-SearchBot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; Claude-SearchBot/1.0; +https://www.anthropic.com) |
| Google-CloudVertexBot | Vertex AI Agent Builder için AI aracısı (yalnızca site sahiplerinin isteği) | <10 | Resmi IP Listesi | Kullanıcı aracısı: Google-CloudVertexBot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, Gecko gibi) Chrome/141.0.7390.122 Mobile Safari/537.36 (uyumlu; Google-CloudVertexBot; +https://cloud.google.com/enterprise-search) |
| Google-Genişletilmiş | Googlebot tarafından taranan içeriğin yapay zeka eğitimi kullanımını kontrol eden jeton. | Kullanıcı aracısı: Google Genişletilmiş İzin vermek: / İzin verme: /özel-klasör |
|||
| İkizler-Derin Araştırma | Google Gemini'nin Derin Araştırma özelliği için yapay zeka araştırma temsilcisi | <10 | Resmi IP Listesi | Kullanıcı aracısı: Gemini-Deep-Research İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; Gemini-Deep-Research; +https://gemini.google/overview/deep-research/) Chrome/135.0.0.0 Safari/537.36 |
| Bir kullanıcı bir web sayfasını açmak istediğinde Gemini'nin sohbeti | <10 | ||||
| Bingbot | Bing Arama ve Bing Chat (Yardımcı Pilot) AI yanıtlarını destekler | 1300 | Resmi IP Listesi | Kullanıcı aracısı: BingBot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36 |
| Applebot-Genişletilmiş | Tarama yapmaz ancak Apple'ın Applebot verilerini nasıl kullandığını kontrol eder. | <10 | Resmi IP Listesi | Kullanıcı aracısı: Applebot-Extulated İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, Gecko gibi) Sürüm/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) |
| ŞaşkınlıkBot | Perplexity'nin cevap motoru için yapay zeka arama indeksleme | 150 | Resmi IP Listesi | Kullanıcı aracısı: PerplexityBot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
| Şaşkınlık-Kullanıcı | Perplexity kullanıcıları bilgi istediğinde gerçek zamanlı tarama için AI aracısı | <10 | Resmi IP Listesi | Kullanıcı aracısı: Şaşkınlık-Kullanıcı İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) |
| Meta-Harici Aracı | Meta'nın LLM'leri (Llama vb.) için yapay zeka eğitim verileri toplama | 1100 | Müsait değil | Kullanıcı aracısı: meta-harici aracı İzin vermek: / İzin verme: /özel-klasör |
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| Meta-WebIndexer | Eskiden Meta AI aramasını iyileştirin. | <10 | Müsait değil | Kullanıcı aracısı: Meta-WebIndexer İzin vermek: / İzin verme: /özel-klasör |
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| Bayt örümceği | ByteDance'in TikTok gibi ürünlere yönelik yüksek lisans eğitimleri için yapay zeka eğitim verileri | <10 | Müsait değil | Kullanıcı aracısı: Bytespider İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, Gecko gibi) Mobile Safari/537.36 (uyumlu; Bytespider; https://zhanzhang.toutiao.com/) |
| Amazonbot | Alexa ve diğer Amazon AI hizmetleri için AI eğitimi | 1050 | Müsait değil | Kullanıcı aracısı: Amazonbot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36 |
| DuckAssistBot | DuckDuckGo arama motoru için yapay zeka arama indeksleme | 20 | Resmi IP Listesi | Kullanıcı aracısı: DuckAssistBot İzin vermek: / İzin verme: /özel-klasör |
DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html) |
| MistralAI Kullanıcısı | Mistral'in “Le Chat” asistanı için gerçek zamanlı alıntı toplayıcısı | <10 | Müsait değil | Kullanıcı aracısı: MistralAI-Kullanıcı İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, Gecko gibi; uyumlu; MistralAI-User/1.0; +https://docs.mistral.ai/robots) |
| Webz.io | Diğer AI eğitim şirketleri tarafından kullanılan veri çıkarma ve web kazıma. Eskiden Omgili olarak biliniyordu. | <10 | Müsait değil | Kullanıcı aracısı: webzio İzin vermek: / İzin verme: /özel-klasör |
webzio (+https://webz.io/bot.html) |
| Diffbot | Tüm dünyadaki şirketler tarafından kullanılan veri çıkarma ve web kazıma. | <10 | Müsait değil | Kullanıcı aracısı: Diffbot İzin vermek: / İzin verme: /özel-klasör |
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 (.NET CLR 3.5.30729; Diffbot/0.1; +http://www.diffbot.com) |
| ICC-Tarayıcı | Yapay zeka ve makine öğrenimi veri toplama | <10 | Müsait değil | Kullanıcı aracısı: ICC-Tarayıcı İzin vermek: / İzin verme: /özel-klasör |
ICC-Crawler/3.0 (Mozilla uyumlu; ; https://ucri.nict.go.jp/en/icccrawler.html) |
| CCBot | Birden fazla yapay zeka şirketi tarafından eğitim verileri olarak kullanılan açık kaynaklı web arşivi | <10 | Resmi IP Listesi | Kullanıcı aracısı: CCBot İzin vermek: / İzin verme: /özel-klasör |
CCBot/2.0 (https://commoncrawl.org/faq/) |
Yukarıdaki kullanıcı aracısı dizelerinin tümü, Arama Motoru Günlüğü sunucu günlüklerine göre doğrulanmıştır.
Tanımlanamayan Kullanıcı Aracısına Sahip Popüler AI Aracısı Tarayıcıları
Aşağıdakilerin kendilerini tanımlamadığını tespit ettik:
- sen.com.
- ChatGPT'nin temsilci Operatörü.
- Bing'in Yardımcı Pilot sohbeti.
- Grok.
Açık IP'yi tanımlamak dışında bu tarayıcının web sayfalarına erişimini izlemenin bir yolu yoktur.
Tuzak sayfası oluşturduk (e.G., /specific-page-for-you-com/) ve you.com'u ziyaret etmeye yönlendirmek için sayfa içi sohbeti kullandı, bu da ilgili ziyaret kaydını ve IP adresini sunucu günlüklerimizde bulmamıza olanak sağladı. Ekran görüntüsü aşağıdadır:
Agentic AI Tarayıcıları Hakkında Neler Var?
Ne yazık ki Comet veya ChatGPT'nin Atlas'ı gibi yapay zeka tarayıcıları, kullanıcı aracısı dizesinde kendilerini farklılaştırmıyor ve bunları sunucu günlüklerinde tanımlayıp normal kullanıcıların ziyaretleriyle birleştiremezsiniz.
Bu, SEO'lar için hayal kırıklığı yaratıyor çünkü bir web sitesine yapılan aracı tarayıcı ziyaretlerini izlemek, POV'yi raporlamak için önemlidir.
Sunucunuzda Nelerin Tarandığını Nasıl Kontrol Edebilirsiniz?
Bazı barındırma şirketleri, kullandığınız barındırma hizmetine bağlı olarak sunucu günlüklerine erişmeyi ve bunlara bakmayı kolaylaştıran bir kullanıcı arayüzü (UI) sunar.
Barındırma sisteminiz bunu sunmuyorsa, sunucu günlük dosyalarını alabilirsiniz (genellikle /var/log/apache2/access.log Linux tabanlı sunucularda) FTP aracılığıyla veya sunucu desteğinizden size gönderilmesini talep edin.
Günlük dosyasını aldıktan sonra, onu Google E-Tablolar'da (dosya CSV formatındaysa), Screaming Frog'un günlük analiz aracında görüntüleyebilir ve analiz edebilirsiniz veya günlük dosyanız 100 MB'tan küçükse Gemini AI ile analiz etmeyi deneyebilirsiniz.
Meşru Vs. Nasıl Doğrulanır? Sahte Botlar
Sahte tarayıcılar, kısıtlamaları atlamak ve içeriği agresif bir şekilde kazımak için meşru kullanıcı aracılarını taklit edebilir. Örneğin, herkes dizüstü bilgisayarından ClaudeBot'un kimliğine bürünebilir ve terminalden tarama isteği başlatabilir. Sunucu günlüğünüzde, Claudebot'un taradığını göreceksiniz:
curl -A 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; [email protected])' https://example.comDoğrulama, sunucu bant genişliğinden tasarruf etmenize ve içeriğin yasa dışı olarak toplanmasını önlemeye yardımcı olabilir. Uygulayabileceğiniz en güvenilir doğrulama yöntemi istek IP'sini kontrol etmektir.
Tüm IP'leri kontrol edin ve yukarıda listelenen resmi olarak beyan edilen IP'lerden biri olup olmadığını eşleştirmek için tarayın. Eğer öyleyse, isteğe izin verebilirsiniz; aksi takdirde engelleyin.
Çeşitli güvenlik duvarı türleri, izin verilenler listesi doğrulanmış IP'ler (meşru bot isteklerinin geçmesine izin verir) aracılığıyla bu konuda size yardımcı olabilir ve kullanıcı aracısı dizelerinde AI tarayıcılarının kimliğine bürünen diğer tüm istekler engellenir.
Örneğin, WordPress'te, meşru IP'leri resmi listelerden (yukarıdaki gibi) izin verilenler listesine eklemek için Wordfence ücretsiz eklentisini kullanabilir ve aşağıdaki gibi özel engelleme kuralları ekleyebilirsiniz:
Wordfence'te izin verilenler listesi IP ayarı
Wordfence'te Kullanıcı aracısı ayarını engelle
İzin verilenler listesi kuralı daha üstündür ve meşru tarayıcıların farklı IP'lerden gelen kimliğe bürünme isteklerini geçmesine ve engellemesine olanak tanır.
Ancak, bir IP adresini taklit etmenin mümkün olduğunu ve bu durumda bot kullanıcı aracısı ve IP'ler sahtekarlık yaptığında onu engelleyemeyeceğinizi lütfen unutmayın.
Sonuç: Güvenilir Yapay Zeka Görünürlüğü İçin Yapay Zeka Tarayıcılarının Kontrolünde Kalın
AI tarayıcıları artık web ekosistemimizin bir parçası ve burada listelenen botlar, şu anda web'i indeksleyen başlıca AI platformlarını temsil ediyor, ancak bu listenin büyümesi muhtemeldir.
Sitenize gerçekte neyin çarptığını görmek için sunucu günlüklerinizi düzenli olarak kontrol edin ve AI arama motorlarında görünürlük işletmeniz için önemliyse, AI tarayıcılarını yanlışlıkla engellemediğinizden emin olun. Yapay zeka tarayıcılarının içeriğinize erişmesini istemiyorsanız bunları kullanıcı aracısı adını kullanarak robots.txt aracılığıyla engelleyin.
Yeni tarayıcılar ortaya çıktıkça ve mevcut olanları güncelledikçe bu listeyi güncel tutacağız; bu nedenle, bu URL'yi yer imlerinize eklemenizi veya AI tarayıcı listenizi güncel tutmak için bu makaleyi düzenli olarak yeniden ziyaret etmenizi öneririz.
Daha Fazla Kaynak:
Öne Çıkan Görsel: BestForBest/Shutterstock
Bir yanıt yazın