Rehber

GPTBot, OAI-SearchBot ve ChatGPT-User Farkı: OpenAI'ın Tarayıcıları

GPTBot eğitim verisi toplar, OAI-SearchBot ChatGPT aramasını besler, ChatGPT-User sohbet için sayfa açar. Ne yaparlar, nasıl engellenir, loglar ne gösterir?

Öne Çıkanlar: OpenAI'ın Tarayıcıları

4
  • GPTBot, OpenAI modellerinin eğitiminde kullanılabilecek içeriği toplar. OAI-SearchBot, ChatGPT aramasının dayandığı dizini oluşturur. ChatGPT-User ise bir kullanıcının sohbeti gerektirdiğinde sayfayı açar.
  • Her biri robots.txt'de ayrı ayrı yönetilir. Eğitim için GPTBot'u engelleyip OAI-SearchBot'a izin verebilirsiniz; böylece sayfalarınız ChatGPT'de kaynak olarak görünmeye devam eder.
  • OAI-SearchBot'u engellemek sayfalarınızı ChatGPT arama sonuçlarının dışında bırakır. Bu genellikle bir markanın isteyeceği şey değildir.
  • İzlediğimiz üç sitede OAI-SearchBot 30 günde GPTBot'un iki katı istek yaptı; kullanıcı tarafından tetiklenen ajanlar ise arama tarayıcılarından çok daha sık hataya düştü.
GPTBot, OAI-SearchBot ve ChatGPT-User Farkı: OpenAI'ın Tarayıcıları GPTBot, OAI-SearchBot ve ChatGPT-User Farkı: OpenAI'ın Tarayıcıları

GPTBot, OAI-SearchBot ve ChatGPT-User, OpenAI’ın üç ayrı işi yapan üç ayrı ajanıdır. GPTBot, OpenAI modellerinin eğitiminde kullanılabilecek içerik için web’i tarar. OAI-SearchBot, sayfaların ChatGPT aramasında kaynak olarak görünebilmesi için tarama yapar. ChatGPT-User ise yalnızca bir ChatGPT kullanıcısının sohbeti bir sayfayı gerektirdiğinde gelir; örneğin biri bağlantı yapıştırdığında ya da ChatGPT cevap verirken bir sonucu açtığında. Her birine robots.txt’de ayrı ayrı izin verebilir ya da engelleyebilirsiniz. Dördüncüsü OAI-AdsBot ise yalnızca ChatGPT’de yayınlanan reklamların açılış sayfalarını kontrol eder.

Bu ayrım önemli, çünkü kararlar birbirinden bağımsız. İçeriğini eğitimden uzak tutmak için “OpenAI”ı topluca engelleyen bir site, ChatGPT’nin arama kaynaklarından da çıkar. Markaların çoğu ise tam tersini ister: insanlar ChatGPT’ye kendi kategorilerini sorduğunda bulunmak ve kaynak gösterilmek.

OpenAI’ın tarayıcıları ne yapar?

OpenAI tarayıcılarını ve user-agent adlarını bot sayfasında açıklıyor. Kısaca:

User-agentNe yaparEngellerseniz
GPTBotOpenAI’ın üretken modellerinin eğitiminde kullanılabilecek içeriği tararİçeriğiniz gelecekteki eğitimler için toplanmaz. ChatGPT araması etkilenmez.
OAI-SearchBotChatGPT’nin arama özellikleri için sayfaları tararSayfalarınız ChatGPT arama cevaplarında kaynak olarak gösterilemez.
ChatGPT-UserChatGPT’deki bir kullanıcı isteği gerektirdiğinde sayfayı ziyaret ederChatGPT o kullanıcı için sayfanızı açamaz. OpenAI, kullanıcının başlattığı bu ziyaretlerde robots.txt’nin aynı şekilde uygulanmayabileceğini belirtiyor.
OAI-AdsBotChatGPT’de yayınlanan reklamların açılış sayfalarını reklam politikalarına göre kontrol eder; OpenAI eğitim için kullanılmadığını söylüyorYalnızca ChatGPT’de reklam veriyorsanız önemli: reklam açılış sayfalarınız incelenemez.

Diğer AI şirketleri de eğitim, arama ve kullanıcı istekleri için ayrı ajanlar kullanıyor. Anthropic’in ClaudeBot, Claude-SearchBot ve Claude-User’ı; Perplexity’nin PerplexityBot ve Perplexity-User’ı var. Google ise içeriğin AI modellerinde kullanımını Googlebot’tan ayrı olarak Google-Extended adıyla yönetiyor. Adlar ve politikalar değişebildiği için kural yazmadan önce her sağlayıcının kendi dokümantasyonuna bakın.

AI tarayıcıları gerçekte ne istiyor: üç siteden veri

Bu ajanların pratikte nasıl davrandığını görmek için Brantial’ın Agent Analytics ile şu an izlediği üç sitenin AI bot loglarına baktık. 30 günde (17 Ekim – 16 Kasım 2026) bu siteler AI tarayıcılarından 198.664 istek aldı. Üç site küçük bir örneklem; rakamları web geneli için bir ölçüt değil, bu sitelerin tablosu olarak okuyun.

TarayıcıAI bot isteklerindeki payı4xx veya 5xx hatayla biten istekler
Meta (meta-externalagent)%36,2%3,5
Bytespider (ByteDance)%15,2%7,9
ClaudeBot%10,7%6,1
Applebot%8,8%8,2
GoogleOther%4,7%0,3
PerplexityBot%4,3%14,2
OAI-SearchBot%4,1%15,4
Claude-User%2,2%30,4
GPTBot%2,0%30,5
ChatGPT-User%1,7%37,4

Dört şey öne çıkıyor:

  • OAI-SearchBot, GPTBot’tan iki kat sık geldi. Bu sitelerde OpenAI, eğitim verisi toplamaktan çok arama dizinini güncel tutmaya emek harcadı.
  • En çok hatayı kullanıcının tetiklediği ajanlar aldı. ChatGPT-User ve Claude-User isteklerinin yaklaşık üçte biri hatayla bitti; OAI-SearchBot’ta bu oran %15 civarındaydı. Bu ajanlar çoğu zaman bir kişinin yazdığı ya da bir cevabın önerdiği bağlantıları izliyor, eski veya hatalı adresler dahil. Her başarısız ziyaret, bir AI asistanının birisi için sayfanızı okumaya çalışıp okuyamadığı bir an.
  • En büyük tarayıcılar konuşulanlar değil. AI bot isteklerinin yarısını Meta’nın tarayıcısı ve Bytespider yaptı; ikisi de herhangi bir OpenAI ajanından çok daha fazla.
  • llms.txt’yi neredeyse kimse istemedi. İsteklerin %74’ü sayfalara, %23,5’i script ve görsel gibi dosyalara gitti. robots.txt %1,4, sitemap’ler %1,0 pay aldı. llms.txt istekleri sıfıra yakındı. Bir llms.txt dosyası yayınlıyorsanız bunu isteğe bağlı bir ek olarak görün, AI tarayıcılarının içeriğinizi bulma yolu olarak değil.

robots.txt’de her tarayıcıya nasıl izin verilir ya da engellenir?

Kurallar alan adınızın kökündeki robots.txt dosyasına yazılır. Her blok tek bir user-agent adını hedefler.

ChatGPT aramasına izin verip eğitimden çıkmak:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

OpenAI’ın tüm ajanlarına izin vermek:

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Geri kalanı açık bırakıp özel bir alanı tüm tarayıcılara kapatmak:

User-agent: *
Disallow: /hesap/

Birkaç pratik not:

  • Değişiklikler anında işlemez. OpenAI, arama için robots.txt değişikliklerinin sistemlerine yansımasının yaklaşık bir gün sürebileceğini belirtiyor.
  • robots.txt bir rica, kilit değil. Gizli kalması gereken her şey için robots.txt kuralı değil, kimlik doğrulama gerekir.
  • CDN ve güvenlik duvarınızı da kontrol edin. Bu user-agent’lara doğrulama gösteren ya da onları engelleyen bot koruması, bir Disallow satırıyla aynı etkiyi yapar ve çoğu zaman kimse fark etmez. Loglarınızda OAI-SearchBot veya ChatGPT-User için yüksek hata oranı genellikle bunun işaretidir.
  • Metnin HTML’de olduğundan emin olun. AI tarayıcılarının çoğu JavaScript çalıştırmaz; yalnızca script’ler çalıştıktan sonra görünen içerik onlar için görünmez olabilir. AI botlarının JavaScript siteleri okuyup okuyamadığı rehberimiz bunun nasıl test edileceğini anlatıyor.

Sitenizi hangi AI tarayıcılarının ziyaret ettiğini nasıl görürsünüz?

Sunucu ya da CDN loglarınız her ziyareti zaten kaydediyor. Logları yukarıdaki user-agent adlarına göre filtreleyin ve üç şeye bakın: her tarayıcının hangi sayfaları istediği, ne sıklıkla geldiği ve hangi isteklerin başarısız olduğu. User-agent taklit edilebildiği için önemli trafiği sağlayıcının yayınladığı IP aralıklarıyla doğrulayın.

Adım adım yöntem için AI bot trafiği ve crawl log analizi rehberimize ve arama botu tanımına bakabilirsiniz.

Sık sorulan sorular

GPTBot’u engellemeli miyim?

İçeriğinizin OpenAI’ın gelecekteki modellerinin eğitiminde kullanılmasını istemiyorsanız GPTBot’u engelleyin. Bunun, sayfalarınızın ChatGPT aramasında görünüp görünmemesine etkisi yoktur; bunu OAI-SearchBot belirler.

GPTBot’u engellemek beni ChatGPT’den çıkarır mı?

Hayır. ChatGPT araması OAI-SearchBot’a dayanır. OAI-SearchBot’a izin verildiği sürece GPTBot engelli olsa bile sayfalarınız ChatGPT cevaplarında kaynak olarak gösterilebilir.

OAI-SearchBot nedir?

OAI-SearchBot, ChatGPT’nin arama özellikleri için sayfa toplayan OpenAI tarayıcısıdır. Ona izin vermek, sayfalarınızın ChatGPT arama cevaplarında kaynak gösterilebilmesini sağlar.

ChatGPT-User nedir?

ChatGPT-User, bir kullanıcının isteği belirli bir web sayfasını gerektirdiğinde (örneğin sohbete yapıştırılan bir bağlantı) ChatGPT’nin kullandığı ajandır. Otomatik bir tarayıcı değildir ve OpenAI bu ziyaretlerde robots.txt’nin tarayıcılardaki gibi uygulanmayabileceğini belirtir.

OAI-SearchBot’un siteme erişip erişemediğini nasıl anlarım?

Loglarınızda OAI-SearchBot user-agent’ını arayıp yanıt kodlarına bakın. Tekrarlayan 403, 429 ya da 5xx hataları genellikle onu geri çeviren bir güvenlik duvarı, bot koruma kuralı ya da istek sınırına işaret eder.

↑ Başa dön