Bir müşterimin sitesinde performans sorununu incelerken sunucu loglarına baktığımda ilginç bir tablo gördüm: Googlebot ve Bingbot’un yanında GPTBot, ClaudeBot, PerplexityBot, Applebot gibi isimler de siteyi düzenli olarak ziyaret ediyordu. Müşterim bu botların ne olduğunu, sitesine zarar verip vermediğini ve engellenmesi gerekip gerekmediğini sordu. Bu sorular artık neredeyse her site sahibinin aklında.
Bu yazıda yapay zeka botlarının ne olduğunu, türlerini, robots.txt ile nasıl yönetileceğini ve işletmeniz için hangi kararın daha mantıklı olduğunu anlatacağım.
Yapay Zeka Botları Nedir?
Yapay zeka botları, yapay zeka şirketleri tarafından web sayfalarını taramak için kullanılan otomatik yazılımlardır. Klasik arama motoru botları gibi sayfaları ziyaret eder, içeriği okur ve kaydeder. Ancak bu içeriği farklı amaçlarla kullanırlar. Bu amaçları anlamak, doğru kararı vermek için çok önemli.
Yapay Zeka Botlarının Üç Türü
Yapay zeka şirketlerinin botları genel olarak üç farklı amaçla çalışıyor ve büyük şirketler bu amaçlar için genellikle ayrı bot isimleri kullanıyor:
1. Eğitim Botları
Bu botlar, web içeriğini yapay zeka modellerinin eğitiminde kullanılmak üzere toplar. Örneğin OpenAI’ın GPTBot’u ve Anthropic’in ClaudeBot’u bu kategoride değerlendirilir. Common Crawl’ın CCBot’u da topladığı verileri açık bir veri seti olarak yayınladığı için birçok model eğitiminde kullanılır. Bu botları engellemek, içeriğinizin gelecekteki model eğitimlerinde kullanılmasını sınırlar.
2. Arama ve Dizinleme Botları
Bu botlar, yapay zeka destekli arama özelliklerinin kullanıcı sorularına yanıt verirken kaynak gösterebilmesi için içerikleri dizinler. OpenAI’ın OAI-SearchBot’u ve PerplexityBot bu türe örnek gösterilebilir. Bu botları engellemek, sitenizin ilgili yapay zeka aramalarında kaynak olarak gösterilme ihtimalini azaltır.
3. Kullanıcı Tetiklemeli Ziyaretler
Bir kullanıcı yapay zeka asistanına belirli bir sayfayı okumasını söylediğinde ya da asistan yanıt üretirken anlık olarak bir sayfayı ziyaret ettiğinde kullanılan ajanlardır. ChatGPT-User ve Claude-User gibi isimlerle görünürler. Bu ziyaretler, bir kullanıcının doğrudan isteğiyle gerçekleştiği için bazı şirketler bunları klasik tarayıcı kurallarından farklı değerlendirebiliyor.
Not: Bot isimleri ve davranışları şirketler tarafından zaman zaman güncelleniyor. Karar vermeden önce ilgili şirketin güncel dokümantasyonunu kontrol etmenizi öneririm.
Google-Extended Özel Bir Durum
Google-Extended, ayrı bir tarayıcı değil, bir kontrol belirtecidir. robots.txt’de Google-Extended’ı engellediğinizde, içeriğinizin Gemini modellerinin eğitiminde ve bazı yapay zeka özelliklerinin temellendirilmesinde kullanılmasını sınırlarsınız. Ancak bu, Google Arama’daki görünürlüğünüzü ve AI Overviews özetlerini etkilemez; çünkü bunlar normal Googlebot taramasına dayanıyor. Bu ayrım sık karıştırılıyor ve yanlış beklentilere yol açıyor.
Benzer şekilde Apple’ın Applebot-Extended belirteci, Apple’ın yapay zeka modellerinin eğitiminde içeriğinizin kullanılıp kullanılmayacağını kontrol etmenizi sağlıyor.
Engellemeli mi, İzin mi Vermelisiniz?
Bu sorunun tek bir doğru cevabı yok; işletmenizin modeline ve önceliklerine bağlı. Kararı kolaylaştırmak için üç farklı profil üzerinden düşünelim.
Profil 1: Hizmet ya da Ürün Satan İşletmeler
Kurumsal bir firma, yerel bir hizmet sağlayıcı ya da e-ticaret sitesiyseniz, büyük ihtimalle görünür olmak sizin için en önemli hedef. Potansiyel müşterileriniz giderek daha fazla yapay zeka asistanlarına danışarak karar veriyor. Bu durumda en azından arama ve kullanıcı tetiklemeli botlara izin vermenizi öneririm. Eğitim botları konusunda ise karar size kalmış; ancak markanızın ve hizmetlerinizin modellerin genel bilgisine dahil olması, uzun vadede bir avantaj olarak da görülebilir.
Profil 2: İçeriğin Kendisi Ürün Olan Siteler
Haber siteleri, ücretli içerik platformları, özgün araştırma yayınlayan kuruluşlar ya da içerikten doğrudan gelir elde eden yayıncılar için durum farklı. İçeriğiniz izniniz ve karşılığınız olmadan model eğitiminde kullanılıyorsa, bu doğrudan iş modelinizi etkileyebilir. Bu tür siteler genellikle eğitim botlarını engelleyip arama botları için daha seçici bir yaklaşım benimsiyor.
Profil 3: Hassas ya da Kısıtlı İçerik Barındıran Siteler
Üye alanları, özel belgeler ya da kişisel veri içeren bölümler zaten herkese açık olmamalı. Bu bölümleri robots.txt ile değil, oturum açma ve yetkilendirme ile korumanız gerekir. robots.txt bir güvenlik aracı değil; yalnızca kurallara uyan botlara yönelik bir rica.
robots.txt Örnekleri
Aşağıda farklı senaryolar için örnek robots.txt kuralları paylaşıyorum. Bunları doğrudan kopyalamadan önce sitenizin mevcut kurallarıyla birleştirdiğinizden emin olun.
Tüm yapay zeka botlarına izin vermek (varsayılan durum): Herhangi bir kural eklemenize gerek yok. robots.txt’de engelleme yoksa botlar siteyi tarayabilir.
Eğitim botlarını engelleyip arama botlarına izin vermek:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Belirli bir klasörü tüm botlara kapatmak:
User-agent: *
Disallow: /ozel-klasor/WordPress’te robots.txt Nasıl Düzenlenir?
WordPress varsayılan olarak sanal bir robots.txt dosyası oluşturur. Bu dosyayı düzenlemenin en kolay yolu SEO eklentiniz. All in One SEO’da araçlar bölümündeki robots.txt düzenleyicisi üzerinden kural ekleyip kaldırabilirsiniz. Sunucunuzun kök dizininde fiziksel bir robots.txt dosyası varsa, eklentinin oluşturduğu sanal dosyanın yerine o dosya sunulur; bu durumda düzenlemeyi doğrudan dosya üzerinde yapmanız gerekir.
Değişiklik yaptıktan sonra tarayıcınızda alanadiniz.com/robots.txt adresini açarak kuralların doğru yayınlandığını kontrol edin. Search Console’daki robots.txt raporu da Google’ın dosyanızı nasıl okuduğunu görmenizi sağlar.
Gizli Engellemelere Dikkat
Sahada en sık karşılaştığım sorun, site sahibinin farkında olmadan yapay zeka botlarını engellemesi. robots.txt temiz olsa bile şu katmanlar botları engelleyebilir:
- Güvenlik eklentileri: Bazı güvenlik eklentileri, tanımadığı botları ya da yüksek sıklıkta istek yapan ziyaretçileri otomatik olarak engelliyor.
- CDN ve güvenlik duvarı ayarları: Cloudflare gibi hizmetler, yapay zeka botlarını tek tıkla engelleme seçenekleri sunuyor ve bazı hesaplarda bu seçenekler varsayılan olarak açık gelebiliyor.
- Barındırma firması kuralları: Bazı barındırma firmaları, sunucu yükünü azaltmak için belirli botları sunucu düzeyinde engelleyebiliyor.
Görünür olmak istiyorsanız bu katmanların hepsini kontrol etmeniz gerekiyor. Sunucu loglarınızda yapay zeka botlarının isteklerine hangi yanıt kodunun döndüğüne bakmak, en güvenilir kontrol yöntemi.
Bot Trafiği Sunucunuzu Yoruyor mu?
Bazı küçük barındırma paketlerinde yoğun bot trafiği performans sorunlarına yol açabiliyor. Bu durumda tüm botları engellemek yerine önce önbellekleme yapısını güçlendirmenizi öneririm. İyi yapılandırılmış bir sayfa önbelleği, botlara sunulan sayfaların veritabanını yormadan hızlıca iletilmesini sağlar. Sorun devam ediyorsa, belirli botlar için hız sınırlaması uygulamak, tamamen engellemekten daha dengeli bir çözüm olabilir.
Yapay Zeka Botlarını Loglarda Nasıl Tanırsınız?
Sitenizi hangi yapay zeka botlarının ziyaret ettiğini görmek için sunucu erişim loglarına bakmanız gerekiyor. Barındırma panelinizin “ham erişim logları” ya da “access log” bölümünden bu dosyalara ulaşabilirsiniz. Loglarda her isteğin yanında bir user-agent bilgisi yer alır; GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot, CCBot gibi ifadeler bu alanda görünür. Yanıt kodlarına da dikkat edin: 200 kodu isteğin başarıyla karşılandığını, 403 ise engellendiğini gösterir.
Burada önemli bir uyarı var: user-agent bilgisi kolayca taklit edilebilir. Kötü niyetli bazı botlar, kendini bilinen bir yapay zeka botu gibi tanıtabilir. Büyük şirketler, botlarının kullandığı IP aralıklarını genellikle yayınlıyor; şüpheli yoğunlukta trafik görürseniz IP doğrulaması yapmak, gerçek bot ile taklitçiyi ayırmanın en güvenilir yolu. Cloudflare gibi hizmetler de doğrulanmış botları ayrıca işaretleyebiliyor.
Kararınızı Belgeleyin ve Düzenli Gözden Geçirin
Hangi botlara izin verdiğinizi ve hangilerini engellediğinizi, bunun gerekçesiyle birlikte bir yere not edin. Yapay zeka alanı çok hızlı değişiyor; yeni botlar ortaya çıkıyor, mevcut botların isimleri ve amaçları güncelleniyor. Altı ayda bir robots.txt kurallarınızı ve güvenlik ayarlarınızı gözden geçirmek, kararlarınızın hâlâ işletmenizin hedefleriyle uyumlu olduğundan emin olmanızı sağlar.
Sık Sorulan Sorular
Yapay zeka botlarını engellersem Google sıralamam düşer mi?
GPTBot, ClaudeBot gibi botları engellemek Google sıralamanızı etkilemez. Google-Extended’ı engellemek de Google Arama görünürlüğünüzü etkilemez. Ancak Googlebot’u engellerseniz sitenizi arama sonuçlarından tamamen çıkarmış olursunuz; bu ikisini karıştırmamak gerekiyor.
Tüm yapay zeka şirketleri robots.txt kurallarına uyuyor mu?
Büyük ve bilinen şirketler genellikle robots.txt kurallarına uyacaklarını belirtiyor. Ancak robots.txt hukuki bir zorunluluk değil, bir protokol. Kurallara uymayan botlara karşı sunucu ya da güvenlik duvarı düzeyinde önlem almak gerekebilir.
Engellediğim içerik daha önce eğitimde kullanıldıysa ne olur?
robots.txt kuralları geriye dönük çalışmaz. Engelleme, yalnızca kuralı ekledikten sonraki taramaları etkiler.
Sonuç
Yapay zeka botları, internetin yeni ziyaretçileri ve görmezden gelinemeyecek kadar önemli hale geldiler. Hizmet ya da ürün satan bir işletme için, en azından arama amaçlı botlara izin vermek ve gizli engellemeleri temizlemek, yapay zeka görünürlüğünün ilk adımı. Sitenizin robots.txt, güvenlik ve CDN ayarlarını birlikte gözden geçirmek isterseniz iletişim sayfamdan bana ulaşabilirsiniz.