Robots.txt dosyanızda "User-agent: *" satırını görmüşsünüzdür. Bu satır hangi botun hangi kurallara uyacağını belirler — Googlebot, Bingbot, Yandex hepsi farklı davranır.
User-agent arama motoru botlarının kimlik kartı. Sitenize gelen her bot kendini tanıtır, siz de robots.txt'te ona özel kurallar yazarsınız.
User-agent nedir?
Web sunucusuna istek gönderen yazılımın kimliği. Tarayıcılar, arama motoru botları, sosyal medya tarayıcıları — hepsi kendini bir user-agent stringi ile tanıtır.
Arama motoru botları sitenizi taradığında HTTP başlığında user-agent bilgisini gönderir:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Robots.txt'te bu botlara özel kurallar tanımlarsınız. Googlebot'a izin verip Bingbot'u engelleyebilirsiniz — ya da tam tersi. Ama dikkat: yanlış wildcard kuralı tüm siteyi kapatabilir.
User-agent: * satırı tüm botlar için geçerli. Daha spesifik kurallar öncelikli. Önce Googlebot için kural tanımlarsanız wildcard onu etkilemez.
Googlebot: Google'ın arama botu
Dünyanın en aktif botu. Günde milyarlarca sayfa tarar, ama crawl-delay direktifini desteklemez — tarama hızını Google Search Console'dan ayarlarsınız.
Googlebot'un 6 türü var. Her biri farklı iş yapar:
Googlebot Desktop: Masaüstü arama için tarar.
Googlebot Smartphone: Mobil arama için tarar. 2019'dan beri öncelikli — çoğu site için asıl bot bu.
Googlebot-Image: Görselleri tarar. Google Görseller'e içerik toplar.
Googlebot-Video: YouTube dışındaki videoları tarar.
Googlebot-News: Haber sitelerini tarar. Haber sitesi değilseniz gelmez.
AdsBot-Google: Google Ads kalite kontrolü. Reklam veriyorsanız engellemeyin.
Robots.txt'te genel veya spesifik kural yazabilirsiniz:
User-agent: Googlebot
Disallow: /admin/
User-agent: Googlebot-Image
Disallow: /private-photos/Dikkat: Googlebot-Image'ı engellerseniz Google Görseller'de çıkmazsınız. Ama SEO sıralamanız etkilenmez — görsel trafiği kaybedersiniz.
Bingbot: Microsoft'un arama botu
Googlebot kadar aktif değil ama ABD ve Avrupa'da Bing kullanımı yüksek. Önemli fark: crawl-delay direktifini destekler.
User-agent: Bingbot
Crawl-delay: 10
Disallow: /admin/Bu ayar Bingbot'a her istek arasında 10 saniye bekle der. Sunucu yükünü azaltır — özellikle paylaşımlı hostingteyseniz işe yarar.
Bingbot'un 3 türü var:
Bingbot: Genel web taraması.
BingPreview: Arama sonuçlarında gösterilecek sayfa önizlemelerini oluşturur. Ekran görüntüsü alır.
MSNBot: Eski bot, artık kullanılmıyor ama bazı eski sistemlerde görülebilir.
Bingbot daha az sıklıkla tarar. Yeni içerikleri indekslemesi uzun sürebilir — Bing Webmaster Tools'da sitemap göndermek hızlandırır.
Yandex ve agresif tarama sorunu
Türkiye'de Google'dan sonra ikinci sırada. Rusça içerik için önemli.
YandexBot agresif tarama yapmasıyla biliniyor — sunucu yükü yaratabilir. Crawl-delay zorunlu:
User-agent: YandexBot
Crawl-delay: 5
Disallow: /admin/Yandex dokümantasyonu 5-10 saniye crawl-delay önerir. Paylaşımlı hostingteyseniz 10 saniye kullanın.
YandexBot'un alt türleri: YandexImages (görseller), YandexVideo (videolar), YandexMedia (medya dosyaları), YandexBot/Mobile (mobil sayfalar).
Gerçek sorun: YandexBot bazen crawl-delay'i yok sayar. Sunucu loglarınızda saniyede 10+ istek görürseniz htaccess ile IP bazlı rate limit koyun:
# .htaccess
SetEnvIf User-Agent "YandexBot" yandex
Order Allow,Deny
Allow from all
Deny from env=yandexYandex Webmaster'da sitenizi doğrulayın — tarama hızını oradan da ayarlayabilirsiniz.
DuckDuckBot ve Baidu
DuckDuckBot çok agresif değil, sunucu yükü yaratmaz. Genellikle Googlebot kurallarına uyar — wildcard kuralları yeterli.
Baiduspider farklı. Çok agresif tarama yapabilir, Çin dışındaki siteler için sorun yaratır. Çin pazarına hitap etmiyorsanız tamamen engelleyin:
User-agent: Baiduspider
Disallow: /Ama dikkat: Çin pazarına açılma ihtimaliniz varsa engellemeyin. Baiduspider'ı engelledikten sonra Çin'de indekslenmek aylar alır.
Wildcard kullanımı ve scraper botlar
User-agent: * satırı tüm botlar için geçerli. Spesifik kural tanımlamadığınız her bot bu kurala uyar:
User-agent: *
Disallow: /admin/
Disallow: /private/
User-agent: Googlebot
Disallow: /admin/
Allow: /admin/public/Bu örnekte tüm botlar /admin/ ve /private/ klasörlerini tarayamaz. Ama Googlebot /admin/public/ klasörünü tarayabilir.
Kural önceliği: En spesifik kural öncelikli, wildcard en son uygulanır, Allow kuralı Disallow'dan öncelikli.
İyi botların yanında scraper botlar da var. Robots.txt ile engelleyebilirsiniz ama scraper botlar robots.txt'i dikkate almayabilir. Htaccess veya sunucu ayarlarıyla IP engelleme daha etkili:
# .htaccess
SetEnvIf User-Agent "MJ12bot" bad_bot
SetEnvIf User-Agent "DotBot" bad_bot
Order Allow,Deny
Allow from all
Deny from env=bad_botYaygın scraper botlar: MJ12bot, DotBot, BLEXBot. Sunucu kaynaklarınızı korumak istiyorsanız engelleyin — ama önce loglarınızda gerçekten sorun yaratıp yaratmadıklarını kontrol edin.
Test ve yaygın hatalar
Robots.txt dosyanızı oluşturduktan sonra test edin. Google Search Console'da robots.txt tester aracı var — dosyanızı görüntüleyin, belirli URL'leri test edin, hataları düzeltin.
Bing Webmaster Tools'da da benzer araç var. Her iki platformda da test edin.
Yaygın hatalar:
Syntax hatası: Boşluk, büyük/küçük harf, satır sonu karakteri. Robots.txt çok hassas.
Yanlış wildcard: User-agent: * altına Disallow: / yazarsanız tüm siteyi kapatırsınız.
Önemli sayfaları engelleme: /wp-content/ klasörünü engellerseniz CSS/JS yüklenmez, Google mobil uyumluluk hatası verir.
Crawl-delay'i Google için kullanma: Googlebot desteklemez, kuralı yok sayar.
Robots.txt dosyanız https://example.com/robots.txt adresinde erişilebilir olmalı. Tarayıcınızda bu adresi açarak kontrol edin.
Her bot değişikliğinden sonra yeniden test edin. Yanlış kural tüm sitenizi arama motorlarından gizleyebilir — ve fark etmeniz haftalar alabilir.
Robots.txt'inizi Robots.txt Oluşturucu aracımızla oluşturabilirsiniz. Hazır şablonlar, canlı önizleme ve syntax kontrolü var.