Ayarlar

Örnek: /admin/, /wp-admin/, /cgi-bin/, /*.pdf$

Sitenizin XML sitemap adresini ekleyin

Botların istekler arası bekleme süresi (Google dikkate almaz)

Canlı Önizleme 

# Robots.txt Dosyası
# SeoDenetim.com ile oluşturuldu

User-agent: *
Disallow:

Sitemap: https://www.siteadi.com/sitemap.xml

Nasıl Kullanılır?

  1. İndirilen robots.txt dosyasını sitenizin kök dizinine yükleyin
  2. https://www.siteadi.com/robots.txt adresinden erişilebilir olmalıdır
  3. Google Search Console'da test edin: Tarama → robots.txt Tester

Botları Kontrol Et, Taramayı Yönet

Arama motorlarının sitenizin hangi sayfalarını tarayıp taramayacağını kontrol edin. Admin paneli, özel dosyalar ve yavaş yüklenen sayfaları botlardan gizleyerek SEO performansınızı artırın.

Disallow ile Engelle

Özel Alanları Gizle

Disallow: /admin/ komutuyla admin paneli, üye giriş sayfaları ve özel klasörleri arama motorlarından gizleyin.

Allow ile İstisna Tanı

Seçici İzinler

Engellenmiş bir klasör içindeki belirli dosyalara Allow komutuyla özel izin verin. Hassas kontrol sağlayın.

Sitemap Entegrasyonu

Hızlı İndeksleme

XML sitemap URL'inizi robots.txt'e ekleyerek Google'ın sitenizi daha hızlı ve verimli taramasını sağlayın. İndeksleme süresi kısalır.

Crawl-delay Kontrolü

Sunucu Yükünü Azalt

Botların istekler arasında beklemesini sağlayarak sunucu yükünü azaltın. Özellikle yavaş hostinglerde kritik öneme sahip.

Özel Bot Kuralları

User-agent Yönetimi

Google, Bing, Yandex gibi farklı botlar için ayrı kurallar tanımlayın. Her arama motoru için özelleştirilmiş kontrol.

Hazır Şablonlar

WordPress, E-ticaret ve genel siteler için optimize edilmiş hazır şablonlarla tek tıkla profesyonel robots.txt oluşturun.

Canlı Önizleme
Syntax Validasyonu
Anında İndirme
Wildcard Desteği