Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası, web sitenizin arama motorları tarafından nasıl taranacağını belirler. Dosya adı tam olarak "robots.txt" olmalı—büyük R veya .TXT uzantısı kullanırsanız botlar dosyayı görmez. Kök dizine yüklenmeli; alt klasöre atarsanız işe yaramaz.

Dosyayı Oluşturmak

Not Defteri veya Notepad++ açın. Yeni dosya oluşturun, "robots.txt" olarak kaydedin. İçeriği belirleyin:

User-agent: *
Disallow:

Bu, tüm botlara tüm sayfaları tarama izni verir. Çoğu site belirli dizinleri engeller.

Syntax Kuralları

Her kural bloğu "User-agent" ile başlar—hangi bot için kural tanımladığınızı belirtir. Ardından "Disallow" veya "Allow" direktifleri gelir.

WordPress yönetim panelini engellemek için:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

wp-admin dizini engellenir ama admin-ajax.php'ye izin verilir. Bu dosya sitenizin düzgün çalışması için gerekli; engellerseniz AJAX istekleri bozulur.

Wildcard karakterler: yıldız (*) herhangi bir karakter dizisini, dolar işareti ($) URL sonunu temsil eder. Tüm PDF dosyalarını engellemek için:

User-agent: *
Disallow: /*.pdf$

Dikkat: wildcard kullanımı Google ve Bing'de çalışır ama eski botlarda sorun çıkarabilir. Test edin.

Sitemap Ekleme

Robots.txt dosyanıza sitemap URL'nizi ekleyin:

Sitemap: https://siteadi.com/sitemap.xml

Birden fazla sitemap varsa her biri için ayrı satır ekleyin. Çok dilli siteler genellikle dil başına bir sitemap kullanır.

Kök Dizine Yükleme

Dosyayı sitenizin kök dizinine yükleyin—domain adınızın hemen altındaki ana klasör. FTP programı (FileZilla) veya hosting kontrol paneli (cPanel, Plesk) kullanabilirsiniz.

FTP ile: Sunucuya bağlanın, public_html, www veya htdocs klasörünü bulun. Robots.txt'yi buraya yükleyin. Alt klasöre yüklerseniz botlar dosyayı görmez.

cPanel ile: Dosya Yöneticisi → public_html → Dosya Yükle. Yükleme sonrası dosyanın doğru konumda olduğunu kontrol edin.

Test Etme

Tarayıcıda "https://siteadi.com/robots.txt" adresine gidin. Dosya içeriği görünmeli. Görünmüyorsa dosya adı yanlış veya konum hatalı.

Google Search Console'da daha detaylı test: Tarama → robots.txt Tester. Syntax hatalarını kontrol edin, belirli URL'lerin engellenip engellenmediğini test edin.

Yaygın hatalar: "Robots.TXT" (büyük harf), "robot.txt" (eksik s), alt dizine yükleme. Dosya adı tam olarak "robots.txt" olmalı, kök dizinde bulunmalı.

Hazır Şablonlar

WordPress siteleri için:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Sitemap: https://siteadi.com/sitemap.xml

E-ticaret siteleri için sepet ve ödeme sayfalarını engelleyin:

User-agent: *
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /*?add-to-cart=

Sitemap: https://siteadi.com/sitemap.xml

Dikkat: Aşırı kısıtlayıcı kurallar SEO performansını düşürür. Sadece gerçekten gizli kalması gereken sayfaları engelleyin.

Crawl-Delay (Dikkatli Kullanın)

Bazı arama motorları için tarama hızını kontrol edebilirsiniz:

User-agent: Yandex
Crawl-delay: 2

Yandex botu her sayfa arasında 2 saniye bekler. Çok yüksek değer (5+ saniye) sitenizin taranma hızını düşürür, yeni içerik geç indekslenir.

Google crawl-delay'i desteklemez. Google için tarama hızını Search Console'dan ayarlayın.

Güncelleme ve Bakım

Site yapısı değiştikçe robots.txt'yi güncelleyin. Yeni bölüm eklediyseniz veya eski dizini kaldırdıysanız dosyayı düzenleyin.

Google Search Console'da tarama hatalarını kontrol edin. Engellenmiş kaynaklar nedeniyle sorun varsa robots.txt dosyanızı gözden geçirin. Bazen yanlışlıkla önemli sayfaları engellersiniz—örneğin CSS veya JavaScript dosyaları.

Yanlış kural tüm sitenizi arama motorlarından gizleyebilir. Test etmeden canlı siteye yüklemeyin. Önce yerel ortamda veya test sunucusunda deneyin. Özellikle "Disallow: /" kuralı tüm siteyi engeller; bunu yalnızca site bakımdayken kullanın.