Robots.txt Nedir? Arama Motorları İçin Trafik Polisi

Sitenizin bazı sayfaları Google'da görünmüyor olabilir. Ya da tam tersi — gizli kalması gereken admin paneliniz arama sonuçlarında çıkıyor olabilir. Her iki durumun sebebi genellikle aynı: robots.txt dosyası ya eksik ya da yanlış yapılandırılmış.

Robots.txt, sitenizin kök dizininde duran küçük bir metin dosyası. Arama motoru botlarına hangi sayfaları tarayabileceğini, hangilerini atlayacağını söyler. Küçük ama etkisi büyük — yanlış bir satır, tüm sitenizi Google'dan silebilir.

Robots.txt nedir?

Robots.txt, 1994'ten beri kullanılan ve tüm büyük arama motorlarının desteklediği bir standarttır. Web sitenizin kök dizininde bulunan düz bir metin dosyasından ibaret.

Googlebot, Bingbot, Yandex gibi botlar sitenize geldiğinde ilk iş https://siteniz.com/robots.txt adresine bakar. Hangi sayfalara girebileceğini, hangilerinden uzak durması gerektiğini bu dosyadan öğrenir. Dosya yoksa bot tüm sayfaları taramaya çalışır — bu da her zaman istediğiniz şey olmayabilir.

Basit bir örnek

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.seodenetim.com/sitemap.xml

Burada User-agent: * satırı tüm botları hedefliyor. Admin paneli engellenmiş ama WordPress'in AJAX dosyasına izin verilmiş çünkü bazı ön yüz işlevleri buna bağlı. En altta da sitemap konumu belirtilmiş — Google'ın sitenizi daha hızlı keşfetmesi için önemli bir detay.

Neden önemli?

Crawl budget optimizasyonu

Google'ın sitenize ayırdığı tarama kapasitesi sınırlı. Buna crawl budget deniyor. Özellikle yüzlerce, binlerce sayfası olan sitelerde bu kapasitenin nereye harcandığı çok önemli.

WordPress sitelerinde /wp-includes/ ve /wp-content/plugins/ gibi klasörlerde SEO değeri taşıyan sayfa yok. Google bu dizinleri taramak yerine asıl içeriklerinize — blog yazılarınıza, ürün sayfalarınıza — odaklanmalı. Robots.txt ile gereksiz alanları engelleyerek botu doğru yönlendirebilirsiniz.

Hassas sayfaları gizleme

Admin paneli, üye giriş sayfası, sepet, ödeme akışı... Bunların arama sonuçlarında görünmesini istemezsiniz. Robots.txt ile bu alanları botlardan gizleyebilirsiniz.

Ama burada kritik bir ayrım var. Robots.txt güvenlik aracı değil. Dosyanızı herkes görebilir — tarayıcıya /robots.txt yazması yeterli. Gerçek güvenlik için şifre koruması, sunucu tarafında erişim kısıtlaması gibi yöntemler kullanmalısınız.

Duplicate content önleme

E-ticaret sitelerinde sıkça karşılaşılan bir durum: Aynı ürün sayfası ?filtre=renk-kirmizi, ?siralama=fiyat, ?sayfa=2 gibi parametrelerle onlarca farklı URL'de görünür. Google bunların her birini ayrı sayfa olarak algılar ve duplicate content sorunu ortaya çıkar.

Filtre ve sıralama parametrelerini robots.txt ile engelleyerek bu sorunu büyük ölçüde önleyebilirsiniz.

Nasıl oluşturulur?

Notepad, VS Code, Sublime Text — herhangi bir düz metin editörü işinizi görür. Word veya Google Docs gibi kelime işlemciler gizli format karakterleri eklediği için sorun çıkarabilir, onlardan uzak durun.

Temel syntax:

User-agent: [bot-adı]
Disallow: [engellenecek-path]
Allow: [izin-verilecek-path]
Sitemap: [sitemap-url]

Dosyayı robots.txt olarak kaydedin. Büyük harf, farklı uzantı kabul edilmez. Sonra FTP veya dosya yöneticiniz aracılığıyla sitenizin kök dizinine yükleyin.

Kök dizin konumu kritik. https://siteniz.com/robots.txt şeklinde erişilebilir olmalı. /blog/robots.txt veya /public/robots.txt gibi alt dizinlere koyarsanız botlar dosyayı bulamaz. Manuel uğraşmak istemiyorsanız hazır şablonlarla da kolayca oluşturabilirsiniz.

Hangi sayfaları engellemelisiniz?

Site yapınıza göre değişir ama yaygın senaryolar belli.

WordPress siteleri

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Sitemap: https://siteniz.com/sitemap.xml

Bu şablon WordPress siteleri için iyi bir başlangıç noktası. Admin paneli ve altyapı klasörleri engelli, ama görsellerin bulunduğu /uploads/ dizini ve AJAX dosyası açık — ikisi de sitenin düzgün çalışması ve Google Images'ta görünmesi için gerekli.

E-ticaret siteleri

Sepet, ödeme ve hesap sayfalarını engelleyin. Bunların indekslenmesinin kimseye faydası yok. Asıl dikkat edilmesi gereken yer filtre parametreleri:

User-agent: *
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /*?filtre=
Disallow: /*?siralama=

Ürün sayfalarını ve blog yazılarını kesinlikle engellemeyin. Bunlar sitenizin organik trafiğinin kaynağı.

Yaygın hatalar

Yanlış konum

En sık karşılaşılan hata. Robots.txt dosyasını /public/ veya /html/ gibi bir alt dizine yüklemişsiniz ama botlar sadece kök dizine bakar. Dosya orada değilse yok sayılır.

Syntax hatası

User agent: *  (tire eksik, yanlış)
Disalow: /admin/  (yazım hatası)

Küçücük bir yazım hatası tüm dosyayı geçersiz kılabilir. User-agent ile User agent arasındaki tek tire farkı, botun kurallarınızı tamamen görmezden gelmesine yeter.

Tüm siteyi engelleme

User-agent: *
Disallow: /

Bu iki satır sitenizin tamamını arama motorlarından gizler. Geliştirme ortamında mantıklı olabilir ama canlı sitede felaket. Sıkça yapılan hatalardan biri: test ortamından canlıya geçerken bu kuralı kaldırmayı unutmak. Site günlerce indeksten düşer ve fark edilmeyebilir.

Sitemap eklememek

Robots.txt'e sitemap URL'nizi eklemeyi atlayan çok site var. Google sitemap'inizi Search Console'dan da bulabilir ama robots.txt'e yazmak ek bir sinyal. Sitemap'iniz yoksa önce onu hazırlamanız gerekir.

Robots.txt'i nasıl test edersiniz?

Google Search Console'daki robots.txt tester aracını kullanın. Dosyanızı yükleyin veya mevcut dosyanızı görüntüleyin, ardından test etmek istediğiniz URL'yi girin. Araç size o URL'nin engellenip engellenmediğini gösterir.

Her değişiklik sonrası test etmeyi alışkanlık haline getirin. Özellikle büyük düzenlemelerden sonra, farkında olmadan önemli bir sayfayı engellemiş olabilirsiniz. Google Search Console'da "Kapsam" raporunu da kontrol edin — "Robots.txt tarafından engellendi" uyarısı görürseniz dosyanızı gözden geçirin.

Robots.txt küçük bir dosya ama sitenizin Google'daki görünürlüğü üzerinde doğrudan etkisi var. Doğru yapılandırılmış bir robots.txt, crawl budget'ınızı verimli kullanmanızı sağlar ve gereksiz sayfaların indekslenmesini önler. WordPress kullanıyorsanız veya e-ticaret siteniz varsa etkisi daha da belirgin.

Henüz robots.txt dosyanız yoksa bir metin editörü açıp kurallarınızı yazın, kök dizine yükleyin ve Search Console'da test edin. Beş dakikanızı almaz ama uzun vadede SEO performansınıza ciddi katkı sağlar.