Robots.txt dosyası olmayan bir site Google'da görünür mü? Evet, görünür. Dosya zorunlu değil. Ama bu, ihtiyacınız olmadığı anlamına gelmez.
Dosya yoksa arama motorları varsayılan olarak her sayfaya erişir. 10 sayfalık bir blog için sorun yok. Oysa wp-admin klasörü, üye giriş sayfaları veya ?s= arama URL'leri varsa Google bunları da tarar. Sonuç: gereksiz sayfalar indekslenir, crawl budget boşa gider.
Robots.txt olmadan ne olur?
Dosya yoksa botlar her sayfayı taramaya çalışır. "Varsayılan izin" modu aktif. Google, Yandex, Bing — hepsi kısıtlama görmeden gezinir.
10-20 sayfalık blog için sorun çıkmaz. Zaten taranacak fazla sayfa yok. Ama WordPress sitesi farklı: wp-admin, wp-includes, /?s=kelime, /author/admin, /2024/01/ — bunların hepsi taranabilir. Google bunları indeksleyebilir.
Crawl budget nedir? Google'ın sitenizde belirli sürede tarayabileceği sayfa kotası. Büyük siteler için kritik. Gereksiz sayfalara harcanan kota, yeni blog yazınızın 3 gün geç taranmasına yol açar.
Hangi siteler robots.txt olmadan çalışır?
Statik HTML siteler. 5-10 sayfalık kurumsal site, tüm sayfalar indekslenebilir. Gizli sayfa yoksa dosya gereksiz.
Kişisel bloglar. Haftada bir yazı, toplam 50 yazı — robots.txt zorunlu değil. Admin paneli WordPress.com'daysa zaten erişilemez.
Landing page'ler. Tek sayfalık ürün tanıtımı. Başka sayfa yok, dosya gereksiz.
Ama dikkat: blog 100 yazıya ulaştığında, kategori ve etiket sayfaları oluştuğunda, arama özelliği eklendiğinde durum değişir.
Ne zaman robots.txt şart olur?
WordPress siteleri. Varsayılan olarak wp-admin, wp-includes açık. Arama sonuç sayfaları (?s=kelime), yazar arşivleri, tarih arşivleri duplicate content yaratır.
E-ticaret. Sepet, ödeme, hesap sayfaları indekslenmemeli. Filtre parametreleri (?price=100-200, ?sort=price) binlerce duplicate URL üretir.
Üyelik sistemli siteler. Giriş, kayıt, şifre sıfırlama sayfaları Google'da görünmemeli.
Arama özelliği olan siteler. Her sorgu yeni URL: /search?q=seo, /search?q=robots, /search?q=sitemap. Robots.txt ile /search?* engelleyin.
Robots.txt olmadan SEO yapmanın riskleri
Crawl budget israfı. Google'ın tarama kotası sınırlı. Site otoritesine, sunucu hızına, içerik kalitesine bağlı. Yeni blog yazısı yayınladınız, Google 3 gün sonra fark etti. Neden? Bot arama sonuç sayfalarını taramakla meşguldü.
Duplicate content. Aynı içerik farklı URL'lerde: /blog/seo-nedir ve /kategori/seo/seo-nedir. Google hangisini indekslesin? Canonical tag çözer ama robots.txt ile gereksiz URL'yi tamamen engellemek daha temiz.
Güvenlik algısı. Admin paneli, giriş sayfası Google'da görünüyorsa kullanıcı endişelenir. Şifre korumalı olsa da arama sonuçlarında görünmesi profesyonel değil.
Site haritası karmaşası. Sitemap'e 100 sayfa eklediniz, Google 500 sayfa buluyor. Çünkü bot her linki takip ediyor. Hangi sayfalar önemli? Robots.txt net sınır çizer.
Robots.txt yerine alternatif yöntemler
Meta robots noindex: <meta name="robots" content="noindex, follow"> eklerseniz Google sayfayı indekslemez. Ama dezavantaj var — bot sayfayı yine de tarar. Crawl budget harcaması devam eder. Robots.txt ile sayfayı tamamen engellerseniz bot hiç taramaz.
Canonical tag: Duplicate content sorununu çözer ama sayfayı engellemez. Google her iki sayfayı da tarar, sadece birini indeksler. Crawl budget açısından verimsiz.
Şifre koruması: Admin paneli zaten şifre korumalı. Oysa Google giriş sayfasını tarayabilir, arama sonuçlarında gösterebilir.
htaccess ile IP engelleme: Belirli botları tamamen engelleyebilirsiniz. Ama agresif. Google'ı tamamen engellerseniz site hiç indekslenmez.
Bu yöntemler robots.txt'in yerini tutmaz. Kombinasyon halinde kullanılabilir ama robots.txt temel katman.
Robots.txt eklemenin doğru zamanı
Site 50+ sayfaya ulaştığında ekleyin. Kategori, etiket, arşiv sayfaları oluşmaya başlar.
WordPress veya başka CMS kullanıyorsanız ilk günden ekleyin. CMS'ler varsayılan olarak birçok gereksiz sayfa yaratır.
E-ticaret sitesi açıyorsanız zorunlu. Sepet, ödeme, hesap sayfaları indekslenmemeli. Filtre parametreleri binlerce duplicate sayfa yaratabilir.
Google Search Console'da "Taranmış - şu anda indekslenmedi" uyarısı görüyorsanız ekleme zamanı gelmiş. Google gereksiz sayfaları tarıyor demek.
Crawl istatistikleriniz yüksek ama indekslenen sayfa sayısı düşükse sorun var. Robots.txt Oluşturucu aracımız ile hızlıca dosya oluşturun.
Robots.txt nasıl oluşturulur?
Basit. Metin editörü açın, kurallarınızı yazın, robots.txt olarak kaydedin, kök dizine yükleyin.
Temel örnek:
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: https://siteadi.com/sitemap.xmlBu örnek tüm botlara (User-agent: *) admin klasörlerini engellemesini söyler. Sitemap satırı Google'a site haritanızın yerini bildirir.
WordPress için daha kapsamlı örnek:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /?s=
Disallow: /search/
Sitemap: https://siteadi.com/sitemap.xmlAdmin-ajax.php'ye izin verilir çünkü bazı eklentiler bu dosyaya ihtiyaç duyar. Arama sayfaları engellenir.
Dosyayı oluşturduktan sonra FTP veya cPanel ile kök dizine yükleyin. Doğru konum: https://siteadi.com/robots.txt
Google Search Console'da test edin. "robots.txt Tester" aracı ile dosyanızı kontrol edin. Hata varsa düzeltin.
Robots.txt Oluşturucu aracımız ile hazır şablonlar kullanabilirsiniz. Sitenizin yapısına uygun şablonu seçip düzenleyin.
Robots.txt zorunlu değil ama çoğu site için şiddetle önerilir. Küçük, basit siteler olmadan çalışabilir. Site büyüdükçe, içerik çeşitlendikçe ihtiyaç doğar.
Dosya oluşturmak basit. Robots.txt Oluşturucu aracımız ile birkaç dakikada hazırlayın. Crawl budget'ınızı korur, duplicate content sorununu azaltır, hassas sayfaları gizler. WordPress ve e-ticaret siteleri için kritik.
Sitenizde henüz robots.txt yoksa en kısa sürede oluşturun. XML Sitemap Generator ile site haritanızı da oluşturup robots.txt'e ekleyin. Kurulum birkaç dakika, fayda kalıcı.