Robots.txt dosyasını oluşturdunuz ama nereye yükleyeceğinizi bilmiyorsunuz. Yanlış konum seçimi, arama motorlarının sitenizi taramasını engelleyebilir.
Dosya, domain adınızın hemen altındaki kök dizine gitmeli. Çoğu hosting'de bu klasör public_html, www ya da htdocs adını taşır. Doğru yüklendiğinde https://siteadi.com/robots.txt adresinden erişebilirsiniz.
FTP ve cPanel üzerinden yükleme adımlarını, konum testini ve sık yapılan hataları göreceğiz.
Kök Dizin Nedir?
Kök dizin (root directory), web sitenizin dosyalarının saklandığı en üst seviye klasör. Domain adınızı tarayıcıya yazdığınızda sunucu bu dizindeki dosyaları gösterir.
Hosting sağlayıcınıza göre farklı isimler alır:
public_html (cPanel ve çoğu Linux hosting), www (bazı Linux hostingler), htdocs (Apache sunucular), wwwroot (Windows sunucular). Hangi isimle karşılaşırsanız karşılaşın, sitenizin ana dizini burası.
Kök dizinde genellikle şunlar bulunur: index.html veya index.php (ana sayfa), .htaccess (sunucu yapılandırma), robots.txt, sitemap.xml, favicon.ico. Arama motorları bu dosyalara doğrudan erişir.
Robots.txt Neden Kök Dizinde Olmalı?
Arama motorları robots.txt'i her zaman domain adınızın hemen altında arar. Google, Bing ve diğer botlar sitenizi taramaya başlamadan önce https://siteadi.com/robots.txt adresini kontrol eder.
Robots Exclusion Protocol standardı dosyanın kök dizinde olmasını zorunlu tutar. https://siteadi.com/blog/robots.txt veya https://siteadi.com/admin/robots.txt gibi konumlar geçersiz.
Yanlış konum seçerseniz belirlediğiniz tarama kuralları işlevsiz kalır. Sitemap dosyanızı robots.txt içinde bildiriyorsanız, arama motorları bu bilgiye erişemez.
FTP ile Yükleme
FileZilla, WinSCP ya da Cyberduck gibi ücretsiz FTP programları kullanabilirsiniz. Hosting sağlayıcınızdan aldığınız bilgilerle (sunucu adresi, kullanıcı adı, şifre) bağlanın.
Sunucu bilgilerinizi girerek bağlantı kurun. Sağ tarafta sunucu dosyalarını göreceksiniz. Kök dizini bulun (public_html, www veya htdocs). Sol taraftan bilgisayarınızdaki robots.txt dosyasını seçip sağ tarafa sürükleyin.
Yükleme birkaç saniye sürer. Ardından tarayıcınızda https://siteadi.com/robots.txt adresini açın. Dosya içeriğini görebiliyorsanız başarılı. 404 hatası alıyorsanız konum veya dosya adını kontrol edin.
Dikkat Edilecekler
Dosya adı tam olarak "robots.txt" olmalı. Linux sunucularda büyük-küçük harf duyarlılığı var; "Robots.txt" veya "ROBOTS.TXT" çalışmaz.
Dosya izinleri 644 olmalı. Bu sayede herkes okuyabilir ama sadece siz yazabilirsiniz. FTP programında dosyaya sağ tıklayıp "File Permissions" veya "Chmod" seçeneğinden ayarlayın.
cPanel ile Yükleme
Çoğu hosting sağlayıcı cPanel kullanır. Giriş için hosting sağlayıcınızın verdiği adresi (genellikle https://siteadi.com:2083) kullanın.
İki yöntem var. İlki File Manager: cPanel ana sayfasında "File Manager" simgesine tıklayın, "public_html" klasörünü seçin, üst menüden "Upload" butonuna tıklayın, bilgisayarınızdan robots.txt dosyasını seçip yükleyin.
İkinci yöntem yerleşik editör. Bazı cPanel sürümlerinde "Robots.txt Editor" aracı bulunur. Dosyayı doğrudan cPanel içinde oluşturabilirsiniz. Ama bu özellik tüm hosting sağlayıcılarında yok.
File Manager İpuçları
Gizli dosyaları göster seçeneğini aktif edin. .htaccess gibi önemli dosyaları görmek için gerekli. Sağ üst köşedeki "Settings" butonundan "Show Hidden Files" seçeneğini işaretleyin.
Mevcut robots.txt varsa üzerine yazmadan önce yedek alın. Dosyaya sağ tıklayıp "Copy" seçeneğini kullanarak robots-backup.txt gibi bir isimle kopyalayın.
Konum Testi
En basit test: tarayıcınızda https://siteadi.com/robots.txt adresini açın. Dosya içeriğini görebiliyorsanız konum doğru. 404 hatası alıyorsanız dosya yanlış konumda veya yüklenmemiş.
Google Search Console profesyonel test sunar. Search Console'a giriş yapın, sol menüden "Tarama" > "robots.txt Tester" bölümüne gidin. Dosyanızın içeriğini görebilir ve belirli URL'lerin engellenip engellenmediğini test edebilirsiniz.
Robots.txt oluşturma aracımızı kullanarak dosyanızın syntax'ını kontrol edin. Syntax hataları dosyanın işlevsiz kalmasına neden olabilir.
Yaygın Hatalar
En yaygın hata: dosyayı alt dizine yüklemek. public_html/blog/ veya public_html/wp-content/ yanlış. Dosya public_html klasörünün içinde, herhangi bir alt klasörde değil, doğrudan kök dizinde olmalı.
Dosya adı hatası da sık görülür. "robot.txt", "Robots.txt" veya "robots.txt.txt" geçersiz. Windows'ta dosya uzantılarını göster seçeneğini aktif edin.
Türkçe karakter sorunu: Robots.txt ASCII formatında olmalı, UTF-8 BOM içermemeli. Notepad++ veya Visual Studio Code ile açıp "Encoding" ayarını "UTF-8 without BOM" yapın.
Alt Domain ve Alt Dizin
Alt domain (blog.siteadi.com) ayrı bir site gibi davranır, kendi robots.txt'ine ihtiyaç duyar. Alt dizin (siteadi.com/blog) ana sitenin parçasıdır, ana robots.txt geçerlidir.
blog.siteadi.com gibi bir alt domain kullanıyorsanız ayrı robots.txt oluşturun. Ana domain'deki dosya alt domain'i etkilemez.
WordPress ve CMS Sistemleri
WordPress varsayılan olarak sanal robots.txt oluşturur. Kök dizinde fiziksel dosya yoksa otomatik temel kuralları sunar. Özel kurallar eklemek için fiziksel dosya yükleyin.
Fiziksel robots.txt yüklemek için FTP veya cPanel ile public_html klasörüne yükleyin. WordPress sanal dosyayı devre dışı bırakır, fiziksel dosyanızı kullanır. Yoast SEO gibi eklentiler de robots.txt düzenleme özelliği sunar.
Joomla, Drupal, Magento'da benzer mantık geçerli. Kök dizine fiziksel dosya yüklerseniz sistem onu kullanır.
Güvenlik ve İzinler
Robots.txt herkese açık olmalı çünkü arama motorları okuyabilmeli. Ama bu güvenlik açığı değil. Dosya sadece okunabilir olmalı, yazılabilir olmamalı. Linux sunucularda izinler 644 olmalı.
644 izni: Dosya sahibi okuyabilir ve yazabilir (6), grup üyeleri sadece okuyabilir (4), diğer kullanıcılar sadece okuyabilir (4). FTP programında dosyaya sağ tıklayıp "File Permissions" seçeneğinden kontrol edin.
Hassas bilgi paylaşmayın. Dosya herkese açık olduğu için admin paneli yolları veya gizli klasörler kötü niyetli kişiler tarafından görülebilir. Gerçek güvenlik için .htaccess dosyasını veya sunucu düzeyinde erişim kontrollerini kullanın.