Googlebot, Google’ın web sayfalarını keşfetmek, taramak ve işlemek için kullandığı bot ailesinin en görünür üyesidir. Ancak pratikte tek bir bottan söz etmiyoruz. Görsel içerik, haber, video, reklam kalite kontrolü ve mobil tarama gibi farklı işler için ayrışan botlar vardır. “Googlebot geldi” dediğiniz anda aslında hangi botun, hangi amaçla ve hangi kaynağa eriştiği sorusu önem kazanır.
Birçok site sahibi Googlebot’u tek satırlık bir user-agent gibi düşünür. Bu bakış, robots kurallarını çok kabalaştırır. Sonra ya gereğinden fazla alan engellenir ya da hangi kaynağın neden tarandığı anlaşılamaz. Özellikle büyük sitelerde, tarama bütçesi ve indeksleme verimliliği konuşuluyorsa, Googlebot ailesini bot türleri üzerinden okumak gerekir. Aksi halde sorun “Google taramıyor” gibi genel cümlelerle tarif edilir ama asıl sebep görünmez.
Bu yazının odağı user-agent temeline geri dönmek değil. Mevcut içeriklerden farklı olarak burada Googlebot bot türleri, tarama davranışı, mobil öncelik, doğrulama ve robots yönetimi üzerinden ilerliyorum. Eğer kuralları test etmek ya da botlara özel erişim mantığını netleştirmek istiyorsanız, tarama kurallarını canlı biçimde düzenlemek teorik anlatımdan daha hızlı sonuç verir.
Googlebot tam olarak ne yapar?
Googlebot’un ana görevi web’deki URL’leri keşfetmek, bu URL’lere gidip içeriği almak ve Google’ın dizinine girecek veriyi hazırlamaktır. Bu süreç yalnızca HTML indirmekten ibaret değildir. Sayfadaki bağlantılar, kaynak dosyalar, medya içerikleri, canonical işaretleri ve bazı durumlarda render süreci de değerlendirmeye girer. Yani bot yalnızca “sayfa var mı?” diye bakmaz; sayfanın ne kadar erişilebilir ve anlaşılır olduğunu da okumaya çalışır.
Burada önemli ayrım, tarama ile indekslemenin aynı şey olmamasıdır. Googlebot sayfayı taramış olabilir, ama bu sayfanın mutlaka dizine eklendiği anlamına gelmez. Tersine, bazı sayfalar daha az taranır ama daha hızlı dizine alınır. Bu yüzden sunucu loglarında botu görmekle arama görünürlüğü arasında bire bir eşitlik kurmak yanıltıcıdır. Bot ziyareti bir sinyaldir, sonuç değil.
Googlebot aynı zamanda tek tip davranmaz. Ana HTML sayfa, görsel dosyalar ve video kaynakları için aynı ihtiyaç yoktur. Üstelik mobil öncelikli indeksleme nedeniyle taramanın merkezinde artık mobil bakış daha görünürdür. Masaüstünde sorunsuz görünen bir yapı, mobil sürümde daha zayıf sinyal üretebilir. Bu yüzden Googlebot’un hangi yüzünü konuştuğunuzu netleştirmek gerekir.
Google arama botu türleri nelerdir?
En sık duyulan ad Googlebot olsa da sahada farklı görevleri olan bir bot ailesi vardır. Ana web sayfalarını gezen temel bot dışında görsel arama için ayrı davranan, video içeriğini işleyen, haber alanını değerlendiren ve reklam kalite kontrolü yapan botlar bulunur. Her birinin önceliği ve dokunduğu kaynak tipi biraz farklıdır.
| Bot türü | Ana görevi | Öne çıkan kaynak tipi |
|---|---|---|
| Googlebot | Ana web sayfalarını taramak | HTML sayfalar |
| Googlebot-Image | Görselleri keşfetmek ve değerlendirmek | Resim dosyaları |
| Googlebot-Video | Video sayfaları ve ilgili kaynakları anlamak | Video ve poster kaynakları |
| Googlebot-News | Haber niteliğindeki içerikleri işlemek | Haber sayfaları |
| AdsBot-Google | Reklam açılış sayfalarını kalite açısından kontrol etmek | Landing sayfalar |
Bu botlar aynı siteye farklı ihtiyaçlarla gelir. Örneğin görsel arama görünürlüğü hedefliyorsanız sadece ana HTML taramasına odaklanmak yetmez. Görsel URL’lerinin erişilebilirliği, alt metinlerin kalitesi ve kaynakların robots ile yanlışlıkla kapatılmaması gerekir. Haber alanında ise içerik güncelliği ve yayın yapısı daha görünür hale gelir.
Hepsini ayrı ayrı yönetmek gerekir mi?
Her zaman hayır. Küçük ve sade sitelerde genel kurallar çoğu zaman yeterlidir. Fakat medya ağırlıklı, haber odaklı ya da reklam trafiği alan sitelerde bot türlerini ayırmak faydalı olur. Çünkü aynı engelleme kuralı, bir bot için güvenli görünürken başka bir bot için kritik kaynağı kapatabilir.
Buradaki amaç her bot için ayrı bir robots dosyası yazmak değil; hangi botun hangi kaynağa ihtiyacı olduğunu bilmektir. Bu bilgi olmadan yapılan engellemeler, özellikle resim ve script kaynaklarında beklenmedik görünürlük kaybı yaratabilir.
Mobil öncelikli tarama Googlebot davranışını nasıl değiştirir?
Google’ın mobil öncelikli indeksleme yaklaşımı, Googlebot’un masaüstü sürümünü tamamen önemsiz hale getirmedi ama karar merkezini mobil deneyime yaklaştırdı. Yani bot sayfayı mobil perspektiften değerlendirirken, masaüstünde bulunan bazı içeriklerin mobilde eksik ya da gizlenmiş olması fark yaratır. Mobilde görünmeyen ya da geç yüklenen kritik içerik, tarama ve değerlendirme kalitesini düşürebilir.
Burada en sık görülen hata, mobil sürümde önemli içeriği sadeleştirme bahanesiyle kesmektir. Başlık, açıklama, iç link blokları ya da yapılandırılmış veri bölümleri masaüstünde varken mobilde zayıflatılmışsa, bot da daha zayıf sinyal okur. Bu yüzden responsive tasarım ile içerik eşdeğerliliğini birlikte düşünmek gerekir. Mobil sadeleştirme yapılabilir; ama sinyal kaybı pahasına yapılmamalıdır.
Kaynak erişimi de mobil tarafta daha hassastır. CSS ya da JavaScript dosyalarını gereksiz biçimde engellemek, sayfanın nasıl işlendiğini botun anlamasını zorlaştırabilir. Bu yüzden robots üzerinden kaynak engellerken dikkatli olunmalı. Özellikle render için gerekli dosyaları topluca kapatmak, botun sayfayı eksik yorumlamasına neden olabilir.
Pratikte botun ne gördüğünü anlamak için sayfanın mobil tarafını performans ve erişim perspektifiyle düşünmek gerekir. Yalnızca tasarım düzgün görünüyor diye karar vermek yetersizdir. İlk ekran yapısı, geç yüklenen içerik, resim kaynakları ve script bağımlılıkları birlikte değerlendirilmelidir.
Googlebot tarama sıklığını ve crawl budget'ı ne etkiler?
Tarama sıklığı birçok faktörün birleşimidir. Sunucunun yanıt hızı, sayfa kümesinin güncellik düzeyi, site içi bağlantı yapısı, URL sayısı ve gereksiz tekrarların miktarı bunlardan bazılarıdır. Özellikle büyük sitelerde Googlebot her URL’ye aynı enerjiyle yaklaşmaz. Daha önemli, daha güncel ya da daha güçlü bağlantı alan sayfalar genellikle daha görünür tarama önceliği kazanır.
Crawl budget konusu küçük sitelerde bazen gereğinden fazla büyütülür. 30-40 sayfalık bir sitede asıl sorun çoğu zaman crawl budget değil, zayıf içerik ya da zayıf sinyaldir. Fakat filtreli URL’ler, parametreli yapılar, tekrar eden sayfalar ve çok büyük arşivler devreye girdiğinde tarama verimliliği gerçek bir mesele olur. Bu aşamada robots yönetimi, site haritası ve iç link mimarisi birlikte çalışmalıdır.
Googlebot daha sık gelsin diye yalnızca daha fazla URL üretmek işe yaramaz. Hatta bazen tam tersini yapar ve keşif yükünü artırır. Daha verimli yöntem, gerçekten değer taşıyan URL’leri öne çıkarmak, tekrarlı yapıları azaltmak ve site içi akışı netleştirmektir. İçerik kümelerini düzenlerken önemli URL’leri açık ve temiz bir yapı içinde sunmak bu yüzden destekleyici rol oynar.
Bir diğer kritik konu da sunucu davranışıdır. Sürekli hata veren, ağır yanıt dönen veya zaman zaman bot erişimini kesen altyapılar tarama güvenini zayıflatır. Teknik olarak her şey doğru görünse bile bu tür dengesizlikler, botun ziyaret ritmini etkileyebilir.
Robots.txt ile Googlebot'u nasıl doğru yönlendirirsiniz?
Robots.txt, Googlebot’a mutlak emir veren bir mekanizma değil; tarama davranışını yöneten kurallar bütünüdür. Bu nedenle neyi kapattığınızı çok iyi bilmeniz gerekir. Admin paneli, test alanları, özel filtre kombinasyonları ya da gereksiz parametreli sayfalar için engelleme mantıklı olabilir. Ancak CSS, JS ya da önemli medya kaynaklarını kör biçimde kapatmak çoğu zaman ters etki yaratır.
Googlebot özelinde sık yapılan hata, tüm botları `*` altında yönetip işin bittiğini sanmaktır. Küçük sitelerde bu yeterli olabilir; fakat bazı durumlarda Googlebot-Image gibi türler için daha net düşünmek gerekebilir. Eğer görseller arama görünürlüğü hedefleniyorsa, görsel kaynakların engellenmediğinden emin olmalısınız. Aynı şekilde reklam odaklı landing sayfalar yönetiliyorsa AdsBot davranışı da gözden kaçmamalıdır.
User-agent: Googlebot
Disallow: /yonetim/
Allow: /wp-content/uploads/
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Sitemap: https://www.seodenetim.com/sitemap.xmlBu tip yapıların değeri, niyetin açık olmasıdır. Botu tamamen kısıtlamak yerine gereksiz alanları kapatır, önemli kaynakları serbest bırakırsınız. Eğer bu ayrımı kurmakta zorlanıyorsanız, kural setini bot türüne göre görsel olarak düzenlemek hatalı engelleme riskini azaltır.
Sahte Googlebot trafiği nasıl ayırt edilir?
Loglarda “Googlebot” user-agent’ı görmek, her zaman gerçek Google botu gördüğünüz anlamına gelmez. Bazı kötü niyetli botlar aynı user-agent string’ini taklit eder. Bu yüzden yalnızca isme bakarak karar vermek zayıf yöntemdir. Özellikle agresif tarama, yüksek istek hacmi ya da beklenmedik davranış görüyorsanız doğrulama yapmanız gerekir.
Doğrulama mantığı genellikle ters DNS ve ileri DNS kontrolü ile yapılır. İstek yapan IP’nin gerçekten Google’a ait alan adıyla eşleşip eşleşmediğine bakılır. Bu adım özellikle güvenlik ve tarama yönetiminde önemlidir; çünkü sahte botu gerçek bot sanıp yanlış izin verebilirsiniz. Öte yandan gerçek Googlebot’u engellediğinizi sanmadan önce de benzer doğrulamayı yapmak gerekir.
Burada denge önemlidir. Her yoğun bot trafiğini saldırı sanmak da hatalıdır, her “Googlebot” etiketini gerçek kabul etmek de. Büyük sitelerde bu ayrımı log analizi ve DNS doğrulama ile temizlemeniz gerekir. Aksi halde hem tarama kalitesi hem güvenlik tarafı aynı anda zarar görebilir.
Googlebot'u tek bot değil, görev ailesi olarak düşündüğünüzde robots kuralları, log analizi ve tarama teşhisi daha net hale gelir. Asıl iş hangi botun hangi kaynağa neden ihtiyaç duyduğunu ayırmaktır; gereksiz alanları kapatıp kritik dosyaları açık bıraktığınızda sorunların büyük bölümü zaten görünür olur.