Tarama davranışı hakkında konuşulan çoğu şey tahmindir. Sunucu logları ise kanıttır: hangi bot, hangi saniyede, hangi URL'i istedi ve ne yanıt aldı — hepsi orada yazılıdır.
Ne zaman gerçek bir sorun?
Crawl bütçesi popüler bir kaygı ama çoğu site için yapay bir sorun. Şu üç koşuldan en az ikisi geçerliyse analize değer:
- Site yüz binden fazla indekslenebilir URL barındırıyor
- Yeni içeriğin indekslenmesi birkaç günden uzun sürüyor
- Filtre ve sıralama kombinasyonları kombinatoryal olarak URL üretiyor
İlk analizde bakılacak beş şey
1. Durum kodu dağılımı
Googlebot isteklerini durum koduna göre gruplayın. 3xx ve 4xx oranı %15'i geçiyorsa doğrudan israf var demektir. Yönlendirme zincirleri burada hemen görünür.
2. Dizin bazlı istek payı
Botun isteklerinin yüzde kaçı hangi dizine gidiyor? Sık karşılaşılan tablo şudur: gelirin %80'ini üreten ürün sayfaları taramanın %20'sini alırken, filtre URL'leri %50'sini yutar.
3. Parametreli URL yükü
?sirala=, ?renk=, ?sayfa= gibi parametreleri sayın. Bunlar genelde ya rel="canonical" ile birleştirilmeli ya da linklenmemelidir. Linklenmeyen URL, taranmayan URL'dir.
4. Taranmayan değerli sayfalar
Site haritanızdaki URL listesiyle log içindeki URL listesini karşılaştırın. Aradaki fark, Google'ın hiç uğramadığı sayfalardır. Bunlar genelde iç link almayan derin sayfalardır.
5. Tarama sıklığı ve güncellik ilişkisi
Sık güncellenen sayfalar sık taranıyor mu? Değilse, güncelleme sinyalleriniz (site haritası lastmod, iç linkler, ana sayfadan görünürlük) zayıf demektir.
Sahte Googlebot uyarısı
Loglardaki her "Googlebot" gerçek değildir. Analize başlamadan önce IP adreslerini ters DNS ile doğrulayın; aksi hâlde tarayıcı kılığındaki botların verisiyle yanlış sonuçlara varırsınız.
Müdahale sırası
- Yönlendirme zincirlerini tek adıma indirin
- Değersiz parametre kombinasyonlarını iç linklerden çıkarın
- Site haritasını yalnızca 200 dönen kanonik URL'lerle sınırlayın
- Derin sayfalara kategori ve ilgili içerik modülleriyle iç link verin
Bu dört adım, tipik bir e-ticaret sitesinde tarama israfını birkaç hafta içinde belirgin biçimde düşürür.