C C ile başlayanlar

Crawl Bütçesi

Arama motoru botunun belirli bir sürede sitenizde tarayacağı URL sayısı.

Yalnızca yüz binlerce URL barındıran sitelerde gerçek bir kısıt hâline gelir.

Bütçeyi en çok tüketen şey genelde parametreli ve filtreli URL'lerin sonsuz kombinasyonudur.

İlgili terimler

Log Analizi

Sunucu erişim kayıtlarını inceleyerek botların site içindeki gerçek davranışını ölçme yönt...

Parametreli URL

Sorgu dizesi içeren, genellikle filtre veya sıralama üreten adres.

Robots.txt

Botlara sitenin hangi bölümlerini tarayabileceğini bildiren kök dizin dosyası.