C C ile başlayanlar

Crawler

Web sayfalarını otomatik olarak gezen ve içeriklerini toplayan yazılım.

Googlebot, Bingbot ve GPTBot birer crawler'dır. Her birinin kendi kuralları ve user-agent adı vardır.

İlgili terimler

Crawl Bütçesi

Arama motoru botunun belirli bir sürede sitenizde tarayacağı URL sayısı.

İndeksleme

Taranan bir sayfanın arama motorunun veri tabanına eklenmesi.

Robots.txt

Botlara sitenin hangi bölümlerini tarayabileceğini bildiren kök dizin dosyası.