Robots.txt
Botlara sitenin hangi bölümlerini tarayabileceğini bildiren kök dizin dosyası.
Taramayı engeller, indekslemeyi değil. Bir sayfayı sonuçlardan çıkarmak için noindex gerekir.
Engellenen bir sayfa yine de dış linkler nedeniyle indekslenebilir.
İlgili terimler