Bir robots.txt numarası

Hemen hemen tüm arama motorları, dosyasının ana dizinde olup olmadığına bakar. Robots.txt ile arama motorunun siteniz içinde nasıl hareket edeceğini bildiren yönergeler tanımlarsınız. Bunlar hangi dizinlerin arama indeksine dahil edileceği/edilmeyeceği, hangi arama motorunun sitenizi ne zaman veya ne sıklıkla ziyaret etmesi gerektiği (çünkü bazen arama motorları site trafiğinizin en yoğun olduğu zamanlarda daha da yük getirebiliyor) gibi yönergeler olabilir.

Robots.txt nin başka bir özelliği de “Sitemaps auto discovery” . Sitenizde bir sitemap sayfası yer alıyorsa, motorun sitenizi daha iyi indekslemesi için sitemap adresini de belirtebilirsiniz. Bunun yanında genellikle sitemaps adresleri arama motorunun kayıt sayfasından elle eklenir. Bu iş için robots.txt dosyasından yararlanmak oldukça kullanışlı.

Örnek robots.txt dosyanızın içeriği şöyle olabilir:

sitemap: http://www.example.com/sitemap.xml.gz

Sitemap özelliği Google, Yahoo!, MSN ve Ask gibi büyük arama motorları tarafından destekleniyor.