Site haritalarının oluşturulması belirli standartlara oturtulmasıyla arama motorlarının siteleri indekslemesinin kalitesini artırmaya yönelik üç büyük arama motoru (Google, Yahoove MSN) ortak bir noktada buluştular. Artık üç büyük arama motoruna site haritanızı otomatik eklemeniz için robots.txt dosyasına bir satır eklemeniz yeterli olacak.Örnek:Sitemap:http://blog.yildizbilisim.biz/sitemap.xmlBuraya site adıının olduğu yere kendi sitenizi yazacaksınız…Arama motorları sitenize geldiğinde ilk yaptıkları şey robots.txt dosyasına bakmak olur. Nereler indexlenecek nereler gözardı edilecek bu dosyada vardır. Bu satırı ekledeğinizde arama motoru site haritanızın olduğunu görür. Ve satırda yazdığınız site haritasının adresini otomatik olarak kendine ekler.
