Robots.txt dosyası arama motorları ve örümceklerin sitenizdeki dosya ve dizinleri kayıt etmeleri için izin veren yada engelleyen dosyadır.Hazırlamak için notepad(not defteri) ı açıp güvenliğinize uygun kodları yazıp Robots.txt adında kaydedip sitenizin ana dizinine koymanız yeterlidir.Örnek Kullanım:User-Agent: *Disallow:/panel/Allow:/images/Disallow kayıt altına alınmasını istemediğimiz dosyaları seçmemizi sağlar.Allow kayıt altına alınmasını istediğimiz dosyaları seçmemizi sağlar.Örneğim resimleri engellemek istiyorsak görsellerimizi korumak içinUser-Agent: Googlebot-ImageDisallow:/kodu yeterli olucaktır.Ancak bu sadece ara motorunda çıkmasını engeller.Java script ile takviye yapılarak görsel anlamda güvenlik sağlanabilir.Resimlerinizi çalamamış olurlar.
