Robots.txt dosyası arama motorları ve örümceklerin sitenizdeki dosya ve dizinleri kayıt etmeleri için izin veren yada engelleyen dosyadır.Hazırlamak için notepad(not defteri) ı açıp güvenliğinize uygun kodları yazıp Robots.txt adında kaydedip sitenizin ana dizinine koymanız yeterlidir.
Örnek Kullanım:
User-Agent: *
Disallow:/panel/
Allow:/images/
Disallow kayıt altına alınmasını istemediğimiz dosyaları seçmemizi sağlar.
Allow kayıt altına alınmasını istediğimiz dosyaları seçmemizi sağlar.
Örneğim resimleri engellemek istiyorsak görsellerimizi korumak için
