robots.txt dosyasının ne işe yaradığını websitesi olan arkadaşların pek çoğu bilir. Arama motorlarının sitenizdeki, indekslenmesini istemediğiniz dosyaları, klasörleri belirtmenize yarar. Peki Google’ın kendi robots.txt sini görmüşmüydünüz.