bildirgec.org

Robots.txt dosyası arama motorları ve örümceklerin sitenizdeki dosya ve dizinleri kayıt etmeleri için izin veren yada engelleyen dosyadır.Hazırlamak için notepad(not defteri) ı açıp güvenliğinize uygun kodları yazıp Robots.txt adında kaydedip sitenizin ana dizinine koymanız yeterlidir.

Örnek Kullanım:
User-Agent: *
Disallow:/panel/
Allow:/images/

Disallow kayıt altına alınmasını istemediğimiz dosyaları seçmemizi sağlar.
Allow kayıt altına alınmasını istediğimiz dosyaları seçmemizi sağlar.

Örneğim resimleri engellemek istiyorsak görsellerimizi korumak için

bildiriyorum

google bot taraması özelliği google’un web yöneticisi araçları altından ulaşabileceğiniz Laboratuvar kısmında olan ve google’ un bir web sayfasını nasıl gördüğünü bize gösteren henüz deneme aşamasında olan bir google uygulamasıdır.

bu özelliği kullanabilmek için istediğiniz sayfanızın adresini girerek (anasayfa için birşey girmenize gerek yok) getir tuşuna basmalısınız ve sayfayı yeniledikten sonra çıkan “başarılı” yazısına tıklamanız yeterli olacaktır ve aşağıdaki gibi bir görüntüyle karşılaşacaksınız.

Google hakkında hep merak ettiklerimiz mutlaka vardır ama Google şimdi ki konumuna getiren örümceklerinden pek bahsedilmez. Bu yazımda sizlere bu örümcekler hakkında bilgiler vereceğim. Örümcekler sitemizin arama motoru Google veritabanına kayıt olmamızı sağlarlar. Bu işleme indexleme işlemi denir.

Google’ ın geliştirdiği 3 çeşit örümcek tipi vardır.

AdSense Bot:

AdSense Google ‘ın reklam yayınlama servisidir. Ürün yada hizmet üreticileri Google da reklamar vererek daha çok müşteriye hitap etmeye çalışırlar. AdSense botları bu reklamları yayınlayan web siteleri için çalışırlar. Sitenin içeriği değiştikçe her değişiklikten sonra AdSense botları sitenin içeriğini indexler ve bu içeriğe uygun reklamları siteye gönderir.

İnternet üzerinden site kuran webmasterların en önemli sıkıntılarından biri sitelerine gelen kişi sayısı yani hittir. Bu sayının yüksek olması sitenin arama motorlarında iyi bir yere çıkmasını ve daha geniş kitlelere ulaşmasa yardımcı olmaktadır.