bildirgec.org

Bazen web sayfası hazırlar iken gelen ziyaretçilerin normal ziyaretçimi yoksa spidermı olup olmadıklarını test etmem gerekiyor. İşte o zaman aşağıdaki kodları kullanıyorum. Hazır bu blogu açmışken neden diğer arkadaşlarım ile paylaşmıyayım dedim. Kullanıma sunduğum fonksiyonlar ile spider testi, browser testi ve işletim sistemi testlerini yaptırabilmektesiniz. Hazırladığım eklenti “GoogleBot, Google AdSense, Google FeedFetcher, Google Images, Google Mobile Spider, Google Wireless Transcoder, Lycos, Ask Jeeves, Hot Bot, What You Seek, Archive.org, Altavista, Alexa, MSN Search, Yahoo!, Yahoo Publisher Network, Yahoo! Blogs, Yahoo! FeedSeeker, Yahoo! Vertical Crawler” tanıyabilecek şekilde ayarladım.

Site haritalarının oluşturulması belirli standartlara oturtulmasıyla arama motorlarının siteleri indekslemesinin kalitesini artırmaya yönelik üç büyük arama motoru (Google, Yahoove MSN) ortak bir noktada buluştular. Artık üç büyük arama motoruna site haritanızı otomatik eklemeniz için robots.txt dosyasına bir satır eklemeniz yeterli olacak.

Örnek:

Sitemap:http://blog.yildizbilisim.biz/sitemap.xml

Buraya site adıının olduğu yere kendi sitenizi yazacaksınız…

İnternetin giderek artan hacmi şimdi uçsuz bucaksız bir tarlayı andırıyor. Ticari internetin doğum tarihi 6 Ağustos 1991. Google 1998 yılında oluşturduğu indeksinde 28 milyon sitesi bulunan bir interneti işaret ederken bu yıl yaptığı son indeks ile internette 1 trilyonu aşkın web sitesi bulunduğunu açıkladı. Google bu hesabı robot yazılımlar googlebotlar ile yapıyor. 2011 yılındada dünya nüfüsunun %22’sinin online olacağı tahmin ediliyor. Peki bu nereye kadar gidecek? İnternet ilerde karmaşık bir çileye mi dönüşecek?
Bunu elbette zaman gösterecek…

googlebot

googlebot‘un yeni versiyonu, artık kullanıcı bir web sayfasına girdiğinde ne görüyorsa onu tarayabiliyor.

eskiden web sayfamızdaki bazı link’ler, kelimeler veya metin bloklarını javascript‘in çeşitli fonksiyonlarını kullanarak (document.write, escape vb.) google’ın endekslemesini engelleyebiliyorduk.

artık bu gibi fonksiyonların tarayıcı penceresinde yarattığı sonuçları google endeksliyor ve arama sonuçlarında sayfa içeriğinde çıkartabiliyor.

http://www.milyonsite.com/google-nasil-calisir/

yeni nesil hackerlar köşeyi hızlı dönmek için mafyaya veya gizli servislere çalışmak yerine googlebotindexleme aracını aldatıp kısa zamanda büyük paralar kaldırıyorlar. bunlardan biri 18 günlük geçmişe sahip eiqz2q.org gibi bir siteyi googlebota 5.5 milyar sayfa olarak tanıtıp en basit aramalarda dahi kendi sitesini en büyük şirketlerin üzerinde gösterebiliyor. tabii bu zincirleme olarak alexa‘yı aldatmaya yarıyor. aynı isme kayıtlı ikinci bir site t1ps2see.com 2.4 milyar sayfa olarak googlebota indexlenip 4 hafta içinde alexa‘da iyi bir yer elde edebiliyor.

nedir google’ın indekslemeye zorlandığı html yapısı? hangi tag’lere kıldır, bot’ları hangi sayfalara girmeye üşenir?

mesela iframe içinde yeri gelip bir başka iframe’in bulunduğu sitemiz neden bu kadar süredir listeye giremez?

frameset’leri başarılı(!) bir şekilde indeksleyen google’un, iframe’lere ayrı bir ilgisizliği olabilir mi? “iyi niyeti suistimal” şeklinde kullanıldığı durumlar nedeniyle iframe’lerin “adı çıkmış” olabilir mi?

kullandığım iframe’lerin bir özelliği, tek başlarına çağrıldıklarında php kodlarının refer kontrolü sayesinde bağlı bulundukları ana frame’lere refresh yapmaları, o kadar. bu, google’un “okumasına” mani olmasa gerek?