bir çok kişi merak etmiştir. hiç bir yere web sitemi eklemediğim halde bu google beni nasıl buluyor ve nasıl sitemi sayfasına ekliyor diye.sorunun cevabı aslında çok basit. google teknolojisi botlar (robotlar). google botları internet üzerinde var olan tüm IP adreslerini teker teker, sıralı bir algoritmada tarayıp, bu ip adreslerine giriş yapıyorlar. yani google sizin web sitenize websiteniz.com olarak girmiyor, 85.158.77.85 … 85.158.77.86 (sıralı) giriyor. web sitenize giren robot, önce web sitenizde bir robots.txt varmı diye bakar. eğer varsa ona göre hareket eder, yoksa tüm içeriği veritabanına kaydedip google’da yayınlanma kuyruğuna atar. robot web sitenizde geçerken, google tarafından zararlı olarak nitelendirilebilecek bir içeriğe rastlarsa bu notu düşerek veritabanına siteyi kaydeder. olası zararlı içeriğe sahip içerikli siteler, google çalışanları tarafından manuel olarak son kez kontrol edilerek yayınlanır.
