Merhaba bazı botlarla ilgili sorum var..
cevaplayan arkadaşlara teşekkürler.
inktomi delirdi sanırım her gün 50bin sayfayı indexliyor 300küsür mb trafik yapıyor.. Yani tüm sayfaları baştan aşağı hergün tekrar indexliyor hiç sektirmeden
.. Inktominin indexleri yahoo da mı çıkıyor?
yahoo ile google birleşiyor ozaman google da da çıkar mı ?
robot.txt dosyasına inktomiyi engellemek için ne yazmam lazım..
cevaplayan arkadaşlara teşekkürler.
inktomi delirdi sanırım her gün 50bin sayfayı indexliyor 300küsür mb trafik yapıyor.. Yani tüm sayfaları baştan aşağı hergün tekrar indexliyor hiç sektirmeden
yahoo ile google birleşiyor ozaman google da da çıkar mı ?
robot.txt dosyasına inktomiyi engellemek için ne yazmam lazım..