Yararli olabilecegini dusundugum bir bilgiyi paylasmak istiyorum. Hangi arama motoru ne siklikta robots.txt iceriginizi ceker?
Kendi sitemde loglari karistirdim ve su sonuca ulastim. Buyuk ihtimalle cogu site icin sonuclar yakindir.
1. Googlebot cok duzenli bir sekilde saatte bir,
2. Bingbot duzensiz bir sekilde 10 dakika ila 1 saat araliklarla,
3. MSNbot-media neredeyse her dakika basi,
4. Yandexbot 4 saatte bir
robots.txt dosyasini cekiyorlar.
Kendi sitemde loglari karistirdim ve su sonuca ulastim. Buyuk ihtimalle cogu site icin sonuclar yakindir.
1. Googlebot cok duzenli bir sekilde saatte bir,
2. Bingbot duzensiz bir sekilde 10 dakika ila 1 saat araliklarla,
3. MSNbot-media neredeyse her dakika basi,
4. Yandexbot 4 saatte bir
robots.txt dosyasini cekiyorlar.
