Beşi bir yerde GoogleBot görmek ister misiniz?

Bunu az önce bir arkadaşın forumundan capture ettim, ilk defa beşi bir yerde googlebot görüyorum

vayyy ... demek bu 66... lı ipler google bot a ait...

Benim forumumda aynı anda bir sürü oluyor... Ama webserviste falan görünmüyodu anlamamıştım iyi oldu...

desenize daha göreceğiniz çok şey var

google ve yahoo eğer siteyi crawl etmeye takarsa 20-30 tane falan da geldiği oluyor aynı anda. mesela geçen gün 1 saat içerisinde 5000 küsür sayfamı dolaşmıştı googlebot, eminim daha yüksek sayıları da görenler vardır.

ben 12 tane birden gördüm benim forumda..

biri yetmediğinde diğerini yardıma çağırıyor; demekki içerik çok o forumda

bi el atın diyo bende de oluyo görüyorum 3-4 tane geliyolar

google bot ve yahoo bot toplam 3821 bot siteme dalıp indexlemişti 38 tanede msn bot vardı. screen çekmiştim bulursam koyarım. Özellikle forum sayfalarına bi anda dalıp indexleyip çıkabiliyorlar

benim bi keresinde 22 tane MSNbot gelmişti

demekki imece yöntemi botlar arasındada var

5 de bişeymi

Bir ara foruma MSNbot dadandı 20-25 tane geliyor, IP aralığını banlamasam band bitecekti...

Acaba robots.txt dosyasına yeni bir komut eklesek nasıl olur..
Mesela
User-agent: Mediapartners-Google*
allow: ama teker teker gel
allow: sakin ol herşeyi hemen indexleme server göçüyor
disallow: tüm motorlar aynı anda (aynı anda gelmeyin, randevu alın)
....

: ) güzel olurdu

mantıken bot her eklemede geliyor.Şöle düşünün.Sistem de en ufak bir harf değişikliği botu tekrar çağırıyor.Arama motorlarının algoritmasına göre

Eski Küçükdür Yeniden. Agenta şu komut geldiğinde. 'Change DB' direkt olarak oraya gider.Bu tüm spiderler için geçerlidir.Örnek forumunuza bir tane user üye oldu.Nicki alt kısımda geçtiği için otomatik olarak siteniz 'Change DB' sinyali yolladı. Örümceklerin özelliği
index_site($url, 1, $depth, $soption, $include, $not_include, $can_leave_domain);

bu şekilde algoritmalandığından eğerki gelen örümcek bir kez olsun $depth 1 olmuşsa bir daha o siteden çıkmaz. $depth 1 demek sürekli gelişmeleri değişimleri takip et demekdir.

if ($depth == -1) {
$soption = 'full';
} else {
$soption = 'level';

Eğerki full komutla gelmiş ise örümcek tek başına yetemediğinden hemen yardım klomutu alacakdır.Buda sıkışdım gel ve indexle demek.Ama eskilerden kalan bir hata devam ettiğinden , db leri farklı örümcekler olduğundan gelen örümcekde sıfırdan başlamakta , sürekli yardım almakta hatta kimi zaman media spider lerin bile sitenizde olmasına yol açmaktadır.

He şimdi şunu sorabilirsiniz.Benim siteme 300 bot giriyor ama hala yokum.Yada eskileri var.İşde orasını sistem uzmanı bilir.Genel mantık şudur.Bota sistemin verdiği emir.

Tara - Eskiyi Atla - Yeniyi Kaydet - Depola

Depolamadan sonrası sistem uzmanı tarafından genelde prefixler günlük , haftalık , aylık aktarılır. Tablolara aktarılır ve sonuçlar arasında yer alır.

Googlede şöyle bir sorun var. Adamın PR ' si 4 .

İndexlenen sayfa sayısı : 200
Ziyaretçi Sayısı : Günlük Tekil 100-300 arası

Adamın Pr ' si 2
İndexlenen sayfa sayısı : 15.000
Ziyaretçi Sayısı : Günlük Tekil 5.000-10.000

İşde pr olayıda ssitemde yedekde tutulan sayfalarda kullanır.İndexlenmiş ama sonuçlarda çıkmayan sayfalarda

Ama size birde haberim var yakında buda mazi olacak.O sebeple pr güncellemesi uzun süredir yapılmadı.
İnşallah yarında onu anlatırım.
Kolay Gelsin

Şunlara bak utanmasalar forumlarda Post atıcaklar