Arama Motorlarının aradığı sitelerin kayıtlarını yapan botlar, örümcekler, ajanlar gibi adlandırılan programların çalışma mantığı hakkında bir yazı yazdım. Görüşlerinizi paylaşırsanız sevinirim.
http://www.hasanyasar.com/2006/06/arama-motoru-ajanlari-search-engine.html
http://www.hasanyasar.com/2006/06/arama-motoru-ajanlari-search-engine.html