Selam ilk olarak robots.txt den başlamak istedim içerisinde
yada
1- Bu şekilde kodlar var ilk olarak sanırım siteler bu dosayadaki içeriklere göre indexleniyor. Bu robots.txt dosyalarının içerisinde yazdığımız klasörler yada dosyaları spiderlar indexlenmiyor mu ?
2- Bu dosyaları yazmamızın amacı nedir ? Mesela search dosyasını robots.txt ye yazdığımızda siteyi daha hızlı mı indexliyorlar bu dosyayı atladıkları için?
3- Sayfalar arasında sürekli link olması bunların beynini bulandırırmı? Mesela sayfanın solunda rast gele linkler açılıyorsa bu botlar ömür boyu sitedemi geziyorlar Yoksa 1 saatte ne bulursa onumu alıp gidiyorlar?
4- Sitemap.xml dosyası yaptık diyelim. Bu botlar siteyi indexlerken bu dosyaya göremi hareker ediyor yani yeni eklediğimiz sayfalar ve linkleri okumuyorlarmı?
Şimdilik bunları cevaplarsanız sevinirim daha sorum çok hepsi bitince
düzenleyip sabit bi başlıkta yayınlanırsa merakı olanlarda giderebilir sormak istediğiniz sorular varsa sizde burdan sorun arkadaşlar cevap versinler.
5-Sitemi tamamen değiştirdim ve googla ekledim. Webmaster toolstan eskiden forum olduğu için burda 100 lerce çalışmayan link var bunları nasıl silebilirim?.
Kod:
User-agent: *
Disallow: /imgs/
User-agent: *
Disallow: /portfoy/url.aspx
User-agent: *
Disallow: /shop/newPrCode.aspx
User-agent: Netcraft
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: grub
Disallow: /
User-agent: looksmart
Disallow: /
Kod:
User-agent: *
Disallow: /admincp/
Disallow: /ajax.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /attachment.php
Disallow: /calendar.php2- Bu dosyaları yazmamızın amacı nedir ? Mesela search dosyasını robots.txt ye yazdığımızda siteyi daha hızlı mı indexliyorlar bu dosyayı atladıkları için?
3- Sayfalar arasında sürekli link olması bunların beynini bulandırırmı? Mesela sayfanın solunda rast gele linkler açılıyorsa bu botlar ömür boyu sitedemi geziyorlar Yoksa 1 saatte ne bulursa onumu alıp gidiyorlar?
4- Sitemap.xml dosyası yaptık diyelim. Bu botlar siteyi indexlerken bu dosyaya göremi hareker ediyor yani yeni eklediğimiz sayfalar ve linkleri okumuyorlarmı?
Şimdilik bunları cevaplarsanız sevinirim daha sorum çok hepsi bitince
düzenleyip sabit bi başlıkta yayınlanırsa merakı olanlarda giderebilir sormak istediğiniz sorular varsa sizde burdan sorun arkadaşlar cevap versinler.5-Sitemi tamamen değiştirdim ve googla ekledim. Webmaster toolstan eskiden forum olduğu için burda 100 lerce çalışmayan link var bunları nasıl silebilirim?.