robots.txt dosyasından hangi sayfaları Disallow yapmalıyım?

Gece Yolcusu

Merhaba
robots.txt dosyasında hangi sayfaları Disallow yapmalıyım. Şöyle yazdım:

User-agent: *
Disallow: /editor.asp/
Disallow: /editorgirisi.asp/
.......
bu şekilde bir dosya hazırladım ben. editor.asp üyelere açık değil bu yüzden disallow yaptım. gerek varmı bilmiyorum. ayrıca sonuna / gelmelimi. sizin yorumlarınızı bekliyorum.

kuzgun · 2 Şubat 2011

sistemimin nasıl işlediğini bilmediğim için robotsa ne ekleyebilirsin bilemiyorum, sitenin config dosyasını, /admin gibi klasörlerine disallow atabilirsin

tetal · 2 Şubat 2011

.Asp sonundaki / kaldir. O engellemek istedigin dizinler icin

Gece Yolcusu · 2 Şubat 2011

depresan' Alıntı:
sistemimin nasıl işlediğini bilmediğim için robotsa ne ekleyebilirsin bilemiyorum, sitenin config dosyasını, /admin gibi klasörlerine disallow atabilirsin

sistemim aslında fazla karmaşık değil. editor.asp sayfası var uye duzenleme, eposta gönderme vs bu sayfanın altından yapıyorum. editor.asp?eposta=duzenle şeklinde kullanıyorum. editor.asp yi disallow yapmam yeterlimi yoksa bu sayfalara include ettiğim sayfalarıda yasaklamalımıyım.

Eif · 3 Şubat 2011

editor.asp yi engellemek yeterli olur. benim sayfamda da print.php?ttt=74 var print.php yi disallowlamam yeterli oldu. robotların ulaşmasını istemediğin dizinleri ve dosyaları disallow yapmalısın.
Unutmadan robots.txt ye mutlaka sitemap url si ekleyin, hala ekli değilse:
Sitemap: http://www.eifinsitesi.net/sitemap.xml şeklinde. Böylece robotlar sitemape ulaşıp indexleme yaparlar.

Gece Yolcusu · 3 Şubat 2011

verdiğin bilgiler için saol

Gece Yolcusu · 12 Şubat 2011

Merhaba arkadaşlar bu şekilde yazarak klasördeki bütün linkler engellenirmi? bütün engellemek istediğim bunlar.

User-agent: *
Disallow: /editor/
Disallow: /deneme/

aybar · 13 Şubat 2011

Yönetim sayfalarını kaldır sadece istersen. Birde sona koyduğun / işaretini kaldır.
Kolay gelisn.