robots dosyası hakkında

arkadaşlar örnekteki gibi robots.txt dosyası oluşturdum iki sorum olacak

1:bu şekildeki dosya doğrumu
2:botlar dosyayı okuduktan sonra eklediğim linkleri kaldırsam botlar bidahaki gelişlerinde aynı linkleri tekrar ararmı yoksa bu linkleri silermi




User-agent: *
Disallow: /archive/2007_01_12_archive.html/
Disallow: /Oyunlar/sayi-dondUrme__1349.html/
Disallow: /cats.php?catid=23/

1: Doğru.
2: Botlar her gelişinde robots.txt i okur. Disallow ları belleklerine almaz. Kaldırırsan girip indexleme yaparlar.

*siber*' Alıntı:

1: Doğru.
2: Botlar her gelişinde robots.txt i okur. Disallow ları belleklerine almaz. Kaldırırsan girip indexleme yaparlar.

Genişletmek için tıkla ...

peki bu linkleri ben silmişsem bu linkleri bulamıyacağı için bidaha aramaz heralde


teşekkürler