Sitemi indexlemeye çalışıyorum. tüm işlemleri yaptıktan sonra
şeklinde bir hata alıyorum. robots.txt dosyasında hata gözüküyor. robots.txt dosyasını şu şekilde oluşturup root dizinine upload ettim
Kod:
5xx error
robots.txt unreachable
şeklinde bir hata alıyorum. robots.txt dosyasında hata gözüküyor. robots.txt dosyasını şu şekilde oluşturup root dizinine upload ettim
Kod:
User-agent: *
Disallow: /klasör1/
Disallow: /klasör2/
Disallow: /klasör3/
Disallow: /dosya1
Disallow: /dosya2
Disallow: /dosya3