K
korsan_cd
Misafir
bu robots.txt ne işe yarıyor.bilen bi anlatabilirmi acaba 
|
|
robots.txt
- Konbuyu başlatan korsan_cd
- Başlangıç tarihi
-
- Etiketler
- robotstxt
- Durum
korsan_cd' Alıntı:bu robots.txt ne işe yarıyor.bilen bi anlatabilirmi acaba
Forumda aradim sonuclardan biri, tum sonuclar icin arama secenegini kullanabilirsin.
http://forum.iyinet.com/showthread.php?t=5395&highlight=robots.txt
benim bildigm arama motorlari google filan robots dosyasini ariyor once robots dosyasini koyarak arama motorlarinin siteni crawl etmesini engeleye bilirsin, istedigin aramama mototrunun mesela google, archive.org filan, yada sadece bazi bolumlerini arama motorlarina crawl edilmesine izin vermeyebilirsin.
bu dosya yoksa arama motorlari siteni crawl ediyor otomatik olarak.
bu dosya yoksa arama motorlari siteni crawl ediyor otomatik olarak.
- Durum
