robots.txt hakkında

myopers · 18 Eylül 2007

Ya geçen birisi birşey yazmıştı ona mahsuben bende robots.txt ile oynadım

Robots.txt de aşağıya yazacağım kodların avantajları yada dezavantajları varmı?

User-agent: Mediapartners-Google*
Disallow:
User-agent: Googlebot
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Yahoo! Slurp
Disallow:
User-agent: *
Disallow:

Saygılarımla

iyinet · 18 Eylül 2007

Bu robots.txt nin islev olarak asagidakinden farki yok, tum arama motorlarina FULL izin veriyor.

User-agent: *
Disallow:

robots.txt hakkında

myopers

iyinet

Root