# Robots.txt file from
http://www.domain.com
#
# All robots will spider the domain
User-agent: *
Disallow:
domain.com yazan yere domain adını yazarsın botların gezmesini istemediğin özel sayfaları eklersin disallow a.
botların gezip gezmediğini "awstats" panelinden görebilirsin veya kurduğun bir istatistik scripti varsa ordan görebilirsin örnek : metatraffic
ayrıca arkadaşında dediği gibi robot.txt değil robots.txt. asp html php cgi js jsp vs hiç bir şey ile alaksı yok sadece txt dosyası...