robot.txt

arkadaşlar robot.txt asp/html nasıl yapılmalıdır? nereye atılmalıdır?
açıklarsanız sevinirim..
bir de bu googleın sitenize geldiğini ve gezdiğini nereden anlıyorsunuz?
ben bir türlü bulamadım.

ana directory ye atican ayrica robots.txt olacak bos bi dosya yolasan yeterli

# Robots.txt file from http://www.domain.com
#
# All robots will spider the domain

User-agent: *
Disallow:

domain.com yazan yere domain adını yazarsın botların gezmesini istemediğin özel sayfaları eklersin disallow a.

botların gezip gezmediğini "awstats" panelinden görebilirsin veya kurduğun bir istatistik scripti varsa ordan görebilirsin örnek : metatraffic

ayrıca arkadaşında dediği gibi robot.txt değil robots.txt. asp html php cgi js jsp vs hiç bir şey ile alaksı yok sadece txt dosyası...