Robots.txt dosyası?

ftp nin içinde robot.txt dosyası yok, bu olmadan google botu gelmez mi?.. Nasıl oluşturabilirim, birde bütün klasörlerde oluşturmam şart mı yoksa ftp nini ana dizininde oluşturmam yeterlimi...

Robot.txt dosyası oluşturmanıza gerek yok, robot.txt gelmesini istmediğiniz botlar için kullanılır yani sitenizin indexlenmesi ile herangi bir ilgisi yoktur. Sitenizin indexlenmesi konusunda sorununuz varsa sitemap diye arama yapabilirsiniz forumda.

robots.txt tam tersi, botların indexlemesini istemediğiniz yerleri yazdığınız bir dosyadır.

Örneğin;
/images
/admin gibi.