Standart bir Robots.txt dosyasında admin panel bilgileri dışında tüm siteye botların erişimine izin verilir. Ancak sitenin bazı bölümlerine saldırıların olması, buralara da Robots.txt dosyası yardımı ile botların gelmesini engellemeyi gerektirebilir. Robots.txt dosyası oluşturmadan önce sizin de...