Robots.TXT Dosyasının Kullanımı

Robots.txt dosyası arama motorları ve örümceklerin sitenizdeki dosya ve dizinleri kayıt etmeleri için izin veren yada engelleyen dosyadır.Hazırlamak için notepad(not defteri) ı açıp güvenliğinize uygun kodları yazıp Robots.txt adında kaydedip sitenizin ana dizinine koymanız yeterlidir.

Örnek Kullanım:
User-Agent: *
Disallow:/panel/
Allow:/images/

Disallow kayıt altına alınmasını istemediğimiz dosyaları seçmemizi sağlar.
Allow kayıt altına alınmasını istediğimiz dosyaları seçmemizi sağlar.

Örneğim resimleri engellemek istiyorsak görsellerimizi korumak için

User-Agent: Googlebot-Image
Disallow:/

kodu yeterli olucaktır.Ancak bu sadece ara motorunda çıkmasını engeller.Java script ile takviye yapılarak görsel anlamda güvenlik sağlanabilir.Resimlerinizi çalamamış olurlar.

Forumda listelenmesini istemediklerimi Disallow ile belirttim. Peki ayrı ayrı listelenmesini istediklerimi de belirtmem gerekiyor mu? Yoksa Disallow komutunda belirtmediklerimi Google otomatikman kayıt altına alınsın diye algılıyor mu?