Robots.txt Ne Eklemeliyim

Merhaba,

arama.php?kelime= gibi adreslere google bot gitsin istemiyorum. acaba bunun için dosyaya ne eklemeliyim ?

Disallow: hangi adrese gitmesini istemiyorsan

Disallow:arama.php
yeterli zannediyorum

Belirli bir dosya türündeki dosyaları (örneğin, .gif) engellemek için şunları kullanın:
User-agent: Googlebot
Disallow: /*.gif$

URL sonu eşlemesini belirtmek için $ karakterini kullanın. Örneğin, .xls ile biten tüm URL'leri engellemek için:
User-agent: Googlebot
Disallow: /*.xls$

Bu dize kalıbı eşlemesini, Allow yönergesi ile birlikte kullanabilirsiniz. Örneğin, ? bir oturum kimliğini gösteriyorsa bu öğeleri içeren tüm URL'leri dışlayarak Googlebot'un aynı sayfaları taramasını önleyebilirsiniz. Ancak ? ile biten URL'ler, eklenmesini istediğiniz sayfanın sürümü olabilir. Bu durumda, robots.txt dosyanızı aşağıda gösterildiği biçimde ayarlayabilirsiniz:
User-agent: *
Allow: /*?$
Disallow: /*?

Disallow: / *? yönergesi, ? içeren URL'lerin tümünü engeller (daha açık belirtmek gerekirse, alan adınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'lerin tümünü engeller).

Allow: /*?$ yönergesi, ? ile biten tüm URL'lere izin verir (daha açık belirtmek gerekirse, alan adınızla başlayan ve ardından bir dize ve bir ? gelen ve ? işaretinden sonra hiç karakter içermeyen URL'lerin tümüne izin verir).