Wordpress sistem için en iyi robots.txt dosyası

Wordpress sitesi olanların Google için en uygun robots dosyası aradıklarını düşünüyorum. Botların sitenizde hangi dizinleri ziyaret edip etmemesi ile ilgili oluşturmanız elzem olan bir dısya robots.txt. Peki bunun için hazır olarak kullanabileceğiniz bir dosya var mı?

Evet var ve şimdi sizler için paylaşıyorum.

WordPress için hazır Robots.txt dosyası içeriği

Sitemap: siteadresi.com/sitemap.xml

User-agent: Googlebot

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /index.php
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

User-agent: Googlebot-Image
Disallow: /wp-includes/

User-agent: ia_archiver
Disallow: /



User-agent: duggmirror
Disallow: /

Teşekkürler kardeşim. Birçok kullanıcının aradığı bir dokümandı.