# www.robotstxt.org
# www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449
User-agent: *
# ref saldırısı için önlem
# NOT: çoğu yerde * karakteri kullanılıyor, wordpress in verdiği resmi örnekte bile,
# ancak robotstxt.org da * diye bir joker kullanımı olmadığı yazıyor.
# Acaba arama botları robotstxt.org protokolüne uyuyor mu ?
Disallow: /*?ref=
Disallow: /*ref=*
Disallow: /?ref=
# Seo öncesi eski tip url adreslerini engelle, zamanla indexten düşerler ayrıca google webmaster araçlarında index kaldırmada da işe yarar
Disallow: /viewtopic.php
Disallow: /viewforum.php
# index.php yerine forum.html kullnılıyor
Disallow: /index.php
# Arama sayfasında bir içerik yok, bazen son aranan kelimeler listelenir
Disallow: /search.php
Disallow: /search.php?
# Bu sayfalar üyelik gerektirir. Google bot un bunları görmesine pek imkan yok, ama bir şekilde karşılaşırsa indexlemesin
Disallow: /posting.php
Disallow: /ucp.php
Disallow: /mcp.php
Disallow: /memberlist.php
# Yardım sayfası, her phpbb forumunda tıpatıp aynısı bulunur, kopya içerik olmasın diye engelle
Disallow: /faq.php
# Bir müşterim bu tür gereksiz indexlemeye maruz kaldığını bildirmişti, o zaman eklemiştim, gerçi eskidi bunlar, yeni sürüm seo da bunlardan yok
Disallow: /post
Disallow: /member
# sitemap - GYM - advanced seo destekli varsayılan sitemap adı
Sitemap: /sitemapindex.xml
