robots.txt dosyanizi vbseo ve vbulletin e gore en uygun sekilde nasil ayarliyabileceginizi burada anlatacağım
Oncelikle kisaca robots.txt dosyasi ne is yapar? bundan bahsedeyim.
Bu dosyanin tek amaci, arama motoru orumcekleri sitenize geldiginde, sitenizi indexlesin mi? indexlemesin mi? veya nereleri indexlemesin bunu belirtiyoruz.
ornegin sitenizdeki admin klasorunun indekslenmesine hicbir gerek yok. veya yoneticilerinize ozel olan bir bolumun. Belkide yemek tarifi sitenizde dikis nakistan bahsediyorsunuz ve googlede bunlarin bulunmasini degil, sadece yemek alaninda bulunmak istiyorsunuz, iste bu isi robots.txt den yapacaksiniz.
Alttaki liste basit olarak standart vbulletin ve vbseo kullanan sitelerde gorunmemesi gereken yerleri iceriyor.
Forum ana klasorune atmaniz kafidir.
Oncelikle kisaca robots.txt dosyasi ne is yapar? bundan bahsedeyim.
Bu dosyanin tek amaci, arama motoru orumcekleri sitenize geldiginde, sitenizi indexlesin mi? indexlemesin mi? veya nereleri indexlemesin bunu belirtiyoruz.
ornegin sitenizdeki admin klasorunun indekslenmesine hicbir gerek yok. veya yoneticilerinize ozel olan bir bolumun. Belkide yemek tarifi sitenizde dikis nakistan bahsediyorsunuz ve googlede bunlarin bulunmasini degil, sadece yemek alaninda bulunmak istiyorsunuz, iste bu isi robots.txt den yapacaksiniz.
Alttaki liste basit olarak standart vbulletin ve vbseo kullanan sitelerde gorunmemesi gereken yerleri iceriyor.
Forum ana klasorune atmaniz kafidir.
Kod:
#ALL BOTS
User-agent: *
Disallow: /admincp/
Disallow: /ajax.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /wtf.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php