20 günde bu hit iyimi
- Katılım
- 23 Ocak 2011
- Mesajlar
- 26
Güzel bir ivmesi var sitenin ...
- Katılım
- 18 Temmuz 2008
- Mesajlar
- 12,391
http://mobildosya.net/robots.txt
sen zaten bütün botları sitenden uzak tutuyorsun şuanda
User-agent: *
Disallow:
yerine
User-agent: *
Allow:
kullan
sen zaten bütün botları sitenden uzak tutuyorsun şuanda
User-agent: *
Disallow:
yerine
User-agent: *
Allow:
kullan
nedir bu robot.txt ? nasıl kullanılır ?
- Katılım
- 26 Ocak 2005
- Mesajlar
- 7,943
Örümceklerin siteye erişimini kısıtlayıp açmaya yarıyor.
http://www.google.com/support/webmasters/bin/answer.py?answer=156449
depresan abinin yazdığına bak örümceğin sitede dolanıp sayfalarını indexler. Bunu robot.txt yapıyor.
- Katılım
- 23 Ocak 2011
- Mesajlar
- 26
robots.txt yi anlamanız için basit bir örnek vereyim. Örneğin forumunuzun üye listesini ya da takvimini googleye indexletmek istemiyorsunuz bunun için kullanılır.
- Katılım
- 17 Eylül 2010
- Mesajlar
- 2,109
Kısaca özetlemek gerekirse sitenizi gezecek olan arama motorlarının sitenizin hangi dosya ve dizinlerini indekslemelerine ya da hangilerini indekslememelerine yarayan dosya diyebiliriz.
