Robots.txt Analizi ve Hataları Tespit Etme

Arama motoru botlarının (örümceklerin) sitenizin içeriğini sağlıklı bir şekilde indexlemesi için gereken Robots.txt dosyasının analizini yapmak artık mümkün. Robots.txt dosyasında yapacağınız bir karakterlik bir hata bile sitenizin yanlış şekilde indexlenmesi yada indexlenmemesine sebep olabilir. Bu yüzden siteniz için oluşturduğunuz Robots.txt dosyasını analiz edip, hatalı ise hatalarını tespit edebilirsiniz.



Check URL kısmına robots.txt dosyanızın bulunduğu dizin linkini yada direk olarak site adresinizi yazabilirsiniz. Ve isterseniz User Agents kısmına hangi arama motoru botlarının (örümceklerinin) standartlarında analiz etmesi için manual giriş yapabilirsiniz. Tavsiyem User Agents kısmına dokunmamanız.
Ve aşağıda Friendfeed.com 'un robots.txt dosyası analizi


Friendfeed'in Robots.txt dosyası analiz sonucu; Robots.txt dosyası hatasız gözüküyor. Başarılı.
Robots.txt analiz servisine BURADAN ulaşabilirsiniz.


KAYNAK: Seohocasi.com
YAZAN: Can Talaylı

Güzel yalnız bende
User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /
bu satırlarda hata verdi. Seo açısından bunlar allow olması mı gereklidir. Birde
Disallow: /*.php$


Bu arada paylaşım için teşekkürler +REP

Bu kodda asterix karakteri geçersiz, * karakterini arama botunu ifade ederken kullanabiliyoruz ( User-agent: * ) ama url ifade ederken kullanamıyoruz. $ karakterindeb emin değilim ama o kod sanki .htaccess i andırdı bana.

Sorularınızı ve aklınıza takılanları yazara sorabilirsiniz. Buyrun konu linki: http://www.seohocasi.com/robots-txt-analizi-ve-hatalari-tespit-etme.html

*.php$ tarzı kullanımlar, belirli bir türdeki dosya formatlarını engellemek için kullanılır.

Örneğin aşağıdaki kod php ve gif olan dosyaların indexlenmesini önleyecektir.

Bu tür bir kullanım ile ilgili bir RFC veya protokol gösterebilir misiniz ?

uggur' Alıntı:

*.php$ tarzı kullanımlar, belirli bir türdeki dosya formatlarını engellemek için kullanılır.

Örneğin aşağıdaki kod php ve gif olan dosyaların indexlenmesini önleyecektir.

Kod:

Disallow: /*.php$
Disallow: /*.gif$

Genişletmek için tıkla ...

Daha önce bununla ilgili bulduğum tek şey http://www.robotstxt.org/robotstxt.html sayfasındaki aşağıdaki ifade, bizi ilgilendiren kısımları koyu yaptım:

Note also that globbing and regular expression are not supported in either the User-agent or Disallow lines. The '*' in the User-agent field is a special value meaning "any robot". Specifically, you cannot have lines like "User-agent: *bot*", "Disallow: /tmp/*" or "Disallow: *.gif".

Genişletmek için tıkla ...

Google ye bakıyoruz 1 tane kullanmış, ama robots.txt deki yazıda Disallow'da kullanılmaz diyor, Allow için birşey demiyor, ancak test aracı ona da jatalı diyor:
http://www.google.com/robots.txt

Test aracı 94 standartlarına göre kontrol ediyor. Yani zorunlu olmayan nonstandart komutları hata olarak görüyor aslında hatalı değildir. Bazı botlar bu tip özel satırları kabul ettiği gibi bazılarıda nonstandart satırları görmezden geliyor.

Mesela arama motoru botları Disallow: *.gif satırını gördüğü zaman site içerisinde kullanılan .gif resimleri es geçiyor.

* gibi parametreleri tüm botlar desteklemiyor netster'in dediği gibi. Bu yüzden zaman zaman farklı botlara farklı tanımlama yapmak gerekebiliyor. Konu hakkında google yardım sayfasına göz gezdirebilirsiniz. İlgili bölümü buraya aktarayım:

--
Belirli bir dosya türündeki dosyaları (örneğin, .gif) engellemek için şunları kullanın:

User-agent: Googlebot
Disallow: /*.gif$

URL sonu eşlemesini belirtmek için $ karakterini kullanın. Örneğin, .xls ile biten tüm URL'leri engellemek için:

User-agent: Googlebot
Disallow: /*.xls$

---

Bu yapıyı şurada kullanıyorum http://www.mynak.com/robots.txt , aynı şekilde google sonuçlarını inceleyebilirsiniz.

Not: Düzeltiyorum, dosya formatından çok adres sonu eşleşmesi yapmak için $ kullanılıyor. Ama bunu benzer bi şekilde örneğin .php ile bitenleri (.png, .exe vb) engellemek içinde kullanılabilir.