chat eczaonline.com yazılım uzmanı

robots.txt nedir ? robots.txt kullanımı

mgtdizayn

Onaylı Üye
Katılım
8 Ara 2011
Mesajlar
883
Beğeniler
6
Yaş
37
Konum
İstanbul
#1
robots.txt dosyası webi tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler.

Sitenizde arama motorlarının dizine eklemesini istemediğiniz içerikler varsa, robots.txt dosyası kullanılmalıdır. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur.
Özetle; sayfanızın googlebot tarafından taranmasını robots.txt dosyası yardımıyla sınırlandırabilirsiniz.


robots.txt olarak adlandırılması gereken bu dosya sitenizin kök dizininde olmalıdır.


ROBOT.TXT DOSYASI OLUŞTURMA

En basit robots.txt dosyası iki kural kullanır:

User-agent: Aşağıdaki kuralın geçerli olduğu robot
Disallow: Engellemek istediğiniz URL


Bu iki satır, dosyada tek bir giriş sayılır.
İstediğiniz kadar giriş ekleyebilirsiniz.
robots.txt dosyasındaki her bölüm ayrıdır.
Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz.


Örnek:
HTML:
User-agent: *
Disallow: /klasor1/

User-Agent: googlebot
Disallow: /klasor2/
ROBOTS META ETİKETİNİ KULLANIN

HTML:
<meta name="robots" content="noindex" />
Yukarıdaki örnekte robots meta etiketi, arama sonuçlarında sayfayı göstermemeleri için tüm arama motorlarına bildirir.

robots direktifi tüm tarayıcılar için geçerli olduğunu belirtir.

Sayfa taramasını sadece googlebot için, önleyecekseniz aşağıdaki etiketi kullanın:

HTML:
<meta name="googlebot" content="noindex" />
NOT: Eğer sitenizde alt alan adı kullanıyorsanız ve bu dizinlerde belirli sayfaların taranmasını istemiyorsanız o alt alan adı için de ayrı robots.txt dosyası oluşturmanız gerekir.

Ayrıca hassas veya gizli bilginin robots.txt ile bloke edilmesi sizi tamamen rahatlatmasın. Eğer bu bağlantılar internette başka bir yerde referans olarak verilmişse (örneğin referans veren bloglarda), bloke ettiğiniz URLler arama sonuçlarında referans olarak görüntülenebilir.
 
Moderatör tarafında düzenlendi:

Bu konuyu okuyanlar (Üyeler: 1, Misafirler: 0)

Türkiye’nin ilk webmaster forum sitesi iyinet.com'da forum üyeleri tarafından yapılan tüm paylaşımlardan; Türk Ceza Kanunu’nun 20. Maddesinin, 5651 Sayılı Kanununun 4. maddesinin 2. fıkrasına göre, paylaşım yapan üyeler sorumludur. iyinet.com sayfalarında yer alan yazı, görsel ve linklerle ilgili hukuki şikayetleriniz için Buradan iletişime geçmeniz durumunda, ilgili kanunlar ve yönetmelikler çerçevesinde en geç 7 gün içerisinde iyinet yönetimince tarafınıza dönüş sağlanacaktır. Betcup Artemisbet Forum
Üst