robots.txt

Merhaba;

Google doğal arama sonuçlarını listelerken, birçok veriyi gözönünde bulundurur. Bunlardan sadece biri kodlama altyapısıdır. Tabiki World Wide Web Consortium (W3C) kriterleri de önemli bir veridir. Ancak diğer verileri daha özenli kurgulamış bir web sitesi, örneğin içeriği daha zengin bir web sitesi doğal arama sonuçlarında elbetteki kodlaması daha iyi olan bir web sitesinin önünde çıkacaktır. Google arama motoru optimizasyonu yapılmış bir web sitesini daha iyi arama sonucu pozisyonlarına taşır bu bir gerçektir. Ancak son zamanlarda değerlendirilen bu optimizasyon verilerini öylesine kötü amaçlar için kullanıyorlar ki, Google bir web sitesinin gerçekten iyi bir içeriğe mi sahip olduğunu yoksa sadece iyi bir Optimizasyon ile mi yüksek değerlere sahip olduğunu anlamakta güçlük çekiyor. Bir çok kullanıcı uzun zaman ve emek harcayarak geliştirdikleri web siteleri ile başarılı olamazken, çalıntı içerik ile iyi optimize edilmiş ve emek harcanmamış bir web sitesi kısa sürede doğal arama sonuçlarında öne çıkabiliyor.

Size tavsiyem öncelikle sisteminiz içinde başka bir robot.txt dosyası olup olmadığını araştırmanız. Eğer başka, unutulmuş bir robot.txt dosyanız varsa ve bu dosyada kısıtlanmış bir link mevcutsa sorunu bu yaşatıyor olabilir. Eğer böyle bir dosya da yoksa, o zaman varolan robot.txt dosyanızı silin, ardından sisteminizdeki tüm dosyalara <meta name="robots" content="include, follow" /> meta etiketini yerleştirin böylece botlar geldiğinde bir robot.txt dosyası yardımı ile hangi sayfaları indexleyeceklerine bakmak yerine, direk olarak sitemap üzerindeki tüm dosyalarınızı bu meta etiket sayesinde ayrı ayrı indeksleyebilirler.

Genişletmek için tıkla ...

akahaita' Alıntı:

Robots.txt dosyasında başında "Disallow" olan dizinler engellenmiştir.
Örnek:
Disallow: /search
Bu örnekte "search" dizini ve bu dizinin içinde bulunan diğer dizinler engellenir.
Eğer blogger kullanıyorsanız bunu düzeltemezsiniz, zaten düzeltmeniz de gerekmiyor, blogger engellenmesi gereken dizinleri engellemiştir.
Blogger gibi ücretsiz servisleri değil de kendinize ait hostingi olan site kullanıyosanız, robots.txt dosyasında yazanları burada paylaşmanız gerek, belkide engellenen dizinler engellenmesi gerekli olan dizinlerdir.

Genişletmek için tıkla ...