Engellenen URL Hakkında..

DEKAN · 1 Ocak 2007

28 Aralık tarihinde adsensede site tanı aracı blm.de 2 url'um banlanmış görünüyordu.. engelleme gerekçesi olarak robots.txt gösteriliyordu.. Yardım menüsüne yönlendirdi beni , orda bu gerekçeyi tarayıcılarının bu sayfaya ulaşmasına robots.txt dosyasının izin vermediğini söylüyorlar..siteyi ilk açtığım günden beri robots.txt dosyam doğru birşekilde kök dizinde yer almaktaydı , google adsense ile de problem yaşamamıştım..üstelik engellenen url'lar gizli blm.ler değil viewtopic.php ile başlayan forum içi başlıklar..
Yardım menüsünde robots.txt dosyasını ;
User-agent: Mediapartners-Google*
Disallow:

şeklinde değiştirmem gerektiği yazıyordu.. Değiştirdim.. ertesi gün 29 aralıkta 1 url , 30 aralık 3 url , 31 aralık 1 url daha engellendi.. Durumu [email protected] a mail atarak sordum , önümüzdeki aya anca yanıtlarlar tabi

aranızda bu konuda sorun yaşamış ve nedenini öğrenip çözmüş arkadaşlar vardır umarım..

ENVER · 1 Ocak 2007

bende aynı sorunu yaşıyorum üstelik izinler açık ve robots.txt yüklü ftp de:S bir anlam veremedim doğrusu

SonSahne · 1 Ocak 2007

aynı şey bendede var. robots.txt de engellenmiş yüzlerce url gözüküyor ana sayfada dahil. Web sitemde robots.txt bulunmuyor..

webrlis · 1 Ocak 2007

robots.txt dosyadına dikkatle inceleyin bwende uyaşamıştım bu sorunu bi ara robots.txt in içine allow yazacağıma disallow yazmışım yanlışlıkla böyl bişey yapmış olmayın.
gerçi ben şimdi hiç bi sitemde robots.txt kullanmıyorum hiç te sorun olmuyor

kesmekes · 1 Ocak 2007

Garip bir olay bendede engellemiş 50-60 sayfa, ama sayfalar google cache'inden açılan sayfalar, yani direk benim sayfaları engellememiş.Örneğin şu http://209.85.129.104/ google ip adresinden bakılmış olan cachelerde çıkan sayfaları engellemiş.Sebebide http://209.85.129.104/robots.txt olmalı.

maxcilopez · 1 Ocak 2007

aynı sorunu bende 28 aralık tan itibaren yaşıyorum
engellenen url ler root.txt sebebi
baktım root.texte en başta Şu yazıyordu
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: admin.php

Bunu Şöle değiştirdim
User-agent: Mediapartners-Google*
Disallow:

Umarım düzelir Çünki google reklamları Çıkmıyor :S

DEKAN · 2 Ocak 2007

bende o şekilde değiştirdim.. değiştirdikten sonra da yeni engellemelere devam etti.. Sanırım robots.txt ti okuma süresi biraz uzun , herşeyi algılaması 8-10 gün sürer ya.. bakalım..

cumalee · 2 Ocak 2007

Herkeste var sanırım bu sorun bizden degil ozaman googledan kaynaklanıyor.

osahin · 2 Ocak 2007

User-agent: Mediapartners-Google*
Disallow:

Bunun anlamı google adsense botunun siteyi gezmemesini sağlamaktır, eğer google adsense botunun bu siteyi sağlıklı bir şekilde gezip reklamlarını çıkarmak istiyorsanız ya onu kaldırın yada disallow değil allow yapın.

Kolay gelsin

DEKAN · 2 Ocak 2007

Yanılıyorsun osahin.. çünkü bunu google kendisi öneriyor.. linki ekliyorum alta

https://www.google.com/adsense/supp...&sourceid=aso&subid=ww-ww-et-asui&medium=link

osahin · 2 Ocak 2007

Şimdi orada dediği şu diyorki siz robots.txt ile bazı url leri engellemiş olabilirsiniz bu yüzden adsense botu bu siteyi gezemeye bilir, siz yinede bazı sayfalarda reklamların çıkmasını engellemek istiyorsanız,

User-agent: Mediapartners-Google*
Disallow: *

yok hayır reklamların çıkmasını istiyorsanız

User-agent: Mediapartners-Google*
Allow: web adresiniz

Şeklinde düzenleme yapın diyor? Yanlış anladığım biryer varmı?

DEKAN · 2 Ocak 2007

Peki normalde bir robots.txt ye sen ne yazardın?

user-agent : *
Disallow : /
yapmazmıydın? ben böyle öğrenmiştim araştırırken.. şimdi oraya sadece Mediapartners-Google eklemiş oluyoruz..

osahin · 2 Ocak 2007

user-agent : *
Disallow : /

Bunun anlamı hiçbir robot benim sitemi indexlemesin... Eğerki robots.txt dosyasına şunu yazsaydın,

user-agent : *
Allow:

Sitende herhangi bir engelleme olmadığını gösterirdi, bunu koymanında bir mantığı yok, özel bölümleri indexlememesi için kullanmalısın gerisine herhangi bir engelleme koymaz isen zaten rahat rahat gezer botlar...
Bana soracak olursan robots.txt yi özel durumlar haricinde kullanma taraftarı değilim. Ne kadar çok indexlenen sayfam varsa kardır benim için...

Kolay gelsin

DEKAN · 2 Ocak 2007

user-agent : *
Disallow : /

bende sürekli bu şekilde kayıtlı idi ve botlar sayfamı indexliyordu.. o da bildiğimden değil forumlardan öğrenip de oluşturdğum bi robots.txt idi
??

osahin · 2 Ocak 2007

Ben anlatamıyorum sanırım siz yinede kaynaklara bakın...

Bknz: Disallow Allow

kesmekes · 2 Ocak 2007

user-agent : *
Disallow :

Böyle yaptığınız takdirde sitenizin her yeri tüm botlar tarafından taranmaya açık olur.

Not:
Tüm botları engellemek için
User-agent: *
Disallow: *
şeklinde yazmak gerekir.
Disallow yanında hiçbir karakter olmayınca engelleyecek hiçbir şey olmadığı manasına gelmektedir.

DEKAN · 2 Ocak 2007

kesmekes' Alıntı:
user-agent : *
Disallow :

Böyle yaptığınız takdirde sitenizin her yeri tüm botlar tarafından taranmaya açık olur.

Tamam doğru yapmışım işte.. osahin sen sözlük anlamını vermişsin.. O mantık yanlış olmuş çünkü disallow : deyip nelere izin vermediğinizi yazarsınız boş bırakınca herşeye izin vermiş olursunuz, allow : yazıp da bir şey ekleseydik sadece eklediğimiz blm.e izin vermiş olacak idi..

neyse ya .. şu adsense derdimiz çözülsünde..

osahin · 2 Ocak 2007

/ işareti olduğu için gezmesini engelliyor arkadaşın robots.txt

DEKAN · 2 Ocak 2007

/ işareti de bi yerde gördüğümden ekledim ama indexlemesine engel olmamış.. tabi koymamak gerek yine.. bir daha hazırlama ihtiyacı olursa koymam

blackboy · 2 Ocak 2007

Şuana kadar bendede robots.txt yoktu ama 150-160 URL'lem Robots.txt gereçeksi ile engellenmiş..:S
Arkadaşım bana aşağıdaki şekilde ekle dedi bende ekledim, sizce doğru mu yaptım bilyorum, bilen bi arkadaşım incellesin size zamet..
Kullandığım sistem : VBulletin Forum

Kod:

User-agent: Googlebot
User-agent: *