mümkün mü? hızlı indexleme?

arkadaşlar birinden bi seyler duydum, internet kazan ben kepce misali arastırdıysam da istedigim doneleri bulamdım...

robots.txt yoktur un da anlattıgı gibi sadece indexlenmemesi istene yerler icin mi kullanılır?

yoksa bazılarının iddia ettiği gibi, bazı veriler girilerek, robotların tum sayflarınızın yerini soyleyip misal 50 sayfalık siteniz var, ve 2-3 gun icinde hepsi indexleniyor. Sadece ana sayfa urlsi degil.

bana sozu gecen yabancı arkadas arastırırsam bulabilecegimi soyledi ancak, kendisi ser verip sır vermedi. sadece robot dosyasi ile cok hızlı indexleme yaptırdıgını ve bi kac gunde tum sitenin indexlendigini anlattı.

1-) bu amcamın dedikleri dogru mu yoksa beni newbie gordu de maytap mı gecti
2-) öte yandan sayfalrın kolay indexlenme hadisesi de guncel bir konu...
robot la olmasada, gercekten cok kısa surede sayfalrının pek cogunu indexleten var.. biz bunu bilmiyoruz ki ancak rutin cabalardan sonra botlaın keyfine gore indexleniyoruz...

birileri bildiklerini paylsaırsa memnnun olcem

tesekkurler

Ne kadar çok link verilirse sitene o kadar çabuk indexlenir siten. Ayrıca verilen sitelerin prleri büyük bir etken. Db inde bekleyen site sayısıda önemli bir etken. Robot.txt nin içine keyword de atarsın hile oluyor tabi ama onlarda indexleniyor

Alın size hızlı indexleme için bir püf noktası;
"blog and ping"

Gerisini siz bulun artık.

yaw deliriyorum her önüne gelen birşey söylüyor.
robots.txt sadece mahremiyet içeren dosyalarınızı yada klasörlerinizi korumak amacıyla (indexlememesini istediginiz dosyalarınız için )geliştirilmiş ve büyük arama motorların kabul ettiği bir protokol.Aşağıdaki arama motorları bu protokole uyacaklarını tahahüt ettiler

Google - Googlebot
Altavista - Scooter
Lycos - Lycos_Spider_(T-Rex)
Alltheweb - FAST-WebCrawler/
INKTOMI - Slurp
Yahoo - Yahoo Slurp
MSN- Msnbot

google sitemap xml teknolojisi ile bir günde 50.000 sayfanızı indexletebiliyorsunuz.
Niye bunun hakkında kimse konuşmuyorda kocakarı ilaçları misali şeylere
bel bağlıyorsunuz anlamıyorum

işte benim kullandığım robots.txt dosyası bunun mantığını anlayın artık lütfen aşağıdaki user agent ile gelenlerin sitemi indexlememesini istediğim için aşağıdaki şekilde kullanıyorum ayrıca sitemdeki
git.php?id=2323 şeklindeki yazılarımında indexlemesini istemiyorum.bundan dolayı aşağıdaki robots.txt yi kullanıyorum


User-agent: *
Disallow: /git.php
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: Teleport Pro
Disallow: /
User-agent: Wget
Disallow: /
User-agent: eCatch
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Vacuum
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: WebCopier v3.2a
Disallow: /
User-agent: WebCapture 2.0
Disallow: /
User-agent: WebCopier v.2.2
Disallow: /

User-agent: Offline Explorer
Disallow: /

yazmak bu programı engelliyor mu ? yani demek istediğim bu tarz programlar robots.txt yi dikkate alıyor mu ?

yoktur' Alıntı:

yaw deliriyorum her önüne gelen birşey söylüyor.
robots.txt sadece mahremiyet içeren dosyalarınızı yada klasörlerinizi korumak amacıyla (indexlememesini istediginiz dosyalarınız için )geliştirilmiş ve büyük arama motorların kabul ettiği bir protokol.
google sitemap xml teknolojisi ile bir günde 50.000 sayfanızı indexletebiliyorsunuz.
Niye bunun hakkında kimse konuşmuyorda kocakarı ilaçları misali şeylere
bel bağlıyorsunuz anlamıyorum

Genişletmek için tıkla ...

Senin google sitemap deneyimlerin nedir, paylaşırsan memnun olurum.

Bu arada google sitemapla ilgili kendi test deneyimimi aktarayım, 100 den fazla sayfası olan bir yeni sitemin sadece ana sayfası indexlendi.2 site eklemesi daha yaptım, fakat onlardan haber yok daha.

sonuç olarak google 'ın tahminimce bir stratejisi var:

mümkün olduğunca bu sayfaları gezme işini artık insanlara yaptırmak istiyor. ve bunu denetlemenin daha az bir band harcıyacağını sanıyorum.

yani sitelere girip delirmiş gibi bilimum linkin nereye gittiğine bakmaktan yoruldular sanırım. zaten bunun bir sonu yoktu

en iyisi bizim gibi elemanlar sitelerine bir script kursunlar, manuel eklesinler indexlencek siteleri. google'un işi de rahatlasın tabii.

bu arada şimdi ilk günden bu crawle olayının klasik şekinin bırakılacağını iddia etmedim tabii ama gidişat oaraya doğru..

herkese faydası olacak son şeyi söyleyeyim. bu site-map işini öğreneceğiz.

büyük ihtimalle yoktur bir sitemap.html yapıp gitme.net in altına atar yakında herkes öğrenir ..

saygılar.

doganli' Alıntı:

User-agent: Offline Explorer
Disallow: /

yazmak bu programı engelliyor mu ? yani demek istediğim bu tarz programlar robots.txt yi dikkate alıyor mu ?

Genişletmek için tıkla ...

tabi ki bu programlarında bir user-agentı var
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

full korumalı örneğide

http://www.rh.com.tr/robots.txt

ultra full koruması
http://www.searchenginegenie.com/Dangerous-user-agents.htm

yoktur' Alıntı:

User-agent: *
Disallow: /git.php
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: Teleport Pro
Disallow: /
User-agent: Wget
Disallow: /
User-agent: eCatch
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Vacuum
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: WebCopier v3.2a
Disallow: /
User-agent: WebCapture 2.0
Disallow: /
User-agent: WebCopier v.2.2
Disallow: /

Genişletmek için tıkla ...

Bu sitedownloader ların tamamının engellediği bir örnek arıyordum.Acayip makbule geçti.Çok teşekkürler.

yoktur' Alıntı:

tabi ki bu programlarında bir user-agentı var
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html

full korumalı örneğide

http://www.rh.com.tr/robots.txt

ultra full koruması
http://www.searchenginegenie.com/Dangerous-user-agents.htm

Genişletmek için tıkla ...

o programların da user-agentları var da "robots.txt" ".htaccess" değil ki bu user-agentları görünce hop, dur desin. robots.txt yi sadece google, yahoo, msn, vs. gibi eli yüzü düzgün botlar kontrol ediyor. ayrıca bu tarz programlarda user-agent değiştirme opsiyonu da var sanırım. yani istenirse user-agentı "ahmetbot" yapsın yani demek istediğim program çirkeflik yapmak isterse robots.txt *i*imden aşşa kasım paşa diyebilir.

Skeleton' Alıntı:

o programların da user-agentları var da "robots.txt" ".htaccess" değil ki bu user-agentları görünce hop, dur desin. robots.txt yi sadece google, yahoo, msn, vs. gibi eli yüzü düzgün botlar kontrol ediyor. ayrıca bu tarz programlarda user-agent değiştirme opsiyonu da var sanırım. yani istenirse user-agentı "ahmetbot" yapsın

Genişletmek için tıkla ...

çok bilen adamı zaten durduramazsın bu yöntemler çömezleri durdurmak için

Skeleton' Alıntı:

o programların da user-agentları var da "robots.txt" ".htaccess" değil ki bu user-agentları görünce hop, dur desin. robots.txt yi sadece google, yahoo, msn, vs. gibi eli yüzü düzgün botlar kontrol ediyor. ayrıca bu tarz programlarda user-agent değiştirme opsiyonu da var sanırım. yani istenirse user-agentı "ahmetbot" yapsın yani demek istediğim program çirkeflik yapmak isterse robots.txt *i*imden aşşa kasım paşa diyebilir.

Genişletmek için tıkla ...

yahu benimde kafam karışmıştı sağolasın, çünkü bende böyle biliyordum ama yoktur robots.txt işe yarar deyince acaba dedim ?

neyse herkese teşekkürler
selamlar

Ben pek sanmıyorum robot.txt dosyası ile download programları engellensin sonuçta zaten illegal bir mevzu var ortada gidip program robotu okuyp yok abi ben buna gelemem bak elemanlar istemiyor bizi sitede demezler!! Ben kesin yolu söyliyim htaccess kodlarında biter ahan da size kodlar direk koyun gönlünüz rahat olsun, imkanı yok giremezler.(birisi de bana bu google sitemap hakkında bilgi alabilcem bir link verirse sevinirim, forumdan da olabilir)

Bunun sonucunda kodları vermem gerekirdi ama kaybetmişim kusura bakmayın ben bulunca hemen koyacam şansa bak ya.