Yeni bir proje (yorumlarınızı bekliyorum)

Arkadaşlar ben kendi çapımda ufak bir projeye başladım.
Google'ın pagerank'ine benziyen bir sistem kurmaya çalışıyorum.
İnternetteki siteleri birbirine olan linkleri baz alarak puanlıyan bir sistem.
Arama motoru yok ama. Sadece sietleri puanlıyor.
Bu, hem pagerank'in nasıl çalıştığını anlamada biraz yardımcı olur, hem de insanlar sitelerinin durumunu objektif bir kritere göre görmüş olur diye düşüdüm.

Mesela isteyen biri bir sitenin puanını, kaçıncı sırada olduğunu backlinklerini vesayre görebilcek.

Tabi bunun tam olarak çalışması biraz zaman alacak. Şu anda 10.000 civarı site var. İlk test için burda durdurdum crawlerı. Normalde günde 10.000 site civarı geziyo.(Çalıştığı zamanlarda.)

Şu anki verilerde gayet tutarlı ama çok daha iyi bir bilgi için 100 binlerce siteyi gezmesi lazım.
İkinci testi 100.000 sitede yapmayı planlıyorum.

Size sormak istediğim, böyle bir proje sizce işe yaramı, yoksa ben boşuna mı uğraşıyorum.

Burdaki webmaster arkadaşlara soruyorum özellikle. Siz böyle bir servisi kullanırmısınız?

sistemin şu anda çok eksiği var.
Mesela sadece sitenin geneli için puan veriyor. Yani her sayfanın bir puanı yok. (Bu bir design tercihidir.) Ama bir siteye verilen tüm linkler (alt sayfalarınada olsa,) puan sayılıyor.
En önemli eksiği ise sadece sitelerin ana sayfasını incelemesi. (Serverı fazla meşgul etmemek için böyle olmak zorundaydı.)

Eğer yorumlar olumlu olursa bir iki güne kadar bu 10.000 siteyi kapsayan bölümü kullanıma açıcam.

Not: Crawler gezmeye iyinet.com dan başladı. O yüzden toplistin ilk 100 sitesini içeriyo bu liste. TAbi gezerken pek çok sitede girdi listeye.

şimdilik aklıma gelenler bunlar, sizde sormak istediğinizi sorabilirsiniz.

yorumlarınızı bekliyorum...

kolay gelsin.

(Edit: yarismalar.net le bir alakası yok bunun. o benim tamamen farklı bir sitem.)

Biz sadece bir adet crawler (robot) yazdık Boş boş dolaşıp indexliyor gariban

Bence bu tür bir proje ilk aşamada çok cazip gelse bile, daha sonradan uğraşmak ve mantığını kurmak çok zor olur. Bir çok kontrolü yapmak için sunucu çok yorulacak ve bir yerden sonra takılıp kalacaktır.

Webmaster olarak böyle bir sistemi denemeyi isterim..

Site saytısı arttıkça gerçekten çok zorlaşıyor ama o zaman daha farklı algortimalar geliştirip sorunlar çözülebilir. (Google yapıyo biz niye yapamıylaım.)

Mesela örnek olarak:
Bu 10.000 site crawl edilirken sadece siteden çıkan linkler kaydedilyor.

Daha sonra 10.000 sitenin crawl işlemi bitince, bir program her site için gelen linkleri bulup kaydediyor. Bu program 10.000 sitenin linklerini yaklaşık 10 dakikada tamamladı. Düz hesap yaparsak 100.000 siteninki 100 dakika sürer. Ama tabi site sayısı arttıkça işlemler uzuyo o yüzden bu iki saati geçebilir. Bu da bir iki parçada yapılırsa karşılanabilir.

Bu işlemde bittikten sonra sitelerin puanlarının hesaplanması kalıyo geriye. Asıl zor olan işlem bu. Gerçek değerleri bulmak için, daha doğrusu yaklaşmak için (kesin değer yok gibi çünkü) aynı işlemin defelarca yapılması gerekiyor.
bu işlem tek bir kere tamamlanması 10.000 sitede 5 dakika. 100.000 sitede 1 saat civarı olucak.

Bunlarıda istatistiki bilgi olarak vermiş oldum. Bu işlemleri bir iki servera yayılırsa ayda bir 500.000 civarında site için puan hesaplanabilir gibi geliyo.
Bu da çok küçük bir rkam tabi google ın yanında ama onların teknolojisiyle bizimkini karşılaştırınca çok da kötü sayılmaz herhalde.
Ortalama serverlarla bu kadar oluyor.

Bence sistemin altyapısından çok webmasterler tarafından nasıl değerlendirileceği, webmasterlere ne kazandırabileceği hakkında bilgi verirseniz daha iyi olur.

Webmasterler karşılıksız destek vermezler

Yukarda da yazmıştım. İstenen bir sitenin puanı ve genel sıralamadaki yeri öğrenilebilecek. Backlinkleri görülebilecek.

Şimdilik benim aklıma gelen başka bir faydası yok.
Böyle bir sistemin kime ne faydası olacak tam olarak bende bilmiyorum açıkcası.

Bunu öğrenebilmek için bu başlığı açtım.

hocam mantıklı düşünmek gerekirse bunun kimseye bir faydası olmaz.
google.com tam 1milyon dolar sermaye ile kuruldu.Bence güzel bir örümcek yazıp arama.com gibi bir arama motoru yapsan çok daha iyi olur senin için.
Eger hala arama.cc gibi bir arama motoru iş yapıyorsa senin site hayli hayli iş yapar

bende bir webmaster olarak sadece "kişisel gorusumu" belırtmek ıstıyorum.
Ben kullanmam.
Google dısında su anda pıyasadakı her arama motoru (dızınlerden bahsetmıyorum) (crawlerlardan bahsedıyorum) zaten PageRank kullanmaktadır. PageRank ı bulan Google dır ama hepsı su anda PR kullanmaktadır zaten....
Bunların dısında sızlerın de bıldıgı gıbı web uzerınde yapılan aramaların yuzde %70 Google, %20 Yahoo ve %10 Dıger Arama motorları uzerınde yapılmaktadır.
*2003 yılı ıstatıstıgıdır.

Yanı bırısının boyle bırsey yapması (PR) kullanması hıc bırseyı degıstırmez aksıne bosuna ugrasmıs olursun, server parası, zaman....vs

Onemlı Not: Ben bu dedıklerımı, bunu proje olarak dusundugun ıcın soyluyorum, ama sen bu sıte tutar mı dersen tutar, cunku ne yapsan tutuyor Turkıye'de...
3,5 tane lınk koyup yapılan sıteler bıle 100 bınlerce hıt alırken senınkı nıye almasın ?.
Son olarak, insanlar google pr sini ogrenmek varken neden senin sitenin verdigi pr yi merak etsinki?......
-Google PR'in 0 dir. Alexa Ranking in ilk 5 binin icinde olsun... kim takar alexa yı?.
alexa bu pastadan %000001 bıle pay almıyor.
senın sıten de almayacak.... (keske alabilse)

tekrar soyluyorum lutfen yanlıs anlamayın, kısısel gorusumdur..

yoktur' Alıntı:

hocam mantıklı düşünmek gerekirse bunun kimseye bir faydası olmaz.
google.com tam 1milyon dolar sermaye ile kuruldu.Bence güzel bir örümcek yazıp arama.com gibi bir arama motoru yapsan çok daha iyi olur senin için.
Eger hala arama.cc gibi bir arama motoru iş yapıyorsa senin site hayli hayli iş yapar

Genişletmek için tıkla ...

üniversite tezi olarak hazırlanmış birşey google. Üniversite öğrencisinde o kadar para ne gezer . Eğer yılda harcadıklarını yazıyorsa doğru ama işe girerken sermayeleri yoktu.

alicanorg' Alıntı:

üniversite tezi olarak hazırlanmış birşey google. Üniversite öğrencisinde o kadar para ne gezer . Eğer yılda harcadıklarını yazıyorsa doğru ama işe girerken sermayeleri yoktu.

Genişletmek için tıkla ...

alican, arkadas dogru soyluyor...
okudukları okul stanford, amerıkanın en pahalı unıversıtesı ve burssuz okuyorlar, ve esas Sergey Brin'in bi lafı vardı bu konuyla ilgili, ilerde bulursam tam olarak paste ederım buraya, aynen soyle dıyordu.

Google'ı yazdıktan sonra, buyumemız ıcın artık sırket olmamız gerekıyordu ve
Larry Page ile 500 bın dolarımızı ortaya koyduk, gerı kalanını da aılelerımızden, cevreden, es dosttan toplayarak (David Filo - Yahoo'nun kurucusu, Sergey'ın cok yakın arkadası maddı manevı) Google Inc. ı kurduk.

dedıgım makaleyı su anda bulamadım ama ona yakın bırsey buldum.
benım okudugum, Lary ve Sergey ile yapilan bir roportajdandı...


"It sat in Larry's desk drawer for a couple of weeks while he and Sergey scrambled to set up a corporation and locate other funders among family, friends, and acquaintances. Ultimately they brought in a total initial investment of almost $1 million."

http://www.google.com/corporate/history.html

Eşten,dostan 1 mılyon dolar bulmak
boyle bır topıc acmayı dusunuyorum

Arkadaslar, 1 mılyon dolar Amerıka ıcınde cok buyuk bır para ve eger bır ınsan, arkadas ve aileden boyle bır parayı bulabılıyorsa,çoooooooooook zengindir aynen gooooooooooogle gibi
benım nıye boyle arkadaslarım yok ki

arkadaşım öncelikle böyle bir projeye adım attığın için tebrik ederim.. sunumunu güzel yaparsan elbette siten tutulur. ama amacın sitenin tutulması ise daha basit şeylerle de tutar.. fakat amacın daha farklı bir sistem oluşturmaksa ve bu onun başlangıcı ise uğraşmaya devam etmeni tavsiye ederim. yazmış olduğun crawler veya robotu hangi dilde yazdın acaba?

NOT: sanki bu forum başlığı ile bu mesaj uyuşmuyor

Ben buna çok ciddi paaralar kazanmak için başlamadım. Sadece böyle bir şeyin yapılıp yapılamıycağını görmek ve biraz zaman geçirmek için yaptım. Zaten bunun şu anda bana bir yükü de yok.

Zaten şu anki halinde de öyle çok abartı birşey yok. Basit kodlarla yapılmış, çok basit programlar.
Crawler dahil tüm kodları php ile yazdım. Database de MYSQL,
Site sayısı artınca php&MYSQL bunu karşılayamaya bilir tabi. Özellikle MYSQL bu kadar sorguyla baş edemiycektir. O zaman farklı sistemlere geçmeyi düşünüyorum. Şimdilik yazması ve alıştyırması kolay olduğu için php & MYSQL.

Dediğiniz gibi belki tutulmayabilir. Bende bunu düşündüm ama, eğer sistem tutarlı bir şekilde çalışırsa, milyonlarca siteyi içinde barındırabilcek duruma gelirse, işte o zaman işe yarayabilir.

Sağlam birde arama motoru ile birleşince çok daha iyi şeyler bile olabilir.

Bu 10.000 sitelik bölümde bile puanlar Google Pagerank'e yakın.
Hatta birinci site "google.com"