İçerik toplayan bot - yasallık

Caesar · 30 Ekim 2006

Geçen hafta kendimce bir bot yaptım. Botu calıştırdığım an 1 saat içinde tüm haber sitelerini geziyor ve

http://www.arsivtek.com/32/Arsiv/
edit: 1 saat içinde 10.000 sayıda haber ekliyor.

bu alana gördüğü tüm haberleri içerikleri ile birlikte ekliyor.

Şimdi kafama takılan bir kaç şey var...

Bu bot yasal mıdır yada etiğe aykırı bir davranış sergiliyor mudur.

Aldığı haberlerin içeriklerinin altına

"Haber7" yada "AA" yada "SABAH" vs vs

tarzı kaynaklarıda ekliyor. Eğer yasal bir yazilim yapmiş isem bunu paylaşmayı düşünüyorum.

Edit 2: bu bot şu an bir kaç haber sitesine göre dizayn edildi. Sadece güncel haberleri değil sayfada arama özelliğini kullanarak belirtilen yilin belirtilen ayın 30 gününü arayarak o ay girilmiş tüm haberleride alabiliyor. Örneğin 2006 Ocak dediğinizde 2006 senesinde ocak ayında girilmiş tüm haberleri arama dan bulup linklerini hafızaya alıp daha sonra linklere teker teker giriş haberleri topluyor.

Senol · 30 Ekim 2006

alıntı yaparak haberleri yayınlıyorsan neden yasal olmasın fakat kaynak belirtmiyosan başına bela acabilir bu bot

cakirx · 30 Ekim 2006

dikkatimi çekti bazı haberlerde kaynak belitmemiş neden acaba .

captainzap · 30 Ekim 2006

kaynak belirtmesi durumu yasal yapmaz ki

Haber sitelerinde eğer kaynak belirtip kullanılabilirliği var diyorsa problem teşkil etmez.

Bir kaç sene önce birisine bir haber sitesi yapmıştım iha'ya aboneydi ve haberleri alabiliyordu. Tabi bu üyelikte ücretli aylık 700-1000 ytl arasında bir rakamdı sanırım yanılmıyorsam.

Caesar · 30 Ekim 2006

Şimdi ben haber7 yi inceledim ve %90 haberleri oda alıntı yapıyor. sabah tan fanatik den vs den vs den..

@cakirx eğer aldığı haberin alt kısman da "AA" şeklinde alıntı varsa onuda aliyor yoksa almiyor.

Örnek: http://www.arsivtek.com/16608/Fizikcilere-gore-penalti-nasil-atilmali.html (Alıntı var)
Örnek 2: http://www.arsivtek.com/16625/Fenerli-taraftarlarin-son-esprisi.html (Alıntı var)
Örnek 3: http://www.arsivtek.com/16629/Demiroren,-Aslan-a-gonderme-yapti.html (Alıntı yok)

cakirx · 30 Ekim 2006

benim anlamadığım bir haberin nasıl telif hakkı olur sonuçta gündemde olan olaylar yazılıyor . Sadece onların mı yazma yetkisi var :s

Caesar · 30 Ekim 2006

Bence de olmaz

Baştan soruyorum ki çünkü herkese sürekli etiğe aykırı şeyler yapmayın diyorum tutupta bu aykırı ise yüzüme vurmasınlar

ploop · 30 Ekim 2006

tamamen yasal degil bu bot. oradaki haberler ajanslara parası ödenerek elde edilmis haberlerdir. yani sabah gazetesi gidip de kendisi haber bulmaz. bulsa da bu genel oran içerisinde çok az bir miktardır. ajanslara abonman ücretini ödeyerek o haberleri ajanslardan "satın alır". senin yaptığın olay sabah gazetesinin ya da baska bir gazetenin satın aldığı haberi izinsiz kullanmaktır. bu yüzden yaptığın yasal değil, tck'ya göre 2 yıl hapis cezası öngören bir suçtur.

Caesar · 30 Ekim 2006

hmm. Yanlız BM yasalarına göre de bir site RSS ile içeriğini restriction public yapıyorsa içerik farklı sayfalarda gösterilebilir. Bu yasaya sığınarak bu botu yaptım da denebilir.

ploop · 30 Ekim 2006

BM'nin yasası mı var? bilmiyordum. Ayrıca RSS haberin tamamını almaz, sadece bir kısmını gösterir baska sayfada benim bildigim. sonunda da icerik çekilen sayfaya link verir.

Caesar · 30 Ekim 2006

ben en iyisi botun girdiği haber sitelerine mail atayım içim rahatlasın bakalım ne diyecekler.

T3chn0 · 31 Ekim 2006

bildiğim kadarıyla haber siteleri ajanslara para ödeyerek bu haberleri alıyor vede başka yerlerde kaynak vermeden yayımlanması yasak vede rss ticari amaçlı kullanılamaz diye birşey varsı sanki aklımda öyle kalmış...

LuGeLaS · 31 Ekim 2006

bişey olmaz

ben çok yaptım

T3chn0 · 31 Ekim 2006

LuGeLaS' Alıntı:
bişey olmaz

ben çok yaptım

yaw bi yerde emeği çalıyorsun nasıl bişey olmaz ?

MoD · 31 Ekim 2006

Yukaridaki resim gayet resmiyet kazanmis gazetelerin internet sitelerine ait. Alttakilerde internet gazeteceligi yapan sitelerin resimleri. Haber AA haberi.Hangisi oduyor, hangisi digerinden aliyor bilemeyiz. Yani havadis.net taninmis bir sitedir, Anadolu Ajansina para oduyordur diyemeyiz.

Icerik toplayici botlara gelince , bu bence biraz web gelistiricilerinin sucu. Insanlar basit bir script ile hedef sayfayi cagirip, belirlenen yerden parcalayip veritabanina kaydedebiliyorsa, bu verileri kaydedenlerin degil, siteyi programlayanlarin sucudur. Bunu engellemekte inanin dava acmaktan cok kolay bir icraattir. Uc satir ile veri cekilebilen script yazilabiliyorsa, tek satir ile hayalleri suya dusurebilirler. Bu yuzden veri ceken arkadaslari ben suclamiyorum. Yaptiklari yanlistir, ama yaptirmamakda bizim elimizdedir. Sahsen kendi sitelerimden, icerigi orjinal olanlari forumlarda icerik satan arkadaslar indeksleyemez. Hersey id takibi degildir

Eger bu bilgiler site sahibi onemli ise, nasilki hostinge, domaine odeme yapiliyorsa, web arabiriminide profesyonellere yaptirmalilar.

Caesar · 31 Ekim 2006

olay id takibi değil aslında

örneğin http://www.sabah.com.tr ye bot giriyor

href=(.*?) içini aliyor linkleri hafızaya aliyor. ama sadece haber.php olan linkleri mesela.

daha sonra bu linklerin hepsini arşivledikten sonra o linkleri tek tek gezip haberleri aliyor. yani kimse buna engel olamaz ben şurda engelledim dersen 2 dk de alabileceğimi kanıtlayabilirim.

Linux · 31 Ekim 2006

Pop yıldığı Jennifer Lopez, Azeri asıllı iş adamı Telman İzmailov’un

sadece gülüyorum başka bişi diyemiyorum bunlar yapıyorsa bizimde yapmamız sorun olmaz bence diye düşünüyorum.

Permission · 31 Ekim 2006

bu olayı google bile yapıp dava acıldı gogleye yüklü tazminat ödedi news.google.com aynı olayı yaptı belli sitelerden haberler yayınaldı ve başı belaya girdi

MoD · 31 Ekim 2006

@Caesar, sayfalar arasi referer kontrolu (curl cozumdur, fakat problem cikarilir.), tek ip'den cagrilan (request) sayfa takibi, session ile birim surede gezilen sayfa takibi..vs alt satirada bir exit. Yani programlama konusunda ne kadar usta oldugunun farkindayim. Fakat burda fonksiyon yaristirmaya gerek yok. One surecegin her metoda karsi anti-metod uretilir. PHP esnek bir dunya. Icerik ihtiyacim oldugunda bende bot yaziyorum. Ve yazarken ben olsam kendimi nasil engellerdim diye dusunuyorum. O yuzden iyi dileklerime haber botun hayirli olsunu ekliyorum. Basarilar diliyorum.

Caesar · 31 Ekim 2006

yok yaw yarışmak değil amacım

dediklerinin hepsinin farkındayım. onun için şu şekilde bir yol kullanıyorum.

1. tek sunucu dan o kadar baglantı açarsam karşı sunucu beklemeye alıyor bot tıkanıyor.
Çözüm: 3 sunucu + 7 hosting de bot calisiyor. Paylaşımlı bir tek mysql sunucusundan db yi inceliyor ki karşı sayfalar engellemesin.

2. timer fonksiyonu kullanıyorum ki 2. baglantiyi açacağı zaman araya 2 saniye atsın flood şeklinde gözükmesin.

3. curl kesinlikle kullanmıyorum farkedilmek istemem fopen de kullanmıyorum aynı şekilde. fsockopen ile baglantı açıp kendimi google spider gibi gösteriyorum. eğer banlayacaksa google yi banlamak istemez herhalde