Bir ziyaretçinin Robot olduğunu nasıl anlarım?

ahmetaksoy · 21 Aralık 2014

Merhaba,
Sitemin yeni yerinde kaynaklarım aşırı derecede kısıtlı.
Bu nedenle gereksiz robot ziyaretçilerin CPU tüketmelerini engellemek istiyorum.
Normal, iyi niyetli robotlar zaten UserAgent bilgisi ile kendilerini tanıtıyorlar. Onları ayırdetmede bir sorun yok.
Asıl, kötü niyetli, adres vb toplamak için dolaşan robotları ayırdetmek daha önemli.
Bu konuda yararlanabileceğim bir algoritma veya kaynak kodu bulabilir miyim?
Konuyla ilgili önemli anahtar kelimeler de işime yarayabilir.
Şu anda sadece "robot ziyaretçiler" şeklinde aramalar yapıyorum. Daha spesifik terimleri öğrenirsem, arama alanını da daraltmış olacağım.
Şimdiden teşekkürler.

KrmYlmz · 21 Aralık 2014

bu bağlamda aradığınız tarzda bir kod bulmanız mümkün değil,
lakin size fikir olması açısından birkaç öneride bulunabilirim.

Bu olayın temeli siteye gelen botları engelleme olayı, user agentlerini tespit etseniz dahi, user agent değiştirilebilyor referer değiştirilebiliyor yani sitenizden veri çekmek isteyen arzulu bir yazılımcı her türlü çeker,

Ancak bu engllenemeyeceği anlamınada gelmez, Bunun mantığı öncelikle botların çalışma mantığını çözmekten geçiyor,

* Botlar tek düze işlem yapmazlar bilakis belirli bir algoritmayı izleyerek işlev görürler
* Sitenize erişimi ülke bazlı sınırlandırma yapabilirsiniz.
* Bir botu engellemenizin en önemli kriteri bot olduğuna emin olduğunuz ip adreslerini tamamen bloklamaktan geçmektedir.

ahmetaksoy · 22 Aralık 2014

KrmYlmz' Alıntı:
bu bağlamda aradığınız tarzda bir kod bulmanız mümkün değil,
lakin size fikir olması açısından birkaç öneride bulunabilirim.

Bu olayın temeli siteye gelen botları engelleme olayı, user agentlerini tespit etseniz dahi, user agent değiştirilebilyor referer değiştirilebiliyor yani sitenizden veri çekmek isteyen arzulu bir yazılımcı her türlü çeker,

Ancak bu engllenemeyeceği anlamınada gelmez, Bunun mantığı öncelikle botların çalışma mantığını çözmekten geçiyor,

* Botlar tek düze işlem yapmazlar bilakis belirli bir algoritmayı izleyerek işlev görürler
* Sitenize erişimi ülke bazlı sınırlandırma yapabilirsiniz.
* Bir botu engellemenizin en önemli kriteri bot olduğuna emin olduğunuz ip adreslerini tamamen bloklamaktan geçmektedir.

Botlarla ilgili açıklamalarınıza katılıyorum. Zaten hepsini yakalamak pek kolay olmaz. Yine de belirgin olanlarını devre dışı bırakmak bile kaynakları rahatlatabilir.

Örneğin bugün bir "citrix bot" sistemimi aynı ip üzerinden yarım saat kadar taradı. Araştırma yapıp, gerekirse engellemeyi düşünüyorum. Bu, adı sanı belli bir bot. Asıl kendini browser gibi tanıtanlara daha fazla dikkat etmek gerek diye düşünüyorum. Herhalde bu konuda bir liste oluşturmak en doğrusu...

Teşekkürler. İyi çalışmalar.

Bir ziyaretçinin Robot olduğunu nasıl anlarım?

ahmetaksoy

0

KrmYlmz

0

ahmetaksoy

0