bu tip programları bildiğim kadarıyla engelleyemiyorsunuz. eğer kişi "User-agent" kısmını değiştirirse (yani teleport yerine dsadsa yazarsa) robots.txt etkisiz kalır. uzun bir süre önce araştırmıştım bu konuyu çözüm yolu bulamamıştım. eğer o günden sonra bir yolunu bulmadılarsa bir çözümü yok.