google bot gibi yapmak isteyenlere

forumda verildimi bilmiyorum belki ilgilenen arkadaslarin isine yarar

robot-id: googlebot
robot-name: Googlebot
robot-cover-url: http://www.googlebot.com/
robot-details-url: http://www.googlebot.com/bot.html
robot-owner-name: Google Inc.
robot-owner-url: http://www.google.com/
robot-owner-email: [email protected]
robot-status: active
robot-purpose: indexing
robot-type: standalone
robot-platform: Linux
robot-availability: none
robot-exclusion: yes
robot-exclusion-useragent: googlebot
robot-noindex: yes
robot-host: googlebot.com
robot-from: yes
robot-useragent: Googlebot/2.X (+http://www.googlebot.com/bot.html)
robot-language: c++
robot-description: Google's crawler
robot-history: Developed by Google Inc
robot-environment: commercial
modified-date: Thu Mar 29 21:00:07 PST 2001
modified-by: [email protected]

diger robotlar:
http://www.robotstxt.org/wc/active/all.txt

indirmek icin:
http://www.cpan.org/modules/by-module/LWP/

google bot gibi yapmak isteyenler derken neyi kastettin sayfalarda googlebot gibi kısıtlama olmadan gezinmeyimi ?

Evet biraz detay alsak

ben bişi anlamadım ya

biraz daha açarmısın konuyu rica etsem

Kendi botunuzu oluşturmak için sanırım.

evet kendi botunuzu ve datacenterinizi olusturmak icin nasil yapildigini bilmiyorum internetde gezerken buldum ve paylasmak istedim.