tüm arama motorlarını nasil engelleyebilirim..!

1. Web Yöneticisi Araçları Ana Sayfası'nda, istediğiniz siteyi tıklayın.
2. Site yapılandırması altında Tarayıcı erişimi'ni tıklayın.
3. robots.txt dosyası oluşturun sekmesini tıklayın.
4. Varsayılan robot erişiminizi seçin. Tüm robotlara izin vermenizi ve sitenize erişmesini istemediğiniz belirli botları hariç tutmak için sonraki adımı kullanmanızı öneririz. Böylece önemli tarayıcıların sitenizi taramasını yanlışlıkla engellemenizin neden olabileceği sorunları önlemiş olursunuz.
5. Varsa, diğer kuralları belirtin. Örneğin, Googlebot'un sitenizdeki tüm dosyaları ve dizinleri taramasını engellemek için:
   1. Eylem listesinden İzin Verme seçeneğini belirtin.
   2. Robot listesinden Googlebot'u tıklayın.
   3. Dosyalar veya Dizinler kutusuna / yazın.
   4. Ekle'yi tıklayın. robots.txt dosyanızın kodu otomatik olarak oluşturulur.
6. Dosyayı indirerek veya içeriği bir metin dosyasına kopyalayıp robots.txt olarak kaydederek robots.txt dosyanızı kaydedin. Bu dosyayı sitenizin en üst düzey dizinine kaydedin. robots.txt dosyası, etki alanının kök dizinine yerleştirilmeli ve "robots.txt" olarak adlandırılmalıdır. Botlar bu dosyayı yalnızca etki alanının kök düzeyinde kontrol ettiği için, alt dizinde bulunan bir robots.txt dosyası geçerli değildir. Örneğin, http://www.example.com/robots.txt geçerli bir yerdir ancak http://www.example.com/sitem/robots.txt geçerli bir yer değildir.

gemius' Alıntı:

Aslında noindex ve nofollow etiketleri bunun için yeterli ama ille de ben eşeğimi sağlam kazığa bağlarım diyorsanız robot.txt dosyası oluşturarak

User-agent: *
Disallow: index.php
Disallow: detay.php

kodunu yazarak kullanabilirsiniz.

Genişletmek için tıkla ...