Hayatımım Optimizasyonu :D
Şimdi ben denediklerimi ve aldığım başarı yı yazıyorum:
ilk olarak:
1. Spiderin sayfaya girebilmesi açısından bir kaç siteye text-link verilir.
2. Sayfaları şekillendirirken <title>*</title> <meta description='*'> taglari çok onemli çünkü spider sayfaları bu şekilde ayırd edebiliyor.
3. Google ipleri bir array fonksiyonuna kaydedilir.
örnek
bu spiderin ipleridir gelen botun googleye ait olup olmadığını anlamak için.
4. ipler kaydedildikten sonra normal kullanın göremeyeceği sayfa googleye gösterilir bu sitemap şeklindedir. Örnegin sayfanıda haber yayınlıyorsunuz.
hemen kodlarla anlatalım
sql şema haberler
--id---baslik---aciklama
burada ne yaptık? giren kullanıcıya haberlerden en son tanesini görmesi açısından listeledik. giren google botta bu 10 haberi görüp anında hafızasına aldı. ama bizde 300 tane haber var mesela. ama google 10 tanesini listeledi. o zaman hafızaya aldığımız ipler işimize yarayacak örneğin;
burada ne yaptık? giren kişinin ipsini kontrol ettik eger google ye ait bir ip ise bu spiderdik dedik ve tum haberleri yani 300 haberi listelemesi için ona yansıttık ama eger ip si google ye ait degilse diyede düşündük bu seferde normal kullanıcıdır ve sadece son 10 haberi görebilsin şeklinde listeledik.
bu sayede spiderleri kullanıcıdan ayırd edip tüm sayfaları listeletebildik.
ilk olarak:
1. Spiderin sayfaya girebilmesi açısından bir kaç siteye text-link verilir.
2. Sayfaları şekillendirirken <title>*</title> <meta description='*'> taglari çok onemli çünkü spider sayfaları bu şekilde ayırd edebiliyor.
3. Google ipleri bir array fonksiyonuna kaydedilir.
örnek
PHP:
$google=array("ip1","ip2","ip3");4. ipler kaydedildikten sonra normal kullanın göremeyeceği sayfa googleye gösterilir bu sitemap şeklindedir. Örnegin sayfanıda haber yayınlıyorsunuz.
hemen kodlarla anlatalım
sql şema haberler
--id---baslik---aciklama
PHP:
$sorgu=mysql_query("select id,baslik from haberler order by id desc limit 0,10");
while ($oku=mysql_fetch_array($sorgu) {
echo "<a href='haber.php?id=$oku[id]'>$oku[baslik]</a>";
}burada ne yaptık? giren kullanıcıya haberlerden en son tanesini görmesi açısından listeledik. giren google botta bu 10 haberi görüp anında hafızasına aldı. ama bizde 300 tane haber var mesela. ama google 10 tanesini listeledi. o zaman hafızaya aldığımız ipler işimize yarayacak örneğin;
PHP:
$google=array("ip1","ip2","ip3","ip4");
$ip=getenv('REMOTE_ADDR');
if ($ip==$google) {
$sorgu=mysql_query("select id,baslik from haberler order by id");
} else {
$sorgu=mysql_query("select id,baslik from haberler order by id desc limit 0,10");
}
while ($oku=mysql_fetch_array($sorgu) {
echo "<a href='haber.php?id=$oku[id]'>$oku[baslik]</a>";
}burada ne yaptık? giren kişinin ipsini kontrol ettik eger google ye ait bir ip ise bu spiderdik dedik ve tum haberleri yani 300 haberi listelemesi için ona yansıttık ama eger ip si google ye ait degilse diyede düşündük bu seferde normal kullanıcıdır ve sadece son 10 haberi görebilsin şeklinde listeledik.
bu sayede spiderleri kullanıcıdan ayırd edip tüm sayfaları listeletebildik.
ip leri bilmenize gerek yok, kural gereği örümceklerin kendilerini tanımlamaları gerekmektedir.
sitenize girenlerin agent bilgisi ile bunu anlayabilirsiniz.
Google agent listesi
-------------------------------
AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot-Image/1.0"
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Googlebot/Test (+http://www.googlebot.com/bot.html)
Googlebot/Test
Mediapartners-Google/2.1 (+http://www.googlebot.com/bot.html)
Mediapartners-Google/2.1
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
gsa-crawler (Enterprise; S4-E9LJ2B82FJJAA; [email protected])
-------------------------------
php için getenv("HTTP_USER_AGENT");
güncel google ip listesi de ektedir.