Sayfalari indeksten cikartmak icin robots.txt tek basina yetersiz.

Sitemde bulunan ve indekslenmesini istemedigim yuksek sayida sayfayi robots.txt ile engellemeye calistim. Beklentim disallow edildigi icin Google'un bu sayfalari bir sure sonra indeksinden dusurecegi yonundeydi. Ancak disallow edisimden 2 ay gecmis olmasina ragmen Google hala sayfalari indeksinde tutuyordu. Gecen hafta John Mueller'in son webmaster hangoutunda buna yonelik bir soru geldi. John Mueller indeksten sayfalarin dusebilmesi icin robots.txt'nin tek basina yeterli olmadigini ve ayni zamanda sunucunun bahsi gecen sayfalar icin 404 (bulunamadi) vermesi gerektigini soyledi. Aklinizda bulunsun.