Moin,
es gibt neue Erkenntnisse, wie man Seiten korrekt und ganz klar aus dem Google-Index ausschließen kann. Die bisher verwandte Methode, den Zugriff via robots.txt
zu verbitten funktioniert nur sehr unzuverlässig: wenn der Google-Bot die URL z.B. via externer Verlinkung zu sehen bekommt, greift er die Seite trotzdem ab.
Die von Google beschriebene Methode sicherzustellen, dass etwas nicht im Google-Index landet, ist der noindex
-Metatag. Und wenn man etwas aus dem Google-Index entfernen möchte, dann muss man den Zugriff in der robots.txt
erlauben und via noindex
-Metatag die Indizierung verbieten.
Quelle ist dieser Hackernews-Thread.
LG,
CK