Mir stellt sich aber die Frage, was eine Seite, die bei Google nicht erscheinen darf, dann im Internet, per HTTP erreichbar, soll?
Ich will zum Beispiel eine Datenschutzerklärung oder ein Impressum nicht im Index von Suchmaschinen haben, da sie sonst von Abmahnanwälten leicher gefunden werden. Auch Kontaktformulare sehe ich nur ungern in den SERPs, da Spamer oder andere Saboteure mit Suchmaschinen gezielt nach Kontaktformularen suchen können.