Tach!
Hoffentlich mit Statuscode "503 Service Unavailable", sonst hast du vielleicht auch bei gutmütigen/erwünschten Bots diesen Text im Suchergebnis stehen.
Danke für den Tipp, habe ich eingebaut.
Wenn Du was blockieren willst sende Status 403. Dieser Status hat den Vorteil daß Deine Seiten nicht aus dem Suchmaschinenindex fliegen.
403 ist Forbidden. Warum soll eine Suchmaschine etwas im Index behalten, wenn ihr mit Forbidden geantwortet wird? 503 ist jedoch für temporäre Unerreichbarkeit vorgesehen. Wenn man es richtig machen möchte, gibts sogar noch den Retry-After Header, mit dem man bekanntgeben kann, wann man es nochmal probieren kann.
dedlfix.