Seiten über robots.txt sperren

[pl]

Ist mir zu hoch. Warum sollte man Ressourcen, an die der Bot eh eh nicht rankommt, Weil ja schon Deine Annahme falsch ist.

Meine Annahme basiert auf Deiner Aussage: "Seiten die nicht indexiert werden können, weil sie passwortgeschützt sind". Wenn also meine Annahme falsch ist, dann ist Deine Aussage ebenfalls falsch.

Du verstehst das eben nicht was ein Bot macht: Er folgt jedem URL, es sei denn, die Datei robots.txt verbietet es. Wenn Dir das zu hoch ist, an mir liegts nicht.

MfG