nicht angemeldet
Ist mir zu hoch. Warum sollte man Ressourcen, an die der Bot eh eh nicht rankommt, Weil ja schon Deine Annahme falsch ist.
Meine Annahme basiert auf Deiner Aussage: "Seiten die nicht indexiert werden können, weil sie passwortgeschützt sind"". Wenn also meine Annahme falsch ist, dann ist Deine Aussage ebenfalls falsch.
Du verstehst das eben nicht was ein Bot macht: Er folgt jedem URL, es sei denn, die Datei robots.txt verbietet es. Wenn Dir das zu hoch ist, an mir liegts nicht.
Wie soll ein Bot eine Ressource aufrufen, deren Credentials er nicht kennt? Warum sollte man Ressourcen, die ein Bot nicht aufrufen kann , per robots.txt "verbieten"? Magst Du diese beiden Frage beantworten? Das wäre sehr lieb von Dir.
Matthias Apsel
Tabellenkalk