Robot öffnen Geheime Seiten

[robertroth]

Liebe Mitdenker, liebe Wissende, liebe Neugierige,

ja!

Heute ist was komisches passiert. Es kam der Crawler von archives.org vorbei. Er kam auch in ein Verzeichnis das er eigentlich nicht wissen kann, da es keinen Bezug von den einzelnen Seiten zu dieser Seite gibt. Die Seite hätte normalerweis nicht auf dem Server sein dürfen, weil man sie eigentlich löschen soll. Aber der Crawler hätte eigentlich nicht wissen können wo und wie die Seite heißt.

Das ist nicht komisch, sondern nur merkwürdig. Und wenn wir uns das dann gemerkt haben, weil es dessen würdig war und deinen Text etwas genauer analysieren, dann stoßen wir auf die Stelle "weil man sie eigentlich löschen soll".

Daraus lässt sich schließen, dass eine mehrfach verbreitete Software (? Open Source) installiert wurde.

Nun wird der Robot-Programmierer diese Software auch kennen und daher wissen, wo auf dem System, gemessen ab dem ihm bekanntgegebenen Einstiegspunkt (? Document Root) die empfindliche Stelle zu suchen ist.

Jetzt habe ich zwei Fragen:

Erstens: kann ich in den in die Robot.txt reinschreiben, das er keine name.php seiten ansehen darf....

Ja. Reinschreiben kannst Du da, was Du willst. Aber ob der Robot etwas damit anfangen kann und - viel wichtiger - damit anfangen will, ist dessen Sache. Es sind ja nur Empfehlungen, die er nach Gutdünken umsetzen kann, oder auch nicht.

Außerdem wird ein Robot, der nach derlei Ressourcen sucht, sicherlich keine Empfehlungen zur Unterlassung einhalten, sondern sie, im Gegenteil dazu, erst recht verfolgen.

und zweiten wie ich vorgehen kann, das ich rausfinde wie er auf diese Seite kam?

siehe oben.

Du kannst diese Ressource gegen HTTP/s-Zugriffe mit Basic-Auth, also z.B. mittels einer .htaccess-Datei schützen oder aber sie tatsächlich löschen.

Wenn man mittels dieser Ressource schreibenden Zugriff auf den Server erlangen konnte, ist die Integrität des Systems bereits hochgradig in Frage zu stellen!

Spirituelle Grüße
Euer Robert