Robot öffnen Geheime Seiten

[Sascha]

Heute ist was komisches passiert. Es kam der Crawler von archives.org vorbei. Er kam auch in ein Verzeichnis das er eigentlich nicht wissen kann, da es keinen Bezug von den einzelnen Seiten zu dieser Seite gibt. Die Seite hätte normalerweis nicht auf dem Server sein dürfen, weil man sie eigentlich löschen soll. Aber der Crawler hätte eigentlich nicht wissen können wo und wie die Seite heißt. Jetzt habe ich zwei Fragen:

Erstens: kann ich in den in die Robot.txt reinschreiben, das er keine name.php seiten ansehen darf....

und zweiten wie ich vorgehen kann, das ich rausfinde wie er auf diese Seite kam?