Ob ich hier mit "PROJEKTVERWALTUNG" den richtigen Bereich getroffen habe, ist mir nicht klar, aber wo sonst?
Zur Frage: Mir ist nicht klar, ob in der robots.txt die Reihenfolge eine Rolle spielt und ob wildcards so wie von mir gewünscht eingesetzt werden können. Neben der "index.html" gibt es im Stammverzeichnis mehrere Testdateien, die ich oft nicht sofort lösche. Diese Dateien werden immer nach dem schema "test<nummer>.html" gebildet.
Ist die folgende robots.txt Datei also geeignet, den spidern mitzuteilen, dass diese Dateien nicht mitindexiert werden sollten?
User-agent: *
Disallow: /kram/
Disallow: /test*
Allow: /