@@Auge,
Sowohl @bornstecker als auch ich haben dir empfohlen, das Verzeichnis mit den fraglichen Dateien von den Regeln in der robots.txt auszuschließen, damit die Robots darauf zugreifen können und für beziehungsweise in den Dateien stattdessen mit dem HTTP-Header und dem Meta-Element zu arbeiten.
So würde ich das dann machen.
Die große Frage: Wann macht dann disallow in Verbindung mit der robots.txt noch Sinn?