robots.txt wird von Google ignoriert

[suit]

Auch über google konnte ich jetzt nach kurzer Suche keinen Artikel finden, der widerlegt dass die Seite durch duplicate content abgestraft werden könnte.

Mach dich nicht lächerlichm, du bist lange genug dabei um zu wissen, wie man eine Suchmaschine bedient: "Duplicate Content Matt Cutts"

Also ich wäre dankbar für einen Link.

Es gibt sogar ein offizielle Statements von Google daz:
http://googlewebmastercentral-de.blogspot.com/2008/06/duplicate-content-aufgrund-von-scraper.html

http://googlewebmastercentral-de.blogspot.com/2007/03/duplicate-content-best-practice-bei_08.html