Raketenwilli: Das ist wohl eher eine Warnung

Beitrag lesen

das klingt, als ob Google gemerkt habe, dass sie Seiten unerwünschterweise indexiert hätten und das nun abgestellt haben.

Ich würde ja sagen, die haben die Seiten indexiert, als es durch die robots.txt noch oder gerade nicht verboten war. Alternativ hat vielleicht mal der Server „gehustet“ und womöglich statt der robots.txt einen 404er geliefert - das kann passieren, wenn z.B. mit Mounts von Fileservern Probleme gibt.

Ich würde das als Warnung begreifen. Was im Index gefunden wird kann von Google-Benutzern - und KIs - abgefragt werden. Also auch die Seiten, die in der robots.txt stehen. Und die stehen da nicht grundlos - macht ja Arbeit