robot.txt +<META NAME="ROBOTS" CONTENT="NOINDEX">
bearbeitet von ursus contionabundo~~~html
<meta name="robots" value="noindex">
~~~
([oder die Varianten](https://webmasters.googleblog.com/2007/03/using-robots-meta-tag.html)) sollte man (in Ressourcen vom Content-Type `x{0,1}html` ZUSÄTZLICH zur robots.txt setzen wenn diese nicht in den Ergebnislisten auftauchen sollen. Die robots.txt hat vor allem die Aufgabe, die "robots" (dazu zählt auch wget) freundlich zu bitten, das abrufen der darin genannten Ressourcen zu vermeiden. Das kann klappen, obiges