nicht angemeldet
<META name="robots" content="index, follow">
<META name="siteinfo" content="/robots.txt">Die robots.txt wird doch durch die 1. META-Angabe abgearbeitet, oder?
Nein, sie hat nichts mit der robots.txt zu tun.
Wozu hat man dann die 2. erstellt? Ist von einer Profiseite aus dem Quelltext.
Keine Ahnung, die ist mir noch nie untergekommen.
Um auf deinen Threadtitel einzugehen, die robots.txt hat einfach unter exemple.tld/robots.txt (Wurzelverzeichnis) aufrufbar zu sein. Das ist alles eingebunden muß sie nirgends werden.