nicht angemeldet
Tach,
aber stelle Dir vor, eine Suchmaschine folgt einem Backlink zu einer Unterseite. Hierin sind andere Seiten verlinkt. Wenn jetzt wird die robots.txt angefordert, sind die Links bereits aufgenommen.
ich gehe davon aus, dass die robots.txt zuerst geladen wird, ansonsten würde das Konzept ja recht sinnlos sein.
Davon abgesehen gibt es in der robots.txt kein Äquivalent für noindex oder nofollow alleine.
Da hast du wiederum recht.
mfg
Woodfighter