nicht angemeldet
AugeHallo
an meine Seite habe ich ein Ordner der übungspass heisst. Dies ist der Bereich der Bezahlbar und und nur mit Passwörter zugängig ist. Auf alle meine Seiten führen links zu verschiedener Übungen innerhalb des übungspasses. Alle andere Übungen sind kostenlos.
Nun möchte ich nicht, dass "google" diese Links folgt, weil er sieht sie als "401" an. Kann ich in mein robot.txt etwas schreiben damit er das nicht folgt und diese "401§ nicht mehr auftauchen?
Klar. Du kannst in der robots.txt Dateien oder ganze Verzeichnisse bestimmen, die die Robots oder ein ganz bestimmter Robot nicht indizieren soll. Bedenke aber, dass das eine Empfehlung ist, der ein Roboter nicht folgen muss. Der GoogleBot tut das aber.
Zum Beispiel:
<a href="http://www.website.com/" rel="nofollow">Link Text</a>
Das hier hat mit der robots.txt bis auf den gemeinsamen Zweck, einen Roboter aufzufordern, dem Link nicht zu folgen, nichts zu tun. Damit das Attribut seinen Zweck erfüllt, muss es aber an jedem Link zu diesem Ziel verwendet werden. Sonst folgte der Roboter nicht diesem, aber einem anderen Link zu diesem, selben Ziel.
Tschö, Auge
Eine Kerze stand [auf dem Abort] bereit, und der Almanach des vergangenen Jahres hing an einer Schnur. Die Herausgeber kannten ihre Leser und druckten den Almanach auf weiches, dünnes Papier.
Kleine freie Männer von Terry Pratchett