Geistiger Hohlraum: URi mit robots.txt sperren

Beitrag lesen

Mit der Datei robots.txt kann ich dem Suchrobot sagen, was er machen darf und was nicht. Kann man da auch direkte Addressen sperren (zb. tset.php?angabe=irgendwas?

nein, ich denke nicht, dass man bestimmte GET-parameterisierungen einzeln "sperren" kann.

Es ist immer nur die Rede davon gewesen, dass ein robots.txt-Eintrag dem ersten Teil einer URL gleichen muss. Es spricht also nichts dagegen, den Eintrag "tset.php?angabe=irgendwas" als Regel zum Ausschluss der Seite tset.php?angabe=irgendwas&attribut=nochwas zu benutzen, während tset.php?angabe=auchwas oder tset.php zugelassen werden.

http://www.google.de/intl/de/webmasters/3.html#B3 nennt ja noch eine andere möglichkeit; sollten sich andere suchbots wohl genauso dran halten.

Hoffentlich findet er diese andere Möglichkeit. Aber ansonsten kann er ja auch noch http://de.selfhtml.org/html/kopfdaten/meta.htm#robots benutzen.