Sönke Tesch: robots.txt, in der Praxis

Beitrag lesen

SELF-Forum

robots.txt, in der Praxis

Sönke Tesch
– Informationen zu den Bewertungsregeln
  1. Gibt es in der Praxis Fälle, wo mit "Allow" ein robot eher das Webangebot
       durchkämt?

Nein.

  1. Ist es ein Unterschied, ob ich keine robots.txt habe, bzw. keine explizite "Einladung" mit "Allow"
       gebe?

Nein.

Einschränkung bei beiden Neins: Deine Seiten sind so grauenhaft geschrieben, daß man mit einfachen HTML-Mitteln nicht von Seite zu Seite kommt. Dann _kann_ es sein, daß das Allow zum Indizieren führt.
Aber in dem Falle sollte man lieber die Designfehler in seinen Seiten korrigieren, weil davon auszugehen ist, daß auch sonst keiner diese Seiten zu sehen bekommt (oder schaust Du erst in der robots.txt nach, wo man überall hin kann?).

Allow ist lediglich dafür gedacht, Unterverzeichnisse, die mit einem allgemeineren Disallow eigentlich gesperrt werden würden, explizit zugängig zu machen. Beispiel:

Allow /kinos/ufa
Disallow /kinos

Ohne "Allow /kinos/ufa" würde /kinos/ufa nicht zugängig sein, weil es mit "Disallow /kinos" gesperrt wird.

Suchmaschinen gehen übrigens von oben nach unten durch robots.txt, das erste passende Muster gilt. Würde man die beiden Anweisungen oben umdrehen, wäre das Allow wirkungslos, weil das Disallow eher auf die Adresse /kinos/ufa zutrifft.

Mehr Infos findest Du unter http://www.robotstxt.org/wc/robots.html.

Gruß,
  soenk.e

Beitrag melden
–
Informationen zu den Bewertungsregeln