Robots.txt <==> <meta name="robots" ....

[Steve]

Hallo zusammen,

ich habe eine "reine" Menüseite menue.htm die Links auf meine Unterseiten enthält. Nun möchte ich nicht, dass diese Menü-Seite bei GOOGLE und Co. archiviert wird.

Die Datei menue.htm liegt im obersten Root-Verzeichnis

In der Datei robots.txt habe ich deshalb folgenden Eintrag gemacht:

User-agent: *
Disallow: /menue.htm

1.) Darf / muss der Slash sein?

2.) Wenn ich verbiete diese Seite in den Index aufzunehmen, verfolgt dann der Spider trotzdem die Links in menue.htm?

3.) In der Datei habe ich u.a. die Meta-Angabe
<meta name="robots" content="noindex,follow>
gesetzt

Was ist nun entscheidend, die Angabe in robots.txt oder die Meta-Angabe.

Danke im voraus...

Steve

[Ingo Turski]

Hi,

In der Datei robots.txt habe ich deshalb folgenden Eintrag gemacht:

User-agent: *
Disallow: /menue.htm

1.) Darf / muss der Slash sein?

AFAIK sollte er sein.

2.) Wenn ich verbiete diese Seite in den Index aufzunehmen, verfolgt dann der Spider trotzdem die Links in menue.htm?

Nein. Du hast das doch ausdrücklich verboten.

3.) In der Datei habe ich u.a. die Meta-Angabe
<meta name="robots" content="noindex,follow>
gesetzt

das ist sinnvoll. Lösche daher den Eintrag in der robots.txt. Oder noch besser: verzichte auf Frames. ;-)

freundliche Grüße
Ingo

[steve]

Hi Ingo,

danke für die Info.

2.) Wenn ich verbiete diese Seite in den Index aufzunehmen, verfolgt dann der Spider trotzdem die Links in menue.htm?
Nein. Du hast das doch ausdrücklich verboten.

3.) In der Datei habe ich u.a. die Meta-Angabe
<meta name="robots" content="noindex,follow>
gesetzt
das ist sinnvoll. Lösche daher den Eintrag in der robots.txt. Oder noch besser: verzichte auf Frames. ;-)

Mit dem Punkt 3.) kann man also anweisen, die Seite nicht in den Suchmaschinenindex aufzunehmen und aber die Links zu verfolgen.

Korrekt?

Woher weist du, dass ich eine Frame einsetze? Ich kann doch menue.htm auch per PHP oder SSI einbinden ;-)

Bye

Steve

[Ingo Turski]

Hi,

3.) In der Datei habe ich u.a. die Meta-Angabe
<meta name="robots" content="noindex,follow>
gesetzt
das ist sinnvoll. Lösche daher den Eintrag in der robots.txt. Oder noch besser: verzichte auf Frames. ;-)

Mit dem Punkt 3.) kann man also anweisen, die Seite nicht in den Suchmaschinenindex aufzunehmen und aber die Links zu verfolgen.

Korrekt?

Ja. Dafür ist dieses Meta-Tag da - eines der wenigen, das von Suchmaschinen beachtet wird.

Woher weist du, dass ich eine Frame einsetze? Ich kann doch menue.htm auch per PHP oder SSI einbinden ;-)

Dann würde 1. kein Link auf diese Seite zielen und sie ohnehin nicht gefunden werden und 2. wäre es ein Leichtes und auch üblich, den Zugriff über HTTP dann zu verhindern.

freundliche Grüße
Ingo