Robots.txt <==> <meta name="robots" ....

[steve]

Hi Ingo,

danke für die Info.

2.) Wenn ich verbiete diese Seite in den Index aufzunehmen, verfolgt dann der Spider trotzdem die Links in menue.htm?
Nein. Du hast das doch ausdrücklich verboten.

3.) In der Datei habe ich u.a. die Meta-Angabe
<meta name="robots" content="noindex,follow>
gesetzt
das ist sinnvoll. Lösche daher den Eintrag in der robots.txt. Oder noch besser: verzichte auf Frames. ;-)

Mit dem Punkt 3.) kann man also anweisen, die Seite nicht in den Suchmaschinenindex aufzunehmen und aber die Links zu verfolgen.

Korrekt?

Woher weist du, dass ich eine Frame einsetze? Ich kann doch menue.htm auch per PHP oder SSI einbinden ;-)

Bye

Steve