Ingo Turski: Robots.txt <==> <meta name="robots" ....

Beitrag lesen

Hi,

In der Datei robots.txt habe ich deshalb folgenden Eintrag gemacht:

User-agent: *
Disallow: /menue.htm

1.) Darf / muss der Slash sein?

AFAIK sollte er sein.

2.) Wenn ich verbiete diese Seite in den Index aufzunehmen, verfolgt dann der Spider trotzdem die Links in menue.htm?

Nein. Du hast das doch ausdrücklich verboten.

3.) In der Datei habe ich u.a. die Meta-Angabe
<meta name="robots" content="noindex,follow>
gesetzt

das ist sinnvoll. Lösche daher den Eintrag in der robots.txt. Oder noch besser: verzichte auf Frames. ;-)

freundliche Grüße
Ingo