robots.txt
Stefan
- html
Moin Moin,
ich habe nun eine robots.txt gemacht und in mein Root-Verzeichnis ge-
steckt. Was muß man dann mit der Zeile
<meta name="robots"content="index,follow">
in der index.html machen? Entfernen?
Gruß
Stefan
Hi
Was muß man dann mit der Zeile
<meta name="robots"content="index,follow">
in der index.html machen? Entfernen?
Die gleiche Regel hinschreiben die du in der robots.txt definiert hast.
Grüße
Ole
(8-)>
Hi
Was muß man dann mit der Zeile
<meta name="robots"content="index,follow">
in der index.html machen? Entfernen?
Die gleiche Regel hinschreiben die du in der robots.txt definiert hast.
Grüße
Ole
(8-)>
Verstehe ich nicht ganz. In meiner robots.txt steht User-agent: *
und einige Disallow: / um lediglich die index.html zuzulassen.
Hi
Verstehe ich nicht ganz. In meiner robots.txt steht User-agent: *
und einige Disallow: / um lediglich die index.html zuzulassen.
Das wäre für die Index.html dann
<meta name="robots"content="index,nofollow">
und für die restlichen Seiten
<meta name="robots"content="noindex,nofollow">
Grüße
Ole
(8-)>
Hi
Verstehe ich nicht ganz. In meiner robots.txt steht User-agent: *
und einige Disallow: / um lediglich die index.html zuzulassen.Das wäre für die Index.html dann
<meta name="robots"content="index,nofollow">
und für die restlichen Seiten
<meta name="robots"content="noindex,nofollow">
Grüße
Ole
(8-)>
Ach so, ich dachte wenn man eine robots.txt verwendet bräuchte man
diese meta-angaben dann gar nicht. Kann man diese weglassen?
Hi,
Das wäre für die Index.html dann
<meta name="robots"content="index,nofollow">
und für die restlichen Seiten
<meta name="robots"content="noindex,nofollow">
Da fehlt noch ein Leerzeichen vor "content".
Und das würde wirklich nur noch die Index.html zulassen und alle anderen, von dort aus verlinkten Seiten aussperren. Willst du das wirklich?
Ach so, ich dachte wenn man eine robots.txt verwendet bräuchte man
diese meta-angaben dann gar nicht. Kann man diese weglassen?
Ja. Die Robots indizieren und verfolgen dann alles, was sie von Index.html aus finden, sofern es nicht in robots.txt ausgeschlossen wurde.
Don