Stefan: robots.txt

Moin Moin,

ich habe nun eine robots.txt gemacht und in mein Root-Verzeichnis ge-
steckt. Was muß man dann mit der Zeile

<meta name="robots"content="index,follow">

in der index.html machen? Entfernen?

Gruß
Stefan

  1. Hi

    Was muß man dann mit der Zeile

    <meta name="robots"content="index,follow">

    in der index.html machen? Entfernen?

    Die gleiche Regel hinschreiben die du in der robots.txt definiert hast.

    Grüße
    Ole
    (8-)>

    --
    Das Wort Vegetarier kommt aus dem Indianischen und bedeutet: Zu dumm zum Jagen.
    1. Hi

      Was muß man dann mit der Zeile

      <meta name="robots"content="index,follow">

      in der index.html machen? Entfernen?

      Die gleiche Regel hinschreiben die du in der robots.txt definiert hast.

      Grüße
      Ole
      (8-)>

      Verstehe ich nicht ganz. In meiner robots.txt steht User-agent: *
      und einige Disallow: / um lediglich die index.html zuzulassen.

      1. Hi

        Verstehe ich nicht ganz. In meiner robots.txt steht User-agent: *
        und einige Disallow: / um lediglich die index.html zuzulassen.

        Das wäre für die Index.html dann

        <meta name="robots"content="index,nofollow">

        und für die restlichen Seiten

        <meta name="robots"content="noindex,nofollow">

        Grüße
        Ole
        (8-)>

        --
        Das Wort Vegetarier kommt aus dem Indianischen und bedeutet: Zu dumm zum Jagen.
        1. Hi

          Verstehe ich nicht ganz. In meiner robots.txt steht User-agent: *
          und einige Disallow: / um lediglich die index.html zuzulassen.

          Das wäre für die Index.html dann

          <meta name="robots"content="index,nofollow">

          und für die restlichen Seiten

          <meta name="robots"content="noindex,nofollow">

          Grüße
          Ole
          (8-)>

          Ach so, ich dachte wenn man eine robots.txt verwendet bräuchte man
          diese meta-angaben dann gar nicht. Kann man diese weglassen?

          1. Hi,

            Das wäre für die Index.html dann

            <meta name="robots"content="index,nofollow">

            und für die restlichen Seiten

            <meta name="robots"content="noindex,nofollow">

            Da fehlt noch ein Leerzeichen vor "content".
            Und das würde wirklich nur noch die Index.html zulassen und alle anderen, von dort aus verlinkten Seiten aussperren. Willst du das wirklich?

            Ach so, ich dachte wenn man eine robots.txt verwendet bräuchte man
            diese meta-angaben dann gar nicht. Kann man diese weglassen?

            Ja. Die Robots indizieren und verfolgen dann alles, was sie von Index.html aus finden, sofern es nicht in robots.txt ausgeschlossen wurde.

            Don