beatovich: Seiten über robots.txt sperren

Beitrag lesen

hallo

Wenn sie als Resourcen in Dokumenten verwendet werden, die gefunden werden sollen, halte ich es nicht für sinnvoll einer Suchmaschine den Zugriff zu verbieten. Diese Daten enthalten ja Informationen, die die Suchergebnisse besser machen können.

Du verbietest nicht den Zugriff mit disallow. Du schlägst lediglich vor, diese Ressourcen nicht als separate Ressourcen zu indexieren.

0 52

Seiten über robots.txt sperren

Jürgen
  • sonstiges
  1. 0
    Christian Kruse
    1. 0
      beatovich
      1. 1
        Christian Kruse
        1. 0
          beatovich
          1. 0
            Christian Kruse
  2. 0
    beatovich
    1. 0
      Matthias Apsel
      1. 0
        beatovich
        1. 0
          Regina Schaukrug
          1. 1
            Tabellenkalk
  3. 2
    Regina Schaukrug
    1. 1

      robots.txt-Funktionsweise

      Singsang
      1. 0
        Regina Schaukrug
  4. 0
    pl
    1. 0
      Mitleser
      1. 0
        pl
        1. 0
          Mitleser
          1. 0
            Mitleser
            1. 2
              Mitleser
            2. 0
              beatovich
              1. 0
                Mitleser
              2. 0
                pl
          2. 0
            pl
            1. 0
              Mitleser
              1. -1
                pl
                1. 0
                  Matthias Apsel
                  1. 0

                    Bots unterstützen!

                    pl
                    1. 0
                      Matthias Apsel
                      1. 0
                        pl
                2. 0
                  Mitleser
                  1. 0
                    pl
                    1. 0
                      Mitleser
                      1. 0
                        Christian Kruse
                        1. 0
                          Mitleser
                          1. 0
                            pl
                            1. 0
                              beatovich
                              1. -2
                                pl
                            2. 0
                              Mitleser
                              1. 0
                                pl
                          2. 0
                            Christian Kruse
  5. 0
    Jürgen
    1. 0
      beatovich
    2. 0
      pl
      • suchmaschinen
      1. 0
        Jürgen
      2. 0
        beatovich
    3. 2
      Singsang
      1. 0
        pl
        1. 2
          Singsang
          1. 0
            Regina Schaukrug
            1. 0
              pl
      2. 1

        Alles was interessant ist heißt "Pfui!"

        Regina Schaukrug