parley: robot.txt obligatorisch?

Beitrag lesen

SELF-Forum

robot.txt obligatorisch?

parley
– Informationen zu den Bewertungsregeln

Ich hab grad ein paar Logfiles ausgewertet und daraus gesehen das anscheinend ein paar Robots meine robot.txt einsehen wollten.
Da ich allerdings keine habe (habe auch keine Seiten die ich evtl. sperren will etc.), frage ich mich nun ob sich dadurch nachteile bei der Indizierung ergeben könnten ...
Also ist eine Robot.txt obligatorisch bzw. von Vorteil?

Beitrag melden
–
Informationen zu den Bewertungsregeln
0 19

robot.txt obligatorisch?

parley
  • projektverwaltung
  1. 1
    Cheatah
    1. 0
      parley
      1. 0
        astelix
    2. -4
      Christoph Schnauß
      1. 0
        Cheatah
      2. 0
        parley
        1. -2
          Christoph Schnauß
  2. 1

    robots.txt obligatorisch?

    lulu
    1. 0
      Christian Kruse
      1. 3
        CarstenP
        1. 0
          Christian Kruse
        2. 1
          Sven Rautenberg
          1. 0
            CarstenP
            1. 1
              Orlando
              1. 0
                CarstenP
  3. -11
    Christoph Schnauß
    1. 11
      Christian Kruse
    2. 2
      Lucas