Self-Nachtwächter: robot.txt

Beitrag lesen

würde google und alle anderen aufhören meine übungspass Seiten zu googeln?

Manche schon. Aber selbst Google hat mir neulich als Problem mit meiner Seite gemeldet, dass Google eine Seite indexiert habe, die laut robots.txt verboten sei.

Ich bin mir unsicher wie und warum das passieren konnte. Die "Sperre" bestand von Anfang an.

Aber im Prinzip stimmt das schon.

077

robot.txt

  1. 0
    1. 0
    2. 0
      1. 0
      2. 0
    3. 0

      robot.txt +<META NAME="ROBOTS" CONTENT="NOINDEX">

  2. 0
    1. 0
  3. 0
    1. 0
    2. 0
      1. 0
        1. 0
          1. 0
            1. 0
              1. 0
              2. 0
                1. 0
                  1. 0
                    1. 0
                      1. 0
                        1. 0
                          1. 0
              3. 0
                1. 0
                  1. 0
                2. 0
          2. 0
            1. 0
              1. 0
                1. 0
                  1. 0
                    1. 0
            2. 0
              1. 0
                1. 0
                  1. 0
                    1. 0
                      1. 0
                        1. 0
                      2. 0
                        1. 0
                          1. 0
                            1. 0
                              1. 0
                                1. 0
                                  1. 0
                                    1. 0
                                      1. 0
                                        1. 0
                                          1. 0
                                            1. 0
                                            2. 0
                                              1. 0
                                              2. 0
                                                1. 0
                                                2. 0
  4. 0
    1. 0
      1. 0
        1. 0
          1. 0
            1. 0
              1. 0
                1. 0
                  1. 0
                  2. 0
                    1. 0
                2. 0
                  1. 0
                    1. 0
                      1. 0
                        1. 0
                          1. 0
                            1. 0
                              1. 0