fietur: Botaufrufe einhegen

Beitrag lesen

Nach deiner vorherigen Beschreibung stimmt das so ja nicht. Es ist ja nicht so, dass wegen der Aufrufe von Bots die „erwünschten Besucher“ von den verfügbaren Daten nichts mehr abbekommen sondern wohl eher so, dass das Verhältnis der Requests von Bots und „erwünschten Besuchern“ 999 zu 1 beträgt.

Korrekt - es findet keine Verdrängung statt. Die Quote wird sogar noch etwas besser, wenn man berücksichtigt, dass nicht alle Bots nur Unsinn machen. Im Index aufzutauchen, ist ja durchaus erwünscht. Und dass dynamischer Inhalt auch öfter gecrawlt werden muss als statischer, ist auch klar.

Ich habe meine Vorgehensweise jetzt geändert.

Die Kalenderseite hat ein nofollow erhalten, die Kalenderseite mit Parametern ein zusätzliches noindex.

Jeder Besucher der Kalenderseite, der sich zukünftig als bingbot oder Googlebot ausgibt und dabei die zusätzlichen Parameter im URL mit sich führt, wird per freundlichem 301-redirect auf die parameterlose Kalenderseite geleitet.

Hält sich Google an seine eigenen Vorgaben, sollte im Index dann nur noch die parameterfreie Version gelistet werden.

Google selbst nennt die 301 als Empfehlung für umgezogene Seiten; auch wenn das hier nicht zutifft, lässt sich dieser Mechanismus hierfür nutzen.

0 59

Botaufrufe einhegen

fietur
  • suchmaschinen
  1. 0
    Robert B.
    1. 0
      Der Martin
      1. 0
        Linuchs
        1. 0
          pl
          1. 2
            Linuchss
          2. 0
            TS
            • client
            • suchmaschinen
            • webserver
  2. 0
    pl
  3. 0
    TS
    • projekt
    • suchmaschinen
    • webserver
    1. 0
      pl
      1. 0
        TS
        1. 0
          pl
          1. 1
            TS
          2. 0
            Robert B.
        2. 0

          Botaufrufe verhindern: Eine Antwort und eine mögliche Lösung

          Raketenwissenschaftler
          1. 0
            pl
            1. 0
              Raketenwissenschaftler
              1. 0
                pl
                1. 1
                  Mitleser
                  1. 0
                    pl
                    1. 0
                      Mitleser
                2. 0
                  Tabellenkalk
                  1. 1
                    Mitleser
                    1. 0
                      TS
                      1. 1
                        Mitleser
                        1. 0

                          Portscans und unberechtigte Auth-Versuche verhindern (als "Provider")

                          TS
                          • portscans
                          • sicherheit
                          • webserver
                          1. 0
                            Raketentürsteher
                            1. 0
                              Raketentürsteher
                              1. 0
                                TS
                                1. 0

                                  Statt +1

                                  Raketentürsteher
                  2. 0
                    pl
                    1. 0
                      Raketenwissenschaftler
                      1. 0
                        pl
                        1. 0
                          Mitleser
                          1. 0
                            pl
                            1. 0
                              Mitleser
                            2. 0
                              Patrick C.
                              1. 0
                                Jonathan Harker
                3. 0
                  Raketenwissenschaftler
                  1. 0
                    pl
                    1. 0
                      Raketenrutschbahndiagnostiker
                      1. 0
                        pl
                        1. 3
                          Mitleser
          2. 0
            fietur
            1. 1
              Raketentürenverschlussmechaniker
              1. 0
                fietur
                1. 1
                  Raketengeschichtenerzähler
                  1. 0
                    fietur
                    1. 0

                      simple & stupid...

                      Raketentürmechaniker
                      1. 0
                        Raketentürmechaniker
                        1. 0
                          fietur
    2. 0
      fietur
      1. 0
        fietur
  4. 0
    Soso
    1. 0
      fietur
      1. 0
        Auge
        1. 0
          fietur
          1. 0
            Auge
            1. 0

              Zwischenstand

              fietur