Patrick Andrieu: Suchmaschinentest: Schnelligkeit, versteckte Bereiche

Hallo alle!

Da die Frage letztens gestellt wurde, wie schnell Google beim Indizieren von Seiten bzw. Änderungen im Inhalt berücksichtigt, habe ich am 18.06. einen kleinen Test gestartet. Abgesehen von der Schnelligkeit, mit welcher die Änderungen berücksichtigt werden, wollte ich auch wissen, wie lange es vom Zeitpunkt des in den Logfiles festgestellten Besuchs des Google-/Yahoobots bis zur Berücksichtigung der Änderungen dauert. Ferner wollte ich auch wissen, ob Text, der in versteckten Bereichen notiert ist, gefunden wird.

Ganz im Stil der Hommingberger Gepardenforelle habe ich mir vier Wörter/Wortkombinationen ausgedacht, die bis 18.06. nirgends gefunden wurden. Diese vier Wörter/Kombinationen habe ich wie folgt in vier versteckte Bereiche platziert:

  • 2 DIV mit der Eigenschaft visibility:hidden (Eigenschaft definiert einmal in einem Inline-Style, einmal im externen Style-Sheet)
  • 2 DIV mit der Eigenschaft display:none (dito)

Natürlich ist in jedem versteckten Bereich eine jeweils andere Wortkombination, um die Ergebnisse nicht zu beeinflussen oder zu verfälschen.

Den ersten Besuch des Googlebots auf der Testseite verzeichnete ich am 20.06., also zwei Tage nach Testbeginn. Der Robot von Yahoo war fast jeden Tag auf der Seite. Ich habe fleißig jeden Tag zweimal, morgens und abends, meine vier Suchbegriffe in beide Suchmaschinen eingegeben. Ergebnis:

Google:

  • Teststart: 18.06.2007
  • erster Besuch des Bots: 20.06.2007
  • Suchbegriff(e) zum ersten Mal gefunden am: 27.06.2007 - morgens
  • was gefunden?: alle vier Begriffe in allen versteckten Bereichen

Yahoo hat trotz fast täglichen Abgrasens der Seite noch keine Änderung berücksichtigt, keiner der vier Begriffe wird bis dato (27.06.2007 - morgens) gefunden.

Demnach haben (zumindest für Google) sowohl display:none als auch visibility:hidden keinen Einfluß. Ein Inline-Style, von welchem man annehmen könnte, dass zumindest hier die Bots darauf trainiert worden sind, ihn zu erkennen, beeinflusst das Ergebnis genauso wenig wie eine Regel im externen Stylesheet.

Von einem Ausnutzen dieser Tatsache ist jedoch zu warnen. Denn wenn die Bots diese "Machenschaften", so bald sie zu Machenschaften gemacht werden, will sagen, sobald sie dazu benutzt werden, Suchergebnisse zu verfälschen, allen Anschein nach nicht direkt "sehen", merkt ein nicht ganz dummer Mensch sehr schnell, dass er irregeführt wurde, wenn er ein Stichwort nicht findet und dann im Quelltext schaut. Ein Report an Google ist schnell verfasst und die Seite fliegt aus dem Index raus.

Wer aber eine Seite baut, die (versteckte) Bereiche enthält, welche dann mit JavaScript sichtbar gemacht werden, kann sich zumindest bis jetzt drauf verlassen, dass der Inhalt dennoch gefunden wird.

Ich warte noch wenige Tage, ob sich bei Yahoo etwas tut, berichte kurz hier und beende dann den Test (durch Löschen der Bereiche) - was ja einen weiteren Test mit sich bringt: Wie lange dauert es, bis die Testseite nicht mehr gefunden wird, wenn ich die Testbegriffe weiter jeden Tag eingebe ;)

Viele Grüße aus Frankfurt/Main,
Patrick

--

_ - jenseits vom delirium - _
[link:hatehtehpehdoppelpunktslashslashwehwehwehpunktatomicminuseggspunktcomslash]
Nichts ist unmöglich? Doch!
Gök? Gök!
  1. Hi!

    Erstmal danke für deine Testergebnisse.

    Den ersten Besuch des Googlebots auf der Testseite verzeichnete ich am 20.06., also zwei Tage nach Testbeginn.

    Das kann mitunter aber auch was länger dauern.
    Wenn ich Seiten bei Google anmelde, schaue ich auch öfters in den Logs nach,  ob der Googlebot schon da war.
    Das hat bei mir auch schon mal drei bis vier Tage gedauert.

    Demnach haben (zumindest für Google) sowohl display:none als auch visibility:hidden keinen Einfluß. Ein Inline-Style, von welchem man annehmen könnte, dass zumindest hier die Bots darauf trainiert worden sind, ihn zu erkennen, beeinflusst das Ergebnis genauso wenig wie eine Regel im externen Stylesheet.

    Gleiches auch, wenn du für Hintergrund- und Textfarbe den gleichen Wert nimmst.

    Von einem Ausnutzen dieser Tatsache ist jedoch zu warnen. Denn wenn die Bots diese "Machenschaften", so bald sie zu Machenschaften gemacht werden, will sagen, sobald sie dazu benutzt werden, Suchergebnisse zu verfälschen, allen Anschein nach nicht direkt "sehen", merkt ein nicht ganz dummer Mensch sehr schnell, dass er irregeführt wurde, wenn er ein Stichwort nicht findet und dann im Quelltext schaut. Ein Report an Google ist schnell verfasst und die Seite fliegt aus dem Index raus.

    Ja, Google bietet dafür extra eine Seite, wo man Meldung machen kann.
    Der Googlebot selbst kann solche Tricks ja auch schlecht aufspüren.
    Solche unsichtbaren Bereiche können ja durchaus sinnvoll sein und müssen keinen Betrugsversuch darstellen.
    Auf einigen Seiten setze ich auch versteckte Bereiche (display:none; oder visibility:hidden;) ein, die ich dann später (bei Klick auf einen Link oder einem Rollover) sichtbar schalte (Beispiel: Infobox).
    Der Googlebot kann bei sowas ja schlecht erkennen, ob es sich um einen Betrugsversuch handelt oder nicht...
    Ist also eigentlich nur logisch, daß auch die versteckten Texte indiziert werden.

    Wenn man sich seine Seiten aus Sicht von Suchmaschinen ansehen will, sollte man entweder CSS, JS und Bildanzeige deaktivieren oder einen Textbrowser einsetzen.
    Das halte ich aber ohnehin für sinnvoll. Fehlende alt-Attribute fallen beispielsweise sofort auf.
    Und wenn man keinen Screenreader zum Testen hat, bekommt man mit einem Textbrowser trotzdem einen Eindruck davon, ob die Site für Blinde bracuhbar ist.

    Zu den Betrugsversuchen fällt mir übrigens noch was ein, auch wenn das jetzt nicht direkt was mit deinem Versuch zu tun hat:
    Ich habe in meinem Browser zum Spaß mal den Useragent-String auf Googlebot gesetzt und bin eine Zeit lang damit gesurft.
    Es war schon interessant, was man da so alles gefunden hat.
    Einige Sites liefern tatsächlich komplett anderen Content aus.
    Die ersten Tage habe ich überhaupt nichts bemerkt. Als ich dann aber ein paar Dinge über's Internet bestellen wollte und daher verstärkt Shops und Seiten besuchte, über die was verkauft werden sollte, ging es los.
    Teilweise wäre es mir mit dem Googlebot-UA-String überhaupt nicht möglich gewesen, auf einigen Sites etwas zu bestellen/kaufen.
    Diese Funktionalität wurde gar nicht mehr zur Verfügung gestellt: nur Keywords und Texte.
    Ich muß sagen, daß es mich bei einigen Sites wirklich gewundert hab, was ich da zu sehen bekam.

    Schöner Gruß,
    rob

    1. Hallo rob!

      Erstmal danke für deine Testergebnisse.

      Keine Ursache! Hätte ich damals rechtzeitig vom Aufruf der c't erfahren, hätte ich schon damals mitgemacht ;)

      Das kann mitunter aber auch was länger dauern.
      Wenn ich Seiten bei Google anmelde,

      Dazu muss ich sagen, die Seite war sowohl bei Google als auch bei Yahoo seit Ende März schon bekannt. Mir ging es darum, in Erfahrung zu bringen, wie schnell Inhaltsänderungen, Inhalt, den man nachträglich hinzufügt usw. berücksichtigt werden.

      Die Seite habe ich seit Ende März online, nur an zwei Stelle verlinkt, sie war bei Google Ende März 3 Tage nach Online-Stellung bereits zu finden, und nach zwei Monaten mit PageRank 0 erhielt sie Mitte/Ende Mai aus dem Nichts PageRank 5.

      Das hat bei mir auch schon mal drei bis vier Tage gedauert.

      Wobei Yahoo! Slurp unersättlich ist und jeden Tag bei mir vorbeischaut - zwar nicht jeden Tag auf dieser Seite, aber jeden Tag ist er mehrmals - meistens in den frühen Morgenstunden - in den Logfiles zu finden. Ein sehr fleißiger, fast nerviger Geselle. Googlebot läßt sich da mehr Zeit, bis er wieder kommt. Aber nach 3 oder 4 Tagen kann auch er's nicht lassen und schaut sich irgendwo bei mir um.

      Nervig dagen ist Voila-Bot (ein frz. Suchdienst), der es nur auf dem alten Atomic Eggs Forum abgesehen hat und sich sonst nichts anschaut. Irgendwann sperre ich ihm die Tür zu.

      Solche unsichtbaren Bereiche können ja durchaus sinnvoll sein und müssen keinen Betrugsversuch darstellen.

      Ich denke auch, dass es nicht so gut wäre, wenn sie von der Indizierung ausgeschlossen wären. Ich wollte es aber in Erfahrung bringen, daher der Test.

      Ist also eigentlich nur logisch, daß auch die versteckten Texte indiziert werden.

      Fehlende alt-Attribute fallen beispielsweise sofort auf.

      Und die sind ebenfalls nach meiner Erfahrung äußerst sinnvoll: Abgesehen davon, dass sie nicht fehlen dürfen, wenn man auf validem Code Wert legt, greift Google gerne auf den Inhalt der Alt-Texte in den kurzen Beschreibungen unter den Treffern - wie ich immer öfters feststelle. Gut gewählte Alt-Texte können also nur von Vorteil sein, nicht nur für Screenreader-Nutzer sondern auch im Sinne einer Suchmaschinenoptimierung.

      Ich habe in meinem Browser zum Spaß mal den Useragent-String auf Googlebot gesetzt und bin eine Zeit lang damit gesurft [...]

      Den Spaß mach ich mir irgendwann sicher auch mal!

      Viele Grüße aus Frankfurt/Main,
      Patrick

      --

      _ - jenseits vom delirium - _
      [link:hatehtehpehdoppelpunktslashslashwehwehwehpunktatomicminuseggspunktcomslash]
      Nichts ist unmöglich? Doch!
      Gök? Gök!
  2. Weitere Ergebnisse:

    Yahoo:

    • Teststart: 18.06.2007
    • erster Besuch von Yahoo! Slurp: 18.06.2007 und fast jeden Tag darauf
    • Suchbegriff(e) zum ersten Mal gefunden am: 27.06.2007 - abends
    • was gefunden?:

    Hier wird es im Vergleich zu Google interessant. In beiden visibility:hidden-Bereichen findet Yahoo sowohl die Einzelwörter als auch die Kombinationen aus diesen. In den zwei display:none-Bereichen werden die Wortkombinationen gefunden (also, um beim Beispiel zu bleiben: "Hommingberger Gepardenforelle" würde gefunden werden), nicht aber die Bestandteile (Einzelwörter wie "hommingberger" oder "gepardenforelle") [1]. Google dagegen findet alles, sowohl Einzelbegriffe als auch Kombis.

    [1] Ich würde gerne die echten Keywords bekanntgeben, aber dann wäre die Seite hier bekannt, was ich im Moment jedoch nicht so gerne hätte... Erst wenn der Test abgeschlossen ist ;)

    Viele Grüße aus Frankfurt/Main,
    Patrick

    --

    _ - jenseits vom delirium - _
    [link:hatehtehpehdoppelpunktslashslashwehwehwehpunktatomicminuseggspunktcomslash]
    Nichts ist unmöglich? Doch!
    Gök? Gök!
    1. Hi,

      [...]... Erst wenn der Test abgeschlossen ist ;)

      Versuch auch mal die. :-)

      Gruß
      Reiner

      1. Versuch auch mal die. :-)

        Aaaah, furchtbar.

        Eine kurze Suche und was passiert, die Seite verstellt mir ungefragt mein Browserfenster auf eine völlig unsinnige Größe (ich weiß das man das abschalten kann). Sowas ist für mich ein Killerargument die Seite nicht zu nutzen

        Struppi.

        1. Versuch auch mal die. :-)

          Aaaah, furchtbar.

          Eine kurze Suche und was passiert, die Seite verstellt mir ungefragt mein Browserfenster auf eine völlig unsinnige Größe (ich weiß das man das abschalten kann). Sowas ist für mich ein Killerargument die Seite nicht zu nutzen

          Man sollte hinterfragen, woran das liegt!
          Das Suchergebnis wird in einem neu geöffneten Fenster angezeigt (, was man aber beeinflussen kann). Welche Größe das Fenster hat, liegt an Dir - wird also nicht vorgegeben.

          Gruß
          Reiner

          1. Man sollte hinterfragen, woran das liegt!

            genau:
            <script>resizeTo(600,800);</script>

            Das Suchergebnis wird in einem neu geöffneten Fenster angezeigt (, was man aber beeinflussen kann). Welche Größe das Fenster hat, liegt an Dir - wird also nicht vorgegeben.

            Das ist falsch.

            Struppi.

            1. Man sollte hinterfragen, woran das liegt!

              genau:
              <script>resizeTo(600,800);</script>

              Das Suchergebnis wird in einem neu geöffneten Fenster angezeigt (, was man aber beeinflussen kann). Welche Größe das Fenster hat, liegt an Dir - wird also nicht vorgegeben.

              das ist _hier_ so eingestellt, hat aber nichts mit der Engine zu tun.

              Gruß
              Reiner

              1. Man sollte hinterfragen, woran das liegt!

                genau:
                <script>resizeTo(600,800);</script>
                das ist _hier_ so eingestellt, hat aber nichts mit der Engine zu tun.

                Mir ging es um den Output wenn man die Suche benutzt, egal was für eine Seite, ich finde sowas extrem lästig.

                Struppi.

                1. Man sollte hinterfragen, woran das liegt!

                  genau:
                  <script>resizeTo(600,800);</script>
                  das ist _hier_ so eingestellt, hat aber nichts mit der Engine zu tun.

                  Mir ging es um den Output wenn man die Suche benutzt, egal was für eine Seite, ich finde sowas extrem lästig.

                  manche Leute können mit zuviel Freiheit anscheinend nicht umgehen.
                  Zitat aus dem:

                  w3windowsize:
                  Ist das Targetfenster des Formulars ein neues Fenster (z.B. _blank), so können Sie hier die gewünschte Fenstergröße angeben (diese Feld können Sie auch einfach weglassen, wenn Sie keine Größenänderung wünschen)

                  Gruß
                  Reiner

                  1. manche Leute können mit zuviel Freiheit anscheinend nicht umgehen.
                    Zitat aus dem:

                    Das mag ja alles sein, ich weiß nicht, ob du die Suche auf der Startseite mal benutzt hast?
                    Da kann ICH nichts auswählen und da ich keine neuen Fenster zulasse (target=blank ist eh Mist) wird mein aktuelles Fenster - ohne das ich eine Wahl hätte - auf 800x600 verkleinert.

                    Struppi.

                    1. manche Leute können mit zuviel Freiheit anscheinend nicht umgehen.
                      Zitat aus dem:

                      Das mag ja alles sein, ich weiß nicht, ob du die Suche auf der Startseite mal benutzt hast?
                      Da kann ICH nichts auswählen und da ich keine neuen Fenster zulasse (target=blank ist eh Mist) wird mein aktuelles Fenster - ohne das ich eine Wahl hätte - auf 800x600 verkleinert.

                      Huhu, nochmals:
                      Das ist _dort_ so eingestellt.
                      Das kannst Du in Deiner Maschine einstellen, wie Du willst.

                      Gruß
                      Reiner

                      1. Das ist _dort_ so eingestellt.
                        Das kannst Du in Deiner Maschine einstellen, wie Du willst.

                        Ich will keine Maschine einstellen, ich wollte nur die Suche auf der Seite ausprobieren und fand das ergebnis sehr unbefriedigend.

                        Struppi.

                        1. Das ist _dort_ so eingestellt.
                          Das kannst Du in Deiner Maschine einstellen, wie Du willst.

                          Ich will keine Maschine einstellen, ich wollte nur die Suche auf der Seite ausprobieren und fand das ergebnis sehr unbefriedigend.

                          Es ging doch ursprünglich gar nicht um das Ergebnis sondern wie sich die Roboter der Maschinen verhalten.

                          Gruß
                          Reiner

                          1. Es ging doch ursprünglich gar nicht um das Ergebnis sondern wie sich die Roboter der Maschinen verhalten.

                            Mir ging es ursprünglich darum, das die Seite mich genervt hat, weil sie die Größe ungefragt ändert.

                            Struppi.

                            1. Hi!

                              Mir ging es ursprünglich darum, das die Seite mich genervt hat, weil sie die Größe ungefragt ändert.

                              Ja, sowas würde mich auch verdammt nerven.
                              Aber in meinem Browser habe ich die Möglichkeit, solche Spielereien zu unterbinden.
                              Mit welchem Browser surfst du? Doch nicht etwa mit dem MSIE?
                              In fast jedem aktuellen und guten Browser kannst du sowas deaktivieren.
                              Im Firefox unter Extras/Einstellungen/Inhalt/JavaScript aktivieren (Erweitert)/Scripts folgende Aktionen erlauben...

                              Schöner Gruß,
                              rob

                              1. Aber in meinem Browser habe ich die Möglichkeit, solche Spielereien zu unterbinden.

                                In meinem auch (schrieb ich bereits), ich hab das aber immer mal wieder abgeschaltet um Skripte zu testen.

                                Struppi.

      2. Hallo Reiner!

        Versuch auch mal die. :-)

        Was willst Du mir damit sagen? Dass Du die Seite gefunden hast, worum es geht? Schön für Dich! Oder soll ich die Suchmaschine installieren (habe schon eine, die für die paar Seiten ausreicht)?

        Viele Grüße aus Frankfurt/Main,
        Patrick

        --

        _ - jenseits vom delirium - _
        [link:hatehtehpehdoppelpunktslashslashwehwehwehpunktatomicminuseggspunktcomslash]
        Nichts ist unmöglich? Doch!
        Gök? Gök!
        1. Hallo Reiner!

          Versuch auch mal die. :-)

          Was willst Du mir damit sagen? Dass Du die Seite gefunden hast, worum es geht? Schön für Dich! Oder soll ich die Suchmaschine installieren (habe schon eine, die für die paar Seiten ausreicht)?

          nein! soll heißen, das ist maschinenabhängig. Genannte Maschine rennt sofort los, interessant ist aber (was Du auch sagtest), wie oft der Robots wiederkommen und welche Links sie verfolgen (können).

          Bei Sitesearch ist das in Deiner Verantwortung, d.h. Du _kannst_ das manuell anstoßen. Google kann man aber indirekt auch beeinflussen, zumindest nutzen Blogs wie Serendipity eine Schnittstelle, um Google zu sagen: "Hier ist was neues für Dich"
          Ich habe beobachtet, daß es meist keine 10 Minuten dauert, bis der Google-Robot sich das ansieht.

          Gruß
          Reiner

          1. Hallo Reiner!

            nein! soll heißen, das ist maschinenabhängig. Genannte Maschine rennt sofort los, interessant ist aber (was Du auch sagtest), wie oft der Robots wiederkommen und welche Links sie verfolgen (können).

            Ach so. Sorry, kam nicht rüber, was Du mir mit dem Link sagen wolltest. Jetzt verstehe ich's.

            Viele Grüße aus Frankfurt/Main,
            Patrick

            --

            _ - jenseits vom delirium - _
            [link:hatehtehpehdoppelpunktslashslashwehwehwehpunktatomicminuseggspunktcomslash]
            Nichts ist unmöglich? Doch!
            Gök? Gök!
    2. Vorletzte Ergebnisse:

      Yahoo:

      • was gefunden?:
        In den zwei display:none-Bereichen werden die Wortkombinationen gefunden (also, um beim Beispiel zu bleiben: "Hommingberger Gepardenforelle" würde gefunden werden), nicht aber die Bestandteile (Einzelwörter wie "hommingberger" oder "gepardenforelle")

      Heute (28.06.2007 - abends) werden auch Einzelwörter gefunden.

      Irgendwie werde ich den Verdacht nicht los, dass Yahoo sich bei Google umschaut...

      Test abgeschlossen. Die Suchbegriffe lasse ich bis zum 30.06. auf der Seite stehen, dann werden die Bereiche gelöscht und geschaut, wie es lange es dauert, bis die Seite nicht mehr gefunden wird ;)

      Viele Grüße aus Frankfurt/Main,
      Patrick

      --

      _ - jenseits vom delirium - _
      [link:hatehtehpehdoppelpunktslashslashwehwehwehpunktatomicminuseggspunktcomslash]
      Nichts ist unmöglich? Doch!
      Gök? Gök!
      1. Hi,

        Irgendwie werde ich den Verdacht nicht los, dass Yahoo sich bei Google umschaut...

        das kannste mit einem Trick und ein paar Wochen Geduld sogar beweisen.
        Das habe ich hier schonmal irgendwo beschrieben.

        Gruß
        Reiner

        1. Hallo Reiner!

          Irgendwie werde ich den Verdacht nicht los, dass Yahoo sich bei Google umschaut...
          das kannste mit einem Trick und ein paar Wochen Geduld sogar beweisen.
          Das habe ich hier schonmal irgendwo beschrieben.

          Weißt Du noch wo? http://suche.de.selfhtml.org/cgi-bin/such.pl?suchausdruck=%2Byahoo+%2Bgoogle+%2Breiner+umschau+kopier+klau&lang=on&feld=alle&index_4=on&index_5=on&index_6=on&hits=alle#Forums-Archiv 2005 <- nur eine von 3 VerSuchen ;)

          Viele Grüße aus Frankfurt/Main,
          Patrick

          --

          _ - jenseits vom delirium - _
          [link:hatehtehpehdoppelpunktslashslashwehwehwehpunktatomicminuseggspunktcomslash]
          Nichts ist unmöglich? Doch!
          Gök? Gök!
          1. Hallo Reiner!

            Irgendwie werde ich den Verdacht nicht los, dass Yahoo sich bei Google umschaut...
            das kannste mit einem Trick und ein paar Wochen Geduld sogar beweisen.
            Das habe ich hier schonmal irgendwo beschrieben.

            Weißt Du noch wo? http://suche.de.selfhtml.org/cgi-bin/such.pl?suchausdruck=%2Byahoo+%2Bgoogle+%2Breiner+umschau+kopier+klau&lang=on&feld=alle&index_4=on&index_5=on&index_6=on&hits=alle#Forums-Archiv 2005 <- nur eine von 3 VerSuchen ;)

            http://forum.de.selfhtml.org/archiv/2005/4/t105191/#m650695

            Ich weiß aber nicht, ob das damals klar wurde, kann es nochmal erläutern.

            Gruß
            Reiner