Gustl: Robots, GurgelBot ...

Hi liebe Leute,

der GoogleBot war mal in den Webmastertools so schön erklärt und wie man ihn füttern sollte um schön viele Suchtreffer zu generieren. Headers sollen thematisch zum Kontent passen, Alternate-Texte in allen Grafiken etc etc.

Wie es aber ausschaut schert sich der GurgelBot einen D.. darum, wenn ich so meine Treffer vergleiche. Es waren mal über 7000, jetzt sind es nur noch 250. Geändert hab ich gar nischte an meinen Pages. Früher hat Bot anscheinenend meine Sitemap durchsucht "index/follow", jetzt macht er das wohl nicht mehr? Der Link zur Sitemap liegt in einem Frame, auf den meine Index verweist. Die Sitemap selbst ist zwar ein Treffer bei Gurgel, aber auf der Sitemap liegen an die 8000 Links zu Contents meiner Page, die er nicht mehr crawlt.

Was könnte ich machen? Was hat sich denn geändert? Vor 2-3 Jahren hats ja auch so schön geklappert ...

Hilft die Robots.txt im Hauptverzeichnis denn überhaupt irgendwas? User-agent: * Allow: /

Was hab ich früher gelesen und gelernt! Schallhornbibel etc. Gilt davon nichts mehr?

Sagt mal bitte eure Meinung.

Vlg Gustl

  1. Was könnte ich machen? Was hat sich denn geändert? Vor 2-3 Jahren hats ja auch so schön geklappert ...

    Vielleich solltest du mal neuen Inhalt schreiben - sich zwei bis drei Jahre nicht verändernder Inhalt wäre für mich ein Indiz für verwaisten Inhalt.

    Das alter muss nicht notwendigerweise bedeuten, dass er schlecht ist - aber irgend eine Errata oder Ergänzung gibt es fast überall mal.

    Hilft die Robots.txt im Hauptverzeichnis denn überhaupt irgendwas? User-agent: * Allow: /

    Der Robots-Exlusion-Standard ist eine so genannte "explicit deny"-Liste - da muss man nicht vorher etwas freigeben. Es schadet aber augenscheinlich auch nicht.

    Was hab ich früher gelesen und gelernt! Schallhornbibel etc. Gilt davon nichts mehr?

    Schallhornbibel hört sich jetzt irgendwie esotherisch an - in richtung Snake Oil oder Homöopathie.

    1. Vielleich solltest du mal neuen Inhalt schreiben - sich zwei bis drei Jahre nicht verändernder Inhalt wäre für mich ein Indiz für verwaisten Inhalt.

      doch der inhalt ändert sich tw. sogar minütlich. nicht in allen contents, aber in den oberen paar hundert links auf jeden fall. so wie hier im forum ungefähr auch.

      Hilft die Robots.txt im Hauptverzeichnis denn überhaupt irgendwas? User-agent: * Allow: /

      Der Robots-Exlusion-Standard ist eine so genannte "explicit deny"-Liste - da muss man nicht vorher etwas freigeben. Es schadet aber augenscheinlich auch nicht.

      so sah ich das auch, die datei ist eigentlich nur als begrenzerdatei gedacht. nun, ich lass sie mal oben .. hm.

      Was hab ich früher gelesen und gelernt! Schallhornbibel etc. Gilt davon nichts mehr?

      Schallhornbibel hört sich jetzt irgendwie esotherisch an - in richtung Snake Oil oder Homöopathie.

      Schallhorn

  2. Hallo Gustl,

    eine Frage und zwei Bemerkungen:

    Was meldet Google denn in den Webmastertools zu deiner Site?

    Frames sind für Bots nur leere Hüllen.

    Die Konkurrenz schläft nicht.

    Gruß, Jürgen

    1. Hallo Gustl,

      Hallo Jürgen,

      eine Frage und zwei Bemerkungen:

      Was meldet Google denn in den Webmastertools zu deiner Site?

      in Beziehung auf was? da steht viel

      Frames sind für Bots nur leere Hüllen.

      der frameinhalt? die links in den frames und deren links? etc ... die müssten doch gecrawlt werden ...

      Die Konkurrenz schläft nicht.

      ich aber anscheinend schon

      Gruß, Jürgen

      1. Hallo Gustl,

        Was meldet Google denn in den Webmastertools zu deiner Site?

        in Beziehung auf was? da steht viel

        wenn Google "Probleme" mit deiner Seite hat, bekommst du dort Infos darüber. Offensichtlich ist Google zufrieden.

        Frames sind für Bots nur leere Hüllen.

        der frameinhalt? die links in den frames und deren links? etc ... die müssten doch gecrawlt werden ...

        Für einen guten Pagerank benötigst du semantisch aufbereiteten Inhalt und Backlinks. Framedefinitionsseiten haben keinen Inhalt und Frameinhaltsseiten werden nicht verlinkt.

        Wo werden deine Seiten denn gelistet?

        Gruß, Jürgen