Robots, GurgelBot ...

[Gustl]

Hi liebe Leute,

der GoogleBot war mal in den Webmastertools so schön erklärt und wie man ihn füttern sollte um schön viele Suchtreffer zu generieren. Headers sollen thematisch zum Kontent passen, Alternate-Texte in allen Grafiken etc etc.

Wie es aber ausschaut schert sich der GurgelBot einen D.. darum, wenn ich so meine Treffer vergleiche. Es waren mal über 7000, jetzt sind es nur noch 250. Geändert hab ich gar nischte an meinen Pages. Früher hat Bot anscheinenend meine Sitemap durchsucht "index/follow", jetzt macht er das wohl nicht mehr? Der Link zur Sitemap liegt in einem Frame, auf den meine Index verweist. Die Sitemap selbst ist zwar ein Treffer bei Gurgel, aber auf der Sitemap liegen an die 8000 Links zu Contents meiner Page, die er nicht mehr crawlt.

Was könnte ich machen? Was hat sich denn geändert? Vor 2-3 Jahren hats ja auch so schön geklappert ...

Hilft die Robots.txt im Hauptverzeichnis denn überhaupt irgendwas? User-agent: * Allow: /

Was hab ich früher gelesen und gelernt! Schallhornbibel etc. Gilt davon nichts mehr?

Sagt mal bitte eure Meinung.

Vlg Gustl