robots.txt sollen nur Suchmaschinen sehen

[Sven Rautenberg]

Moin!

»» Wird es so mit den Keywords gemacht?
»» User-agent: *
»» Disallow-by-key: Hunde

nein, es gibt in robots.txt nichts derartiges.

Genauer: Es gibt kein Disallow-by-key.

Das hat sich mal jemand als Idee ausgedacht und in sein Blog geschrieben, ohne dass irgendeine Suchmaschine diese Idee aufgegriffen hätte, insbesondere weil die Effekte und Nebenwirkungen vollkommen unklar wären.

Wenn man der Idee folgt, sollten alle genannten Keywords, die man anführt, von der Suchmaschine so genutzt werden, dass sie NICHT indiziert und für Suchergebnisse gewertet werden.

Sprich: Selbst wenn die Idee funktionieren würde (was sie nicht tut), wäre es für einen Hersteller von Hundekuchen ein Schuß ins Knie, wenn er "Hunde", "Kuchen" und "Hundekuchen" als Suchworte ausschließt, um seine Seite nicht finden zu lassen, wenn jemand danach sucht.

Sowas würde nur Sinn machen, wenn jemand nach Dingen sucht, die auf der Website garantiert nicht gefunden werden können, und dieser Nebenbei-Traffic sich nennenswert auf den Betrieb des Servers auswirkt. Also beispielsweise Katzenfotos beim Hundekuchenhersteller - sofern Suchworte, die auf Katzenfotos hindeuten könnten, sich auf den Seiten befinden.

- Sven Rautenberg