Horst: robots.txt sollen nur Suchmaschinen sehen

Beitrag lesen

Hallo ChrisB

-----Aha. Und warum? Welche wertvollen Erkenntnisse sollte die daraus gewinnen können ...?

Gute Frage.:
Weil wir wollen nicht das die konkurenz Firmenrelevante Suchbegriffe
(wo die selbst drauf kommen sollen) abkupfert.
Aber wenn dadurch auch Spider Blockiert werden könnten, ist es auch wieder so ne Sache.

Wird es so mit den Keywords gemacht?
User-agent: *
Disallow-by-key: Hunde
Disallow-by-key: Kuchen

Disallow-by-key: Hunde Kuchen

Oder könnte man gleich Hundekuchen nehmen. Um unter Hunder oder Kuchen und unter Hunde Kuchen gefunden zu werden?

Muss User-agent: *  weg oder muss es da bleiben

Vielen Dank

Horst