robots.txt sollen nur Suchmaschinen sehen

[ChrisB]

Hi,

Wisst Ihr vieleicht ob es ist das Nur die Suchmaschinen die robots.txt lesen können?

Es ist nicht.

Wenn Jemand anderes die txt aufruft soll eine html angezeigt werden.

Dann müsste man den User Agent des Requests, oder die IP-Adresse von der er kommt, auswerten, um auf einen Suchmaschinen-Bot zu schliessen - und davon abhängig das eine oder andere ausliefern.

Das wäre allerdings eine ziemlich blöde Idee - denn wenn du einen Bot nicht "erwischt", dann bekommt der keine robots.txt zu sehen, und wird folglich alles spidern, was ihn interessiert.

Wir möchten es der Konkurenz erschweren nachzuschauen.

Aha. Und warum? Welche wertvollen Erkenntnisse sollte die daraus gewinnen können ...?

MfG ChrisB