Multi: Website Crawler

Beitrag lesen

Mahlzeit,

Berücksichtige unbedingt die Angaben in einer robots.txt sowie in den Meta-Tags zu "robots" (z.B. noindex, noarchive, nofollow) - ansonsten sehe ich nichts, was dagegen spricht.

Sind die jetzt eigentlich rechtlich bindend oder ist das immer noch nur der Wunsch des Seitenbetreibers, der beachtet werden _sollte_?