Moin!
ich hätte von einem Kunden eine Anfrage die es u.a. erfordert Webseiten anderer Unternehmen zu durchsuchen.
Ist sowas rechtlich bedenklich?
Die Seiten sind freizugänglich, es geht hierbei nur um eine automatisierte Suche zur Zeitersparnis.
Berücksichtige unbedingt die Angaben in einer robots.txt sowie in den Meta-Tags zu "robots" (z.B. noindex, noarchive, nofollow) - ansonsten sehe ich nichts, was dagegen spricht.
- Sven Rautenberg