rob: Site Sucker

Beitrag lesen

sondern meint die Programme als solches.

Ja, dachte, du meintest ein bestimmtes Programm, daß "Site Sucker" heißt.
Wenn du alle ausschließen willst, dann wird das schwieriger. Einige lesen die robots.txt. Damit könntest du die dann kriegen. Bei den anderen wird es schwieriger. Da könntest du allenfalls eine Liste mit User-Agents zusammenstellen, die du dann ausschließt. Aber nicht alle dieser Tools senden einen festen UA-String. Oftmals kann man das ja selbst beeinflussen, um gerade so ein Ausschliessen zu verhindern.
Wirklich gut wäre das damit nicht gelöst. Aber einige der bekannten Tools könnte man so wohl blocken. Weiß aber nicht, ob ich das machen würde.

Wie ist denn die offizielle Bezeichnung für diese Tools ??

Offline-Browser? Site-Grabber? Keine Ahnung...

Gruß,
rob