Suchmaschinen-Management

[MudGuard]

Hi,

Ich kenne drei Möglichkeiten der Zugangs-/Scan-Begrenzung:

• die robots.txt

Damit kannst keinen Zugang begrenzen, sondern Clients, die sich als Bots (im soziologischen Sinn) identifizieren, bitten bestimmte Bereiche (nicht) zu indizieren.

und für die bösen Bots ist das die Anleitung zum Finden der interessanten Stellen …

cu,
Andreas a/k/a MudGuard