robots.txt

[Beat]

Das bringt dir auch nichts.
mit andern Worten "robots.txt gar nicht verwenden"?

Natürlich. Es ist den Server schliesslich performanter, wenn die meisten unerwünschten Requests gar nicht erst kommen, als wenn man sie verbieten muss.

mfg Beat