Wie arbeiten Bots eigentlich ?

[Frank]

Hi Ingo,
Danke !

Insofern kann der Zugriff imho nicht "ganz normal über http" sein.
Doch. Ein ganz normaler GET-Request. Nur mit dem Unterschied, dass er z.B. Weiterleitungen nicht zwangsweise folgt.

Wie ?
Obwohl die .htaccess und somit der Server ihm sagt:
"Hallo erstmal, Du hast hier keine html-Files mehr aus den Unterordnern zu holen",
kann er sich trotzdem entscheiden: "Ist mir egal, mach ich trotzdem" ?

Ist das Usus ?
Dann könnte man ihn nur durch Passwortschutz oder Dateilöschung davon abhalten, oder ?

freundliche Grüße
Frank