Botaufrufe einhegen

[Robert B.]

Moin,

Wenn der Bot nicht mehr herankommt, kann er nicht mehr aktuell indizieren.

Genau das ist der Denkfehler. In den G-Entwicklertools heißt das: Die Seite ist auf G aber nicht indiziert. Und solange G eine Seite kennt, kommt der Bot und requestet diese.

requesten kann der Bot viel, wenn fail2ban sagt, dass er die falschen Schuhe an hat, ist das nur der Response.

Viele Grüße
Robert