access.log

[Raketenrobotiker]

MJ12bot

Manchmal dreht der leer (Keine Ahnung ob Fehlkonfiguration oder Programmfehler). Hatte bei dem dergleichen auch schon.

Den "Bug" hab ich kurzerhand in der Robots.txt ausgesperrt.

Hm. Ich auch.

User-agent: SemrushBot
Disallow: *

User-agent: MJ12bot
Disallow: *