fastix: web.archive.org - robots.txt blockiert Zugriff, warum?

Beitrag lesen

http://www.yubb.de/robots.txt

User-agent: *
Disallow: /stats
Disallow: /mysqladmin
Disallow: /gb
Disallow: /forum/admin
Disallow: /usage

User-agent: WebZIP
Disallow: /

User-agent: ia_archiver
Disallow: /

Da steht WebZip und ia-archiver dürfen die Website nicht scannen. Also machen die das erfreulicherweise auch nicht.

Es ist alles richtig.

fastix