Hallo,
1. Ist es sinnvoll, die Perl-Bibliothek (z.B. cgi-bin)
und die Javascript-Bibliothek in robots.txt mit disallow anzugeben?
2. Ich habe gefunden:
Disallow: /default Alle Dateien und Verzeichnisse, die mit „default“ beginnen, werden nicht durchsucht ....
Gilt dies nur für Dateien/Verzeichnisse im Root-Verzeichnis oder auch z.B. für die Datei /Reisen/Karibik/default.pdf?
nicht angemeldet