Verwendung der Datei robots.txt

[Alexander (HH)]

Moin Moin!

1. Ist es sinnvoll, die Perl-Bibliothek (z.B. cgi-bin)
   und die Javascript-Bibliothek in robots.txt mit disallow anzugeben?

Kommt drauf an, ob die Suchmaschinen diese Bereiche sehen sollen oder nicht. In der Regel wohl nicht.

2. Ich habe gefunden:
   Disallow: /default Alle Dateien und Verzeichnisse, die mit „default“ beginnen, werden nicht durchsucht ....

Doppelt falsch, alle die mit "/default" (nicht "default") beginnen *SOLLEN* nicht (nicht: werden nicht) abgespidert werden.

Gilt dies nur für Dateien/Verzeichnisse im Root-Verzeichnis oder auch z.B. für die Datei /Reisen/Karibik/default.pdf?

Beginnt "/Reisen/Karibik/default.pdf" mit "/default"? Nein.

Wenn Du alle Reisen "schützen" möchtest, schreib "/Reisen" in die robots.txt. Wenn Du nur Karibik-Reisen "schützen" möchtest, schreib "/Reisen/Karibik" in die robots.txt.

Wenn Du alle default.pdf auf dem Webserver "schützen" möchtest, hilft Dir robots.txt nicht weiter.

Siehe auch robots.txt.

Alexander