Konrad: Verwendung der Datei robots.txt

SELF-Forum

Verwendung der Datei robots.txt

Konrad
– Informationen zu den Bewertungsregeln

Hallo,
1. Ist es sinnvoll, die Perl-Bibliothek (z.B. cgi-bin)
und die Javascript-Bibliothek in robots.txt mit disallow anzugeben?
2. Ich habe gefunden:
Disallow: /default Alle Dateien und Verzeichnisse, die mit „default“ beginnen, werden nicht durchsucht ....
Gilt dies nur für Dateien/Verzeichnisse im Root-Verzeichnis oder auch z.B. für die Datei /Reisen/Karibik/default.pdf?

Beitrag melden
–
Informationen zu den Bewertungsregeln

  1. Verwendung der Datei robots.txt

    Alexander (HH)
    – Informationen zu den Bewertungsregeln

    Moin Moin!

    1. Ist es sinnvoll, die Perl-Bibliothek (z.B. cgi-bin)
      und die Javascript-Bibliothek in robots.txt mit disallow anzugeben?

    Kommt drauf an, ob die Suchmaschinen diese Bereiche sehen sollen oder nicht. In der Regel wohl nicht.

    1. Ich habe gefunden:
      Disallow: /default Alle Dateien und Verzeichnisse, die mit „default“ beginnen, werden nicht durchsucht ....

    Doppelt falsch, alle die mit "/default" (nicht "default") beginnen *SOLLEN* nicht (nicht: werden nicht) abgespidert werden.

    Gilt dies nur für Dateien/Verzeichnisse im Root-Verzeichnis oder auch z.B. für die Datei /Reisen/Karibik/default.pdf?

    Beginnt "/Reisen/Karibik/default.pdf" mit "/default"? Nein.

    Wenn Du alle Reisen "schützen" möchtest, schreib "/Reisen" in die robots.txt. Wenn Du nur Karibik-Reisen "schützen" möchtest, schreib "/Reisen/Karibik" in die robots.txt.

    Wenn Du alle default.pdf auf dem Webserver "schützen" möchtest, hilft Dir robots.txt nicht weiter.

    Siehe auch robots.txt.

    Alexander

    --
    Today I will gladly share my knowledge and experience, for there are no sweeter words than "I told you so".
    Beitrag melden
    –
    Informationen zu den Bewertungsregeln

    1. Verwendung der Datei robots.txt

      Konrad
      – Informationen zu den Bewertungsregeln

      Hallo,
      danke für die Info, aber:

      Gilt dies nur für Dateien/Verzeichnisse im Root-Verzeichnis oder auch z.B. für die Datei /Reisen/Karibik/default.pdf?

      Beginnt "/Reisen/Karibik/default.pdf" mit "/default"? Nein.

      Wenn Du alle Reisen "schützen" möchtest, schreib "/Reisen" in die robots.txt. Wenn Du nur Karibik-Reisen "schützen" möchtest, schreib "/Reisen/Karibik" in die robots.txt.

      Alle Reisen?
      Auch "/Angebote/Reisen"?
      Um in Deinen Worten zu schreiben:
      Beginnt "/Angebote/Reisen" mit "/Reisen"? Nein

      Beitrag melden
      –
      Informationen zu den Bewertungsregeln