Mr. Bream: Frage zu robots.txt

SELF-Forum

Frage zu robots.txt

Mr. Bream
– Informationen zu den Bewertungsregeln

Hello,
kann ich in robots.txt den Zugriff auf alle Subdirectories verbieten, ohne diese einzeln mit
Disallow: /dir1/
...
Disallow: /dir20/
angeben zu müssen?

Beitrag melden
–
Informationen zu den Bewertungsregeln

  1. Frage zu robots.txt

    Alexander (HH)
    +1 Informationen zu den Bewertungsregeln

    Moin Moin!

    Nein, das gibt die Spezifikation nicht her.

    Allerdings muß /robots.txt nicht unbedingt eine Datei sein, Du kannst auch eine serverseitige Technik (CGI, FastCGI, mod_perl, ASP, JSP, PHP, ...) benutzen, um unter der URL /robots.txt eine dynamisch generierte Liste auszuliefern, sinnvollerweise als text/plain. Wahlweise erzeugst Du die robots.txt aus einem Script und ggf. einem Template.

    Unter Linux sollte folgender Einzeiler, ausgeführt im Document Root, ein brauchbarer Ansatz sein:

    ( echo 'User-agent: *' ; find . -maxdepth 1 -type d -! -name . -printf 'Disallow: /%f\n'; ) > robots.txt

    Alexander

    --
    Today I will gladly share my knowledge and experience, for there are no sweeter words than "I told you so".
    Beitrag melden
    +1
    Informationen zu den Bewertungsregeln

  2. Frage zu robots.txt

    Beat Homepage des Autors
    – Informationen zu den Bewertungsregeln

    kann ich in robots.txt den Zugriff auf alle Subdirectories verbieten, ohne diese einzeln mit

    Zugriff auf Subdirectories verbietet man mit .htaccess.

    robots.txt ist, wie seine Entwicklung zeigt, ein unwillkommener Standard.
    Alternativ gibts sitemaps.

    Disallow: /dir1/
    ...
    Disallow: /dir20/
    angeben zu müssen?

    Einige wichtige robots verstehen auch die Wildcards * und ?
    sowie eine Allow Regel.
    Erkundige dich bei diesen Robots.

    mfg Beat

    --
    Woran ich arbeite:
    X-Torah
    ><o(((°>           ><o(((°>
       <°)))o><                     ><o(((°>o
    Beitrag melden
    –
    Informationen zu den Bewertungsregeln