robots.txt

[Dirk]

Wenn ich nicht möchte das auf meiner Seite .txt - Dateien von Suchmaschinen eingelesen werden, ist dann diese Form richtig?

robots.txt zu http://www.meine-seite.de/

User-agent: *
Disallow: .txt*

Danke für die Hilfe!

Falls das so nicht OK ist bitte um Hilfestellung!

[Sönke Tesch]

Wenn ich nicht möchte das auf meiner Seite .txt - Dateien von Suchmaschinen eingelesen werden, ist dann diese Form richtig?

Disallow: .txt*

Nein. Grundsätzlich werden die in der robots.txt angegebenen Pfade nur als Anfang genutzt und verglichen, /bla/fasel passt also auf /bla/fasel/klingeling oder bla/faseldidum, aber nicht auf /hoppla/bla/fasel. Es gibt AFAIK halbherzig dokumentierte Ausnahmen bei vereinzelten Suchmaschinen, aber Du möchtest ja sicher niemandem den Zugriff erlauben, insofern ist das wohl nichts für Dich.

Die einzigste sichere Möglichkeit wäre also, sämtliche Textdateien in die robots.txt zu packen. Das kann manuell natürlich eine grausige Arbeit sein, aber es ist ohne weiteres möglich, diese Arbeit beim Aufruf der robots.txt per Skript zu erledigen (hätte auch den Vorteil, daß Du keine Textdatei vergisst).

Gruß,
  soenk.e

[Stefan Einspender]

Hallo Dirk,

User-agent: *
Disallow: .txt*

nein, zumindest bei Google kannst Du folgende Schreibweise verwenden:

User-agent: *
Disallow: /*.txt$

Eine andere Möglichkeit ist die von Sönke in ?t=49838&m=272471 ge-
nannte, wenn Dir die Sache mit dem Script zu kompliziert ist, dann
kannst Du ja auch die Textdateien in ein Verzeichnis packen und nur
dieses dann ausschließen:

User-agent: *
Disallow: /textdateien/

Viele Grüße,
Stefan

[Reiner]

Hallo Stefan,

Eine andere Möglichkeit ist die von Sönke in ?t=49838&m=272471 ge-
nannte, [...]

ich erinnere mich dunkel, daß Du mir vor ein paar Tagen beibringen wolltest, wie man hier verlinken kann...

Ich glaube, das ging in etwas so http://netp.ath.cx/error_search.pl?url_new=&url_search=www.sidebar.de, oder? ;-)

Gruß
Reiner

[Stefan Einspender]

Hallo Reiner,

ich erinnere mich dunkel, daß Du mir vor ein paar Tagen beibringen wolltest, wie man hier verlinken kann...

stimmt und es hat mich auch geärgert, dass da nicht der Link kam,
obwohl ich noch die Vorschaufunktion benutzt habe ... hängt damit
zusammen, dass ich ja immer die Zeilen meiner Postings umbreche
und die Links erst nach dem Tippen der/des Zeile/Absatzes/Postings
einfüge. Ich behaupte mal kühn, dass solche Patzer bei mir nur
sehr selten vorkommen und hoffe, dass es auch in Zukunft so bleibt :-)

Viele Grüße,
Stefan

PS: Finde ich immer lustig, wenn man selbst bei jemand Fehler "an-
    meckert" und die dann selbst macht, die Schadenfreude göhne
    ich Dir gern :-)

PPS: Danke für den Hinweis auf die Fehler bei Sidebar.de, da muß
     ich die nächsten Tage mal eine Überarbeitungsaktion starten.