nicht angemeldet
Kann man mit robots.txt nur ganze Verzeichnisse vor den Suchmaschinen verstecken? Den wenn ich mit Disallow nur eine einzige Datei verstecken will, wird sie trotzdem in den Suchmaschinen aufgelistet.
die robot.txt diehnt nur dazu, Verzeichnisse
vor "guten" robots zu sperren. Boesen robots,
wie etwa unseren ;-) ist das schnuppe, was da
drin steht.
Um Dateien auszugrenzen mußt Du einen Meta-Tag in
die entsprechende HTML-Datei setzen:
<meta name="robots" content="noindex">
wenn der zudem nicht die Hyperlinks dieser Datei
verfolgen soll, dann
<meta name="robots" content="noindex,nofollow">
Aber, das haengt alles von dem robot ab, der das
lesen soll. Die meisten interessieren sich nicht
dafuer.
Sowas wie
<meta name="robots" content="no">
kann man knicken, oder
<meta name="robots" content="all">
ist ueberfluessig.
Guck mal hier bei WebCrawler, dort melden sich
ernsthafte robots an, und verraten, was sie wie
interpretieren:
The Web Robots Database http://info.webcrawler.com/mak/projects/robots/active.html
Dort findest Du z.B.: auch den der Blinden Kuh:
http://info.webcrawler.com/mak/projects/robots/active/html/blindekuh.html
Du mußt Dir natürlich die genau durchlesen, bei
denen Du überhaupt Seiten anmeldest.
Stefan Karzauninkat schrieb fuer SelfHTML
HTML und Suchmaschinen - Futter für die Robots
http://www.teamone.de/selfaktuell/htmlsuch.htm
Grüße
Stefan R. Müller