robots.txt und einzelne Datei vor SM schüzzen
0 0 0 
Beat
robots.txt und einzelne Datei vor SM schüzzen
Hallo,
in der robots.txt kann ich ja mit:
Disallow: /files/
das verzeichnis files vor dem indexieren ausschliessen.
Ich habe im doc.root die datei test.txt
Kann ich nun mit
Disallow: /test.txt
speziell diese eine Datein auch vor dem indexieren durch Suchmaschienen schützen? HAlten sich eigentlich auch alle Robots an die Vorgaben der robots.txt?
Gruß Rainer
-
OK, OK
nicht aufregen, hab es gerade gefunden
[URL:http://de.selfhtml.org/diverses/robots.htm]
Gruß Rainer
-
Uups, und gleich die näcjste "Gurke"
-
-
Grüße,
wozu? robots indexieren vom index ausgehend die links - wenn die datei nicht verlinkt ist, dann brauchst du die nicht zu schützen.
wenn doch - würde sich JS-schreiben der verlinkung empfehlen da nicht alle crawler die robots.txt beachten.
MFG
bleicher-
Hallo,
der Witz ist: es existiert kein Link - nirgendwo - zu dieser Datei, und trotzdem ist sie von Google indexiert worden!
Wie das nun?Gruß Rainer
-
Grüße,
der Witz ist: es existiert kein Link - nirgendwo - zu dieser Datei, und trotzdem ist sie von Google indexiert worden!
Wie das nun?das ist eine frage der verzeichnissdarstellung - google kann selten mehr sehen , als normalsterbliche.
d.h. dass der verzeichniss in dem die datei ist, öffentlich zugänglich ist.MFG
bleicher -
Hi,
der Witz ist: es existiert kein Link - nirgendwo - zu dieser Datei
wie kannst Du das wissen? Oder ist der Dateiname wirklich nur Dir allein bekannt?
freundliche Grüße
Ingo
-
-
-
HAlten sich eigentlich auch alle Robots an die Vorgaben der robots.txt?
Kurz gesagt: nein.
Du kannst robots.txt zwar für einige Bots ausrichten, aber da der Standard dermassen schlecht ist (und deshalb von inoffiziellen Regeln ergänzt wird), gibt es keine Syntax, die alle Bots erreichen kann.
Weiterhin schlecht ist, dass viele Suchmaschienen ihre Bots sehr schlecht dokumentieren.Google akzeptiert die Allow Regel und kennt zudem die Wildcards * (Zeichenkette) und $ (Ende)
Andere Bots geben vor diese Google Erweiterungen ebenfalls zu lesen.
mfg Beat