nicht angemeldet
Hallo hendrik.
ich habe eine Frage zur robots.txt-datei. ich möchte drei dateien vom indexieren ausschliessen, nämlich jene, auf denen e-mail-adressen enthalten sind, um zu vermeiden, irgendwann mit spam zugeschüttet zuu werden.
Die "bösen" Bots, nämlich diejenigen, welche die E-Mails sammeln, scheren sich in aller Regel herzlich wenig um die robots.txt. Nur die "guten" fragen die Datei vorher ab, und diese würdest du mit deinem Vorhaben von den Seiten ausschließen. Dies könnte deswegen schlecht sein, weil es ja durchaus indizierungswürdige Inhalte auf den ausgeschlossenen Seiten geben könnte.
ist die folgende robots.txt korrekt, wenn ich die darin angegebenen html-dateien NICHT indexieren möchte?
Ja, sieht korrekt aus. Weitere Infos findest du übrigens hier:
http://de.selfhtml.org/diverses/robots.htm#speicherort_aufbau
Freundschaft!
Siechfred
Punk's not dead: http://www.siechfreds-welt.de/badreligion.shtml
Dankbarkeit, man spürt sie ja so selten bei den Menschen, und gerade die Dankbarsten finden nicht den Ausdruck dafür, sie schweigen verwirrt, sie schämen sich und tun manchmal stockig, um ihr Gefühl zu verbergen. (Stefan Zweig)