nicht angemeldet
Hi,
Hallo, wenn ich in einer Robots.txt-Angabe kein Verzeichnis für Allow sondern nur die Disallow-verzeichnisse deffiniert habe, werden dann die anderen Webseite/Ordner vom System ausgelesen oder nicht?
Du hast ja schon ein paar Antworten gekriegt.
Die Robots denken: "Was nicht verboten ist, ist erlaubt".
Weitere Infos zur robots.txt:
http://www.robotstxt.org/wc/exclusion-admin.html
Ich habe uebrigens kuerzlich bei Google festgestellt, dass er sich in einem Fall nicht an die robots.txt haelt. Er verfolgte Links in ein "verbotenes" Verzeichnis und stellte dort fest, dass in den Dateien folgendes stand:
<meta name='robots' content='index, follow'>
Und prompt indexierte er die Seiten.
(Mittlerweile habe ich es geaendert auf
<meta name='robots' content='noindex, follow'>
und hoffe, dass Google die Seiten in den naechsten Wochen wieder rauswirft. Sonst greife ich dann doch zu einem .htaccess-Passwortschutz.)
Konkret geht es um:
http://www.morgain.ch/de2/band.html
Das Unterverzeichnis /de2/ habe ich nur zu Testzwecken angelegt. Weil ich ein CSS-Problem hier im SelfForum zur Diskussion stellte, habe ich das Verzeichnis natuerlich nicht passwortgeschuetzt. Googlebot ist wohl einem Link aus dem SelfForum dorthin gefolgt.
Die robots.txt war schon immer:
http://www.morgain.ch/robots.txt
mfg
Thomas