nicht angemeldet
Hallo!
Wenn ich eine robots.txt habe, deren datei- und verzeichnisbezogene Einträge alles unter www.xyz.at/ abdeckt: Werden dann meta-Angaben der einzelnen Datein nach wie vor "angeschaut"?
Nein, davon würde ich nicht ausgehen.
Da du in der robots.txt nur angeben kannst, welche Dateien und Verzeichnisse NICHT indiziert werden sollen, hast du mit deiner Angabe, die das Hauptverzeichnis "abdeckt", vermutlich deinen gesamten Webspace von der Indizierung ausgeschlossen. Meta-Angaben werden dann ignoriert, weil die Suchspider die Seiten schon gar nicht mehr abrufen.
OK, allow-Angaben brauche ich keine.
soll ich sie löschen? Kann man da nichts sagen weil sich die robots unterschielich verhalten und ist in der Folge eine Doppelconference sinnvoll?
Danke für die Antwort. Ich habe mich beim Fragen falsch ausgedrückt und daher spiele ich den Ball nochmals an Euch zurück und hoffe auf Annahme:
_Um_ eventuelle widersprüchliche Angaben (robots.txt zu Meta-Angaben) zu verhindern, spricht doch nichts dagegen die diesbezgl. Meta-Angaben aus den Dateien rauszunehmen?
Beste Grüße
Viennamade