nicht angemeldet
Hallo!
Ich habe heute Einiges über robots.txt gelesen. Dabei ist mir nicht klar geworden, ob die Angaben in der robots.txt die Entsprechungen in den einzelnen html-Dateien ersetzen.
Wenn ich eine robots.txt habe, deren datei- und verzeichnisbezogene Einträge alles unter www.xyz.at/ abdeckt: Werden dann meta-Angaben der einzelnen Datein nach wie vor "angeschaut"? soll ich sie löschen? Kann man da nichts sagen weil sich die robots unterschielich verhalten und ist in der Folge eine Doppelconference sinnvoll?
Beste Grüße
Viennamade