nicht angemeldet
Moin!
Wenn ich eine robots.txt habe, deren datei- und verzeichnisbezogene Einträge alles unter www.xyz.at/ abdeckt: Werden dann meta-Angaben der einzelnen Datein nach wie vor "angeschaut"?
Nein, davon würde ich nicht ausgehen.
Da du in der robots.txt nur angeben kannst, welche Dateien und Verzeichnisse NICHT indiziert werden sollen, hast du mit deiner Angabe, die das Hauptverzeichnis "abdeckt", vermutlich deinen gesamten Webspace von der Indizierung ausgeschlossen. Meta-Angaben werden dann ignoriert, weil die Suchspider die Seiten schon gar nicht mehr abrufen.
soll ich sie löschen? Kann man da nichts sagen weil sich die robots unterschielich verhalten und ist in der Folge eine Doppelconference sinnvoll?
Es ist sinnvoll, eine leere (0 Byte) robots.txt anzulegen, wenn einen die 404-Fehler in den Logfiles stören. Ansonsten gilt: Keine oder leere robots.txt = keine allgemeinen Beschränkungen. Nur dann werden die Meta-Informationen in den einzelnen Seiten beachtet.
Wobei "beachten" sowieso ein Thema für sich ist. Suchmaschinen sind nicht gezwungen, die robots.txt zu beachten, ebenso wie die Metatags. "Gute" Suchspider machen das - böse Spider machen das nicht unbedingt.
- Sven Rautenberg