nicht angemeldet
robots.txt und oder vs meta name = "robots"
Hallo!
Ich habe heute Einiges über robots.txt gelesen. Dabei ist mir nicht klar geworden, ob die Angaben in der robots.txt die Entsprechungen in den einzelnen html-Dateien ersetzen.
Wenn ich eine robots.txt habe, deren datei- und verzeichnisbezogene Einträge alles unter www.xyz.at/ abdeckt: Werden dann meta-Angaben der einzelnen Datein nach wie vor "angeschaut"? soll ich sie löschen? Kann man da nichts sagen weil sich die robots unterschielich verhalten und ist in der Folge eine Doppelconference sinnvoll?
Beste Grüße
Viennamade
-
Moin!
Wenn ich eine robots.txt habe, deren datei- und verzeichnisbezogene Einträge alles unter www.xyz.at/ abdeckt: Werden dann meta-Angaben der einzelnen Datein nach wie vor "angeschaut"?
Nein, davon würde ich nicht ausgehen.
Da du in der robots.txt nur angeben kannst, welche Dateien und Verzeichnisse NICHT indiziert werden sollen, hast du mit deiner Angabe, die das Hauptverzeichnis "abdeckt", vermutlich deinen gesamten Webspace von der Indizierung ausgeschlossen. Meta-Angaben werden dann ignoriert, weil die Suchspider die Seiten schon gar nicht mehr abrufen.
soll ich sie löschen? Kann man da nichts sagen weil sich die robots unterschielich verhalten und ist in der Folge eine Doppelconference sinnvoll?
Es ist sinnvoll, eine leere (0 Byte) robots.txt anzulegen, wenn einen die 404-Fehler in den Logfiles stören. Ansonsten gilt: Keine oder leere robots.txt = keine allgemeinen Beschränkungen. Nur dann werden die Meta-Informationen in den einzelnen Seiten beachtet.
Wobei "beachten" sowieso ein Thema für sich ist. Suchmaschinen sind nicht gezwungen, die robots.txt zu beachten, ebenso wie die Metatags. "Gute" Suchspider machen das - böse Spider machen das nicht unbedingt.
- Sven Rautenberg
-
Hallo!
Wenn ich eine robots.txt habe, deren datei- und verzeichnisbezogene Einträge alles unter www.xyz.at/ abdeckt: Werden dann meta-Angaben der einzelnen Datein nach wie vor "angeschaut"?
Nein, davon würde ich nicht ausgehen.
Da du in der robots.txt nur angeben kannst, welche Dateien und Verzeichnisse NICHT indiziert werden sollen, hast du mit deiner Angabe, die das Hauptverzeichnis "abdeckt", vermutlich deinen gesamten Webspace von der Indizierung ausgeschlossen. Meta-Angaben werden dann ignoriert, weil die Suchspider die Seiten schon gar nicht mehr abrufen.
OK, allow-Angaben brauche ich keine.
soll ich sie löschen? Kann man da nichts sagen weil sich die robots unterschielich verhalten und ist in der Folge eine Doppelconference sinnvoll?
Danke für die Antwort. Ich habe mich beim Fragen falsch ausgedrückt und daher spiele ich den Ball nochmals an Euch zurück und hoffe auf Annahme:
_Um_ eventuelle widersprüchliche Angaben (robots.txt zu Meta-Angaben) zu verhindern, spricht doch nichts dagegen die diesbezgl. Meta-Angaben aus den Dateien rauszunehmen?Beste Grüße
Viennamade-
Hi Viennamade,
_Um_ eventuelle widersprüchliche Angaben (robots.txt zu Meta-Angaben) zu verhindern, spricht doch nichts dagegen die diesbezgl. Meta-Angaben aus den Dateien rauszunehmen?
Hau sie weg, die Metaxas, die Bots suchen sowieso nach Deiner robots.txt. Übrigens gibt es dazu bei Google einige Hinweise.
Viele Grüße
Mathias Bigge-
Hallo Mathias!
_Um_ eventuelle widersprüchliche Angaben (robots.txt zu Meta-Angaben) zu verhindern, spricht doch nichts dagegen die diesbezgl. Meta-Angaben aus den Dateien rauszunehmen?
Hau sie weg, die Metaxas, die Bots suchen sowieso nach Deiner robots.txt.OK, ich hau sie weg!
Besten Dank an alle!
Viennamade
-
-
-
-
Wenn ich eine robots.txt habe, deren datei- und verzeichnisbezogene Einträge alles unter www.xyz.at/ abdeckt: Werden dann meta-Angaben der einzelnen Datein nach wie vor "angeschaut"?
Überlege Dir als Erstes vielleicht folgendes: Welchen Sinn hat es, für dieselbe URL an einer Stelle A zu sagen und an anderer B?
Sich darüber den Kopf zu zerbrechen, welcher Ort bei welcher Suchmaschine Vorrang haben könnte, ist vergebene Liebesmüh', die besser in einheitliche Angaben gesteckt werden sollte (wenn man denn schon doppelte Angaben benötigt).
-
Hallo!
Darf ich eine Zusatzfrage zu robots.txt stellen?
Ich habe schon gelesen, daß Suchmaschinen den Verweisen der Seiten folgen. Auf eine Domain bezogen beginnen sie bei jener Seite die der Server als Startseite ausgibt. Natürlich ist das bei Backlinks anders.
Ich habe schon gelesen, daß Suchmaschinen die Verzeichnisse durchschauen.
Also was jetzt? Oder machen Suchmaschinen schlicht Beides? Ich habe keinen praktischen Grund für die Frage, es interessiert mich schlicht.
Beste Grüße
Viennamade-
Hi,
Ich habe schon gelesen, daß Suchmaschinen die Verzeichnisse durchschauen.
sofern ein Link auf /verzeichnis/ existiert, wird die Suchmaschine diesem nachgehen und den ausgelieferten Inhalt unter /verzeichnis/ aufnehmen. Wenn der Server keine Seite ausliefert, sondern das Directory-Listing, _dann_ bekommt der Robot weitere Links zu den im Verzeichnis enthaltenen Dateien und kann diesen nachgehen. Mir ist auch bisher nicht aufgefallen, daß Suchmaschinen Anforderungen machten, die nirgends referenziert waren.
freundliche Grüße
Ingo-
Hallo Ingo!
Ich habe schon gelesen, daß Suchmaschinen die Verzeichnisse durchschauen.
sofern ein Link auf /verzeichnis/ existiert, wird die Suchmaschine diesem nachgehen und den ausgelieferten Inhalt unter /verzeichnis/ aufnehmen. Wenn der Server keine Seite ausliefert, sondern das Directory-Listing, _dann_ bekommt der Robot weitere Links zu den im Verzeichnis enthaltenen Dateien und kann diesen nachgehen. Mir ist auch bisher nicht aufgefallen, daß Suchmaschinen Anforderungen machten, die nirgends referenziert waren.Danke, ich kenne mich aus!
Viennamade
-
-