robots.txt oder Meta?

[Mitschel]

ich versuch gerade herauszufinden, was da eigentlich der große unterschied zwischen robots meta und robots.txt ist? klar, in der .txt kann ich ganze verzeichnisse ausschließen. wiederum habe ich hier im forum auch gelesen, dass die .txt von manchen suchmaschinen gar nicht beachtet wird. Daher die Frage: ist es sinnvoll, beide methoden zu verwenden? oder ist das dann nicht irgendwie "doppelt gemoppelt"?
ich hoffe ihr könnt mir weiterhelfen!

mfg

[Beat]

ich hoffe ihr könnt mir weiterhelfen!

Wenn der Output über eine dynamische URL augegeben wird, dann bist du mit meta Angaben besser bedient, da du solche urls im robots.txt nicht für alle Bots zuverlässig angeben kannst.

mfg Beat

[Thomas Luethi]

Hallo Mitschel,

Ich habe vor einiger Zeit mal die Erfahrung gemacht, dass Google
auch Seiten indexiert hat, die er gemäss robots.txt gar nicht
hätte aufrufen sollen, bei denen aber im HEAD folgendes stand:
<meta name='robots' content='index, follow' />

Das war natürlich ein Widerspruch, aber nach meinem Verständnis
sollte ein Robot zuerst mal die robots.txt beachten und Dinge,
die dort als "verboten" bezeichnet werden, gar nicht erst abrufen.
Google hat sich aber anders verhalten, nämlich im Stil: "Gehen
wir doch trotzdem mal in die verbotene Kammer schauen, vielleicht
hat es dort ja etwas, das ich sehen darf ..."

Fazit: Wenn Du willst, dass die halbwegs anständigen Suchmaschinen
(inkl. Google) eine Seite nicht besuchen/indizieren, kannst Du

• entweder nur eine robots.txt hintun, aber keine Meta-Angaben
    in die Dateien selbst schreiben, und dann hoffen, dass
    Google sich in dem Fall an die robots.txt hält.
• oder, um ganz "sicher" zu sein, in der robots.txt und in
    den Meta-Angaben die gleichen Anweisungen/Verbote aussprechen.
    Natürlich bist Du auch in dem Fall noch auf das anständige
    Verhalten der Robots angewiesen ...

HTH, mfg
Thomas

[Texter mit x]

ich versuch gerade herauszufinden, was da eigentlich der große unterschied zwischen robots meta und robots.txt ist?

Die einzige Gemeinsamkeit ist, daß sie sich primär an Suchmaschinen richten.

Die robots.txt ist eine unverbindliche Empfehlung, welche urls nicht aufgerufen werden sollen. Die meta-Angabe nonidex ist ein explizites verbindliches Verbot (sofern es anhand einer Rechtsvorschrift, z.B. dem UrHG, etwas zu verbieten gibt bzw. die Erlaubnis nötig wäre).

[Der Martin]

Hallo,

Die meta-Angabe nonidex ist ein explizites verbindliches Verbot (sofern es anhand einer Rechtsvorschrift, z.B. dem UrHG, etwas zu verbieten gibt bzw. die Erlaubnis nötig wäre).

woraus leitest du die These ab, dass <meta name="robots" ...> irgendeine rechtlich verbindliche Relevanz hätte? So wie ich das sehe, ist das eine reine Willenserklärung des Webautors, die im Zusammenhang mit anderen Aspekten (Urheberschaft, Nutzungs- und Verbreitungsrechte) als zusätzliches Indiz gelten könnte, aber für sich allein genommen völlig belanglos ist.

Unabhängig davon hat sich die Berücksichtigung dieser Willenserklärung bei den Suchmaschinenbetreibern als Konvention durchgesetzt. Aber ein Rechtsanspruch ergibt sich daraus IMHO nicht.

So long,
 Martin

[Texter mit x]

Die meta-Angabe nonidex ist ein explizites verbindliches Verbot (sofern es anhand einer Rechtsvorschrift, z.B. dem UrHG, etwas zu verbieten gibt bzw. die Erlaubnis nötig wäre).

woraus leitest du die These ab, dass <meta name="robots" ...> irgendeine rechtlich verbindliche Relevanz hätte?

Woraus leitest Du die These ab, daß Suchmaschinenbetreiber z.B. fremde Werke kopieren, außerhalb eines eigenen Werkes zitieren und vollständig öffentlich zugänglich machen dürfen? Selbst die Richter denen nicht klar ist, daß es eine Zeit vor PDFs und vor Bildersuchmaschinen gab, und die von konkludenter Zustimmung für oben genantes ausgehen wenn man was in Netz stellt, weil es irgendwie "schon immer" so gemacht wurde*, sehen darin eine Willenserklärung die der Annahme der konkludenten Zustimmung ggf. entgegensteht.

*Dabei wurde bei HTML-Dokumenten "schon immer" explizit verboten oder erlaubt. Seit wann ist <meta name="robots" ...> in HTML standardisiert, 1.0, 2.0?

So wie ich das sehe, ist das eine reine Willenserklärung des Webautors, die im Zusammenhang mit anderen Aspekten (Urheberschaft, Nutzungs- und Verbreitungsrechte) als zusätzliches Indiz gelten könnte, aber für sich allein genommen völlig belanglos ist.

Als Indiz gegen die eventuell zulässige Annahme der konkludenten Zustimmung.  Wenn man Nutzungsrechte noch nicht mal explizit gutgläubig erwerben kann, wie soll das dann mit der Annahme der konkludenten Zustimmung bei so einem Indiz möglich sein?

Aber was meinst du mit für sich allein? Falls es Dir entgangen ist, ich schrieb da noch was in Klammern. Natürlich kann ich, außer vertraglich, auf keine Weise jemandem verbieten den Inhalt einer Seite zu übernehmen, wenn der Inhalt nur aus einem "lol" oder ähnlichem besteht. Bei einem Roman sieht das anders aus, wenn man davon absieht, daß man es auch da nicht unbedingt verbieten muß, sondern es nur nicht erlauben braucht. Da aber kein bot zwischen belanglosem Text und einem Gedicht unterscheiden kann und es ein Gedicht sein könnte, ist das halbwegs egal.

Unabhängig davon hat sich die Berücksichtigung dieser Willenserklärung bei den Suchmaschinenbetreibern als Konvention durchgesetzt. Aber ein Rechtsanspruch ergibt sich daraus IMHO nicht.

Wenn es eine Willenserklärung ist, dann hat diese ggf. die gleiche rechtliche Relevanz, wie jede andere Willenserklärung. Aber die Suchmaschinenbetreiber geben sich ja gern gönnerhaft und alles ist nur im Sinne der Webautoren. Ich mach dann mal Werbung für Die Ärzte in dem ich einen rechtswidrigen Mitschnitt eines Konzertes von denen auf meiner Seite zum runterladen anbiete.

[Der Martin]

Moin,

Die meta-Angabe nonidex ist ein explizites verbindliches Verbot (sofern es anhand einer Rechtsvorschrift, z.B. dem UrHG, etwas zu verbieten gibt bzw. die Erlaubnis nötig wäre).
woraus leitest du die These ab, dass <meta name="robots" ...> irgendeine rechtlich verbindliche Relevanz hätte?
Woraus leitest Du die These ab, daß Suchmaschinenbetreiber z.B. fremde Werke kopieren, außerhalb eines eigenen Werkes zitieren und vollständig öffentlich zugänglich machen dürfen?

du schießt hier weit übers Ziel hinaus, finde ich. Es geht nicht ums Kopieren, sondern nur ums Indizieren und/oder Katalogisieren. Ich weiß, dass Suchmaschinen teilweise ganze Dokumente in einem eigenen Cache vorhalten, was zweifellos eine Art Kopieren darstellt. Und dieses Zwischenspeichern ist sehr umstritten und steht stark in der Kritik.
Das ist hier aber gar nicht der Punkt.

Selbst die Richter denen nicht klar ist, daß es eine Zeit vor PDFs und vor Bildersuchmaschinen gab, und die von konkludenter Zustimmung für oben genantes ausgehen wenn man was in Netz stellt, ...

Würde ich auch so sehen. Wozu sonst sollte man etwas im Internet veröffentlichen, wenn nicht, um es für die Allgemeinheit zur Verfügung zu stellen? Das sieht wieder anders aus, wenn zum Abrufen der Informationen bestimmte Voraussetzungen (geschlossene Benutzergruppe, Nutzungsgebühr o.ä.) erfüllt sein müssen. Dann dürfen aber Suchmaschinen auch keinen Zugriff auf diese Informationen haben, weil sie diese Voraussetzung nicht erfüllen. Aber bei Informationen, die sowieso jedem ohne Einschränkung zur Verfügung stehen?

Aber was meinst du mit für sich allein? Falls es Dir entgangen ist, ich schrieb da noch was in Klammern.

Ja, schon klar. Aber mir scheint, dass du zwei Dinge zusammenschmeißt. Es ist nicht okay, wenn Suchmaschinen terabyteweise Informationen kopieren und auf ihren eigenen Servern zwischenspeichern (auch wenn das eine effiziente Suche erst möglich macht). Aber mit der Meta-Anweisung "noindex" geht es ja nicht ums Kopieren, sondern nur ums Analysieren und Indizieren.
Sicher würde mich die Museumsleitung hochkant rauswerfen, wenn ich durch eine Ausstellung von Gemälden und Skulpturen gehe und jedes Werk fotografiere. Aber niemand kann mir verbieten, dass ich mir Notizen zu den ausgestellten Werken mache. Ebenso kann mir niemand was, wenn ich am nächsten Tag einen Artikel im Gemeindeblatt veröffentliche, in dem ich alle ausgestellten Werke aufzähle.

Wenn es eine Willenserklärung ist, dann hat diese ggf. die gleiche rechtliche Relevanz, wie jede andere Willenserklärung.

Eben, also keine. Wenn ich meinem Nachbarn sage: "Ich will nicht, dass Sie Ihr Auto neben meinem abstellen", dann kann er das berücksichtigen, wenn er sehr leicht einzuschüchtern ist oder wirklich jedem Konflikt aus dem Weg gehen möchte; in der Regel wird er aber die Schultern zucken und meine Willenserklärung in den Wind schreiben. Nur wenn eine Willenserklärung durch einen Rechtsanspruch untermauert ist, hat sie eine Wirkung, auf die ich bauen kann.

Schönes Wochenende,
 Martin

[Texter mit x]

du schießt hier weit übers Ziel hinaus, finde ich.

Man könnte auch sagen, ich gehe der Sache auf den Grund. Auf einen Grund, der nicht auf "aber so wird es doch schon immer gemacht und kaum jemand hat sich je beschwert" aufbaut.

Es geht nicht ums Kopieren, sondern nur ums Indizieren und/oder Katalogisieren. Ich weiß, dass Suchmaschinen teilweise ganze Dokumente in einem eigenen Cache vorhalten, was zweifellos eine Art Kopieren darstellt. Und dieses Zwischenspeichern ist sehr umstritten und steht stark in der Kritik.

Auch die Indizieren und/oder Katalogisieren ist ohne Kopieren nicht möglich.

Und bei den Zitaten stimmst du mir zu? Vermutlich nicht.

Wozu sonst sollte man etwas im Internet veröffentlichen, wenn nicht, um es für die Allgemeinheit zur Verfügung zu stellen?

Und woraus schließt du, daß in jedem Fall auch gewollt ist, daß diese Inhalte von Suchmaschinen in der Art benutzt werden wie sie benutzt werden?

Aber bei Informationen, die sowieso jedem ohne Einschränkung zur Verfügung stehen?

Wofür soll das ein Argument sein? Um Informationen ging es bisher auch nicht (Informationen sind nicht urheberrechtlich Geschützt), wobei im konkreten Fall auch über personenbezogene Daten zu sprechen wäre.

Aber was meinst du mit für sich allein? Falls es Dir entgangen ist, ich schrieb da noch was in Klammern.

Ja, schon klar. Aber mir scheint, dass du zwei Dinge zusammenschmeißt. Es ist nicht okay, wenn Suchmaschinen terabyteweise Informationen kopieren und auf ihren eigenen Servern zwischenspeichern (auch wenn das eine effiziente Suche erst möglich macht). Aber mit der Meta-Anweisung "noindex" geht es ja nicht ums Kopieren, sondern nur ums Analysieren und Indizieren.

Damit, daß ich dem Indexieren zustimme, stimme ich auch dem dafür notwendigen Kopieren zu. Stimme ich dem Indexieren nicht zu, müßte ich dem Kopieren zustimmen, damit es zulässig ist, außer es greift eine Schranke des UrHG oder das UrHg findet gar keine Anwendung.

Sicher würde mich die Museumsleitung hochkant rauswerfen, wenn ich durch eine Ausstellung von Gemälden und Skulpturen gehe und jedes Werk fotografiere.

Sie können es versuchen aber es ist nicht gesagt, daß das rechtens wäre.

Aber niemand kann mir verbieten, dass ich mir Notizen zu den ausgestellten Werken mache.

Unter Umständen doch, auf der selben Grundlage, wie ggf. das Fotografieren verboten wurde, nähmlich durch eine vertragliche Vereinbarung.

Eben, also keine.

Ggf., ggf nicht.

Wenn ich meinem Nachbarn sage: "Ich will nicht, dass Sie Ihr Auto neben meinem abstellen", dann kann er das berücksichtigen, wenn er sehr leicht einzuschüchtern ist oder wirklich jedem Konflikt aus dem Weg gehen möchte; in der Regel wird er aber die Schultern zucken und meine Willenserklärung in den Wind schreiben.

Kannst Du mir das Gesetz nennen, nachdem es von deiner Zustimmung abhängig ist, ob der Nachbar sein Auto neben deins stellen darf? Nicht? Ich kann Dir aber das UrhG nennen.

Nur wenn eine Willenserklärung durch einen Rechtsanspruch untermauert ist, hat sie eine Wirkung, auf die ich bauen kann.

Ich weise noch ein mal auf das in Klammern stehende hin.
» (sofern es anhand einer Rechtsvorschrift, z.B. dem UrHG, etwas zu verbieten gibt bzw. die Erlaubnis nötig wäre)
weiterhin aus dem zweiten Beitrag:

Natürlich kann ich, außer vertraglich, auf keine Weise jemandem verbieten den Inhalt einer Seite zu übernehmen, wenn der Inhalt nur aus einem "lol" oder ähnlichem besteht.

[hotti]

hi,

ich versuch gerade herauszufinden, was da eigentlich der große unterschied zwischen robots meta und robots.txt ist? klar, in der .txt kann ich ganze verzeichnisse ausschließen....

... und z.B. auch ein Sitemap angeben in der robots.txt und nur da geht das.

Hotte

[Texter mit x]

ich versuch gerade herauszufinden, was da eigentlich der große unterschied zwischen robots meta und robots.txt ist? klar, in der .txt kann ich ganze verzeichnisse ausschließen....

... und z.B. auch ein Sitemap angeben in der robots.txt und nur da geht das.

Eine Sitemap für eine Hand voll Seiten? Welche Suchmaschine außer google versteht das überhaupt und woher weißt Du, daß man das keiner anderen Suchmaschine auf andere Weise mitteilen kann? (Google kann man es ja ohnehin auch anders mitteilen, wenn man sich da anmeldet oder nicht?)