Tim Tepaße: APIs für Crawler

Beitrag lesen

Hallo Swen,

angesichts der Tatsache, dass ich weder hier im Thread noch in näherer Vergangenheit eine Meinung zum Thema geäußert habe, ist Dein predigender bis polemischer Tonfall etwas fehl am Platze, findest Du nicht? ;)

Tatsächlich habe ich wirklich keine Meinung. Für mich gehört das Robot Exclusion Protocol zum Standardwissen* ebenso wie ein hypothetisches Robot Inclusion Protocol in einer anderen Welt ebenso dazu gehören würde. Ich könnte in beiden Welten gut leben.

(* Ein Problem ist natürlich noch die fehlende Unterstützung in so gut wie allen CMSen. Ist mir persönlich ein Rätsel.)

Solch ein Netz folgte den herrschenden Strukturen und manifestierte sie. Das WWW, wie wir es kennen, taugt, auch wenn das weh tut und manchmal böse, blöde Ergebnisse produziert, immerhin dazu, solche Struktur aufzubrechen und neue Assoziationen zuzulassen.

Wandel um des Wandel willen? Nun ja. Tatsache ist doch, dass das gängige Urheberrecht immer noch stark in der physikalischen Welt verhaftet ist und es immer störende Reibungen gibt, wenn versucht wird, physikalische Konzepte auf digitale Konzepte anzuwenden. Das Nutzen von Meta-Elementen wird als Einwilligung, indiziert zu werden, interpretiert, etc. Ein Web-Gesellschaftsvertrag, der auf Inklusion bestehen würde, würde die Ursache vieler solcher Reibungen entfernen. Anstrebenswerter wäre natürlich eine Neuformulierung des Urheberrechts, die nicht nur die Realitäten des physikalischen sondern auch des digitalen Publizierens beinhalten würde.

Es hat eben keine (na ja: kaum)Herrschaftsstrukturen, die solche Dinge zulassen.

Tatsächlich gibt es viele Herrschaftsstrukturen, die sich sehr an der Größe der Streithähne und deren Kapazität für Anwälte anlehnen (z.B. AFP vs. Google News). Ein auf Einladung bestehendes Indizieren gibt durchaus etwas Macht an den hobbyesken Webpublizisten zurück; es wäre ein anderes Aufbrechen von Herrschaftsstrukturen, nämlich denen der Marktmacht und der Größe. Manchmal tut es gut daran, sich zu erinnern, warum im 17. und 18. Jahrhundert Copyright und Urheberrecht eingeführt wurde.

Zwischen "Du darfst mich indizieren" und "Du darfst mich nur so und so indizieren" [...] ist dann nur noch ein gradueller Unterschied.

Ich stellte meine obige, immer noch von allen unbeantwortete Frage unter anderem deshalb, weil ich in den letzten Jahren einen Trend, ausgehend von Suchmaschinen, sehe, immer mehr Macht über und Hinweise zum Indizieren dem Publizierenden zu übergeben, anstatt generell alles zu wollen:

• Natürlich das Robots Exclusion Protocol.
• Dessen Erweiterungen, Allow und in Meta-Elementen, besonders: NOARCHIVE.
• rel="nofollow", um Verweise von der Gewichtung auszuschließen
class="robots-nocontent", um Bestandteile einzelner Webseiten von der Indizierung auszuschalten.
XML Sitemaps um einzelne Seiten aufzulisten, deren Aktualisierungsfrequenzen mitzuteilen und sie untereinander zu gewichten. Natürlich gibt es Erweiterungen, um die Einzel-Seiten mit zusätzlichen Informationen auszustatten, von Google z.B. News, Geo- und Mediainformationen, etc.
OpenSearch, eine API, mit der die eigene Suche einer Webseite selber bemüht werden kann. Derzeit beschränkt es sich noch auf Browser, aber es ist von Amazon A9 durchaus unter dem Aspekt entwickelt worden, Suchresultate verschiedener Einzelquellen in einer Metasuchmaschine zu aggregrieren.

All das sind Techniken, die „Macht“ an den Publizierenden geben; all dies sind Techniken die von großen Suchmaschinen entwickelt wurden. Es scheint also durchaus in deren Interesse zu sein, Qualität von Suchergebnissen (und dadurch die Attraktivität des eigenen Kleinanzeigenmarktes) dadurch zu verbessern, auf die Qualität der vom Publizierenden selbst erstellten Resultate zu vertrauen und diese zu nutzen.

Zwischen "Du darfst mich indizieren" und "Du darfst mich nur so und so indizieren" und "Du darfst mich nur verlinken, wenn ich das erlaube" ist dann nur noch ein gradueller Unterschied.

Ich sehe den vermeintlichen Mangel an Unterschied zwischen Indizierung und Verlinkung nicht; Du lieferst leider auch keine Argumente für diesen Gedankengang. Dass die Erwähnung eines scheinbaren Verlustes von Verlinkungen im SELF-Raum natürlich emotional naheliegt – geschenkt.

Das Ergebnis wäre über kurz oder lang ein hierarchisches, herrschaftskonformes, elitenorientiertes Netz [...]

Ich sehe weder Argumente für den gedanklichen Paradigmenwechsel zu Deiner Dystopie noch kann diese ansatzweise nachvollziehen. Verzeih mir die Wortwahl, aber von meinem Sitzplatz zwischen beiden Fronten wirkst Du hier eher stark paranoid, nur von der anderen Seite her, sozusagen der Anti-Mega. Vielleicht ist Dir auch einfach nur der Tonfall beim Posten entrutscht; das passiert mir auch leider öfters als mir lieb ist.

Tim

0 177

Vielleicht Ende für Google Bildersuche

Peter
  • zur info
  1. 2
    Harlequin
    1. 0
      Frank (no reg)
    2. 0
      Peter
      1. 0
        Mega
        1. 0
          Timo
      2. 2
        Kai345
        1. 0
          Mega
          1. 0
            Harlequin
            1. 0
              Mega
              1. 0
                Harlequin
                1. 0
                  Mega
                  1. 0
                    Harlequin
                    1. 0
                      Mega
                      1. 0
                        at
        2. 0

          Blanko-Scheck

          Timo
          • meinung
          1. 0
            Harlequin
            1. 0
              Timo
      3. 0
        Harlequin
        1. 0
          Mega
          1. 0
            Harlequin
            1. 0
              Mega
              1. 0
                Harlequin
                1. 0
                  Mega
                  1. 0
                    Harlequin
                2. 0
                  Timo
                  1. 0
                    Harlequin
                    1. 0
                      Mega
                      1. 0
                        Harlequin
                        1. 0
                          Mega
                          1. 0
                            Harlequin
                            1. 0
                              Mega
                          2. 0
                            Daniel Thoma
                            1. 0
                              Mega
                              1. 0
                                Daniel Thoma
                  2. 0
                    Detlef G.
                    1. 0
                      Timo
                      1. 0
                        Harlequin
                        1. 0
                          Mega
          2. 0
            Klawischnigg
            1. 0
              Harlequin
            2. 0
              Mega
    3. 0
      Patrick Andrieu
      1. 0
        Malcolm Beck´s
        1. 0
          Patrick Andrieu
          1. 0
            Malcolm Beck´s
      2. 0
        Harlequin
  2. 2
    Klawischnigg
    1. 1
      Kai345
  3. 5
    Swen
    1. 0
      Klawischnigg
      1. 0
        Swen
        1. 0
          Klawischnigg
  4. 0

    dummheit?

    bleicher
    1. 0
      Mega
      1. 0
        Harlequin
        1. 0
          Mega
          1. 0
            Harlequin
            1. 0
              Mega
              1. 0
                Klawischnigg
                1. 0
                  Harlequin
                2. 0
                  Mega
                  1. 0
                    Harlequin
                    1. 0
                      Mega
                      1. 0
                        Klawischnigg
                        1. 0
                          Mega
                          1. 0
                            Klawischnigg
                            1. 0
                              Mega
                  2. 0
                    Daniel Thoma
                    1. 0
                      Mega
                      1. 0
                        Klawischnigg
                        1. 0
                          Mega
                          1. 0
                            Harlequin
                            1. 0
                              Daniel Thoma
                              1. 0
                                Harlequin
                                1. 0
                                  Daniel Thoma
                                  1. 0
                                    Harlequin
                                    1. 0
                                      Daniel Thoma
                                      1. 0
                                        Harlequin
                                  2. 0
                                    Mega
                                    1. 0
                                      Daniel Thoma
                                      1. 0
                                        Mega
                                        1. 0
                                          Daniel Thoma
                                          1. 0
                                            Mega
                                            1. 0
                                              Daniel Thoma
                                              1. 0
                                                Mega
                                                1. 0
                                                  Daniel Thoma
                                2. 0
                                  Mega
                          2. 0
                            Bob
                            1. 0
                              Mega
                      2. 0
                        Daniel Thoma
                        1. 0
                          Mega
          2. 0
            Klawischnigg
            1. 0
              Mega
              1. 0
                Klawischnigg
                1. 0
                  Mega
                  1. 0
                    Klawischnigg
          3. 2
            Daniel Thoma
            1. 0
              Mega
              1. 0
                Daniel Thoma
                1. 0
                  Tim Tepaße
                  1. 0
                    Daniel Thoma
                2. 0
                  Mega
                  1. 0
                    Daniel Thoma
                    1. 0
                      Mega
                      1. 0
                        Daniel Thoma
                        1. 0
                          Mega
                          1. 0
                            Daniel Thoma
                            1. 0
                              Mega
                              1. 0
                                Daniel Thoma
      2. 1
        Tom
        1. 0
          Mega
          1. 2
            Peter Lüstig
            1. 0
              suit
          2. 0
            Swen
            1. 0
              Mega
              1. 0
                Swen
                1. 0
                  Mega
                  1. 0
                    Linksetzer
                    1. 0
                      Mega
                      1. 0
                        Linksetzer
                        1. 0
                          Mega
                          1. 0
                            Swen
                            1. 0
                              Mega
                  2. 0
                    Swen
                    1. 0
                      Mega
      3. 2
        Der Martin
        1. 0
          Mega
          1. 0
            Der Martin
            1. 0
              Mega
              1. 0
                Swen
      4. 1
        Swen
        1. 0
          Mega
          1. 0
            Swen
            1. 0
              Timo
      5. 0
        Chräcker Heller
        1. 0
          Chräcker Heller
      6. 0
        Timo
        1. 0
          Harlequin
          1. 0
            Tim Tepaße
            1. 1
              Swen
              1. 0
                Harlequin
                1. 0
                  Mega
                  1. 0
                    Harlequin
                    1. 0
                      Mega
                      1. 0
                        Swen
                        1. 0
                          Mega
                      2. 0
                        Harlequin
                        1. 0
                          Mega
                          1. 0
                            Harlequin
                            1. 0
                              Mega
                  2. 0
                    Swen
              2. 0
                Stefan Münz
                1. 0
                  Swen
                2. 0
                  Mega
                  1. 0
                    Cybaer
                    1. 0
                      Mega
                      1. 1
                        Cybaer
                        1. 0
                          Mega
                  2. 0
                    Stefan Muenz
                    1. 0
                      Cybaer
                    2. 0
                      Mega
              3. 0

                APIs für Crawler

                Tim Tepaße
                • meinung
                1. 0
                  Swen
      7. 0
        bleicher
      8. 0
        Cybaer
        1. 0
          Timo
          1. 0
            Cybaer
            1. 0
              Mega
              1. 0
                Cybaer
                1. 0
                  Mega
                  1. 0
                    Cybaer
                    1. 0
                      Mega
        2. 0
          Mega
  5. 2
    Beat
    1. 0
      Timo
      1. 0
        Malcolm Beck´s