nicht angemeldet
Meta-Suchmaschine selbst bauen
Hallo,
es gibt bereits zahlreiche Meta-Suchmaschinen im Netz. Ich möchte auch noch eine basteln - nicht in der Hoffnung, dass meine die allerbeste & -schönste wird, nein, einfach zum Spass.
Jetzt aber meine Frage:
Wie beziehen die dztigen Meta-Suchmaschinen ihre Daten und werden da nicht die großen Suchmaschinen bösen, falls das ganze "illegal geliehen" wird?.
Kennt jemand eine Linktipp, wo man sich über die Bauweise und Funktionsweise von Meta-Suchmaschinen informieren kann?
lg,
Roli
-
Hi,
es gibt bereits zahlreiche Meta-Suchmaschinen im Netz. Ich möchte auch noch eine basteln - nicht in der Hoffnung, dass meine die allerbeste & -schönste wird, nein, einfach zum Spass.
wollte ich auch mal.
Jetzt aber meine Frage:
Wie beziehen die dztigen Meta-Suchmaschinen ihre Daten und werden da nicht die großen Suchmaschinen bösen, falls das ganze "illegal geliehen" wird?.Ganz einfach, der Rechner, auf dem das Ding laeuft, tritt permanent als http-Client auf. Dazu nimmst Du ein browseraehnliches Modul aus der Bibliothek Deiner bevorzugten Entwicklungsumgebung. 'Perl' waere z.B. geeignet und nennt das o.g. Ding 'user agent'. 'ASP' von M$ kennt da http-Objekte. 'PHP' und andere serverseitige Logik wird da nicht zurueckstehen.
Das Ding erhaelt dann html-Daten, die es parsen muss, um weitere http-Refereneen zu erhalten. Parallel dazu durchkaemmt es den Code und fuettert seine Datenhaltung.
Gruss,
Lude-
Hallo,
Ganz einfach, der Rechner, auf dem das Ding laeuft, tritt permanent als http-Client auf. Dazu nimmst Du ein browseraehnliches Modul aus der Bibliothek Deiner bevorzugten Entwicklungsumgebung. 'Perl' waere z.B. geeignet und nennt das o.g. Ding 'user agent'. 'ASP' von M$ kennt da http-Objekte. 'PHP' und andere serverseitige Logik wird da nicht zurueckstehen.
Das Ding erhaelt dann html-Daten, die es parsen muss, um weitere http-Refereneen zu erhalten. Parallel dazu durchkaemmt es den Code und fuettert seine Datenhaltung.
so habe ich es mir auch gedacht - aber ist das nicht illegal, wenn ich einfach von denen Content "abzwacke" und ihn mir zu eigen mache?
lg,
Innuendo-
Hi,
so habe ich es mir auch gedacht - aber ist das nicht illegal, wenn ich einfach von denen Content "abzwacke" und ihn mir zu eigen mache?
kommt darauf an, was Du Dir zu eigen machen wuerdest. Der http-Request an und fuer sich ist aber zulaessig und wohl auch beabsichtigt.
Gruss,
Lude-
Salut,
kommt darauf an, was Du Dir zu eigen machen wuerdest. Der http-Request an und fuer sich ist aber zulaessig und wohl auch beabsichtigt.
wenn ich fremde Ergebnisse auf meiner Seite ausgebe ist das nicht gerade eine feine Sache.
Wäre ähnlich, wie wenn ich die Artikel vom Spiegel.de auf meiner Seite veröffentlichen würde, auch wenn ich darunter die Quelle Spiegel.de hinschreibe.
oder?
Roli
-
Hallo
wenn ich fremde Ergebnisse auf meiner Seite ausgebe ist das nicht gerade eine feine Sache.
Was willst du dann machen? Ist ja wohl ne Eigenart einer *Meta*-Suchmaschine, dass sie Treffer von anderen Suchmaschinen auflistet. Oder nicht?
Gruss,
Daniel-
Bon Soir,
Was willst du dann machen? Ist ja wohl ne Eigenart einer *Meta*-Suchmaschine, dass sie Treffer von anderen Suchmaschinen auflistet. Oder nicht?
Ist mir schon klar, aber ich dachte mir, dass hier gewissermaßen hier Baukästen von den Suchmaschinen vorhanden sind, aber dass hier ganz einfach http-Request verwendet werden ist mir doch ein wenig ungeheuerlich.
Was ist, wenn mich ein Suchmaschinen-Betreiber abmahnt, weil ich seine Ergebnisse stehle? Ich denke, dass das nicht so "easy" und locker zu sehen ist, oder habe ich nur Schiss?
Roli
-
Hallo Roli,
aber dass hier ganz einfach http-Request verwendet werden ist mir doch ein
wenig ungeheuerlich.Google zum Beispiel bietet einen speziellen Zugang für externe Programme
an. Dieser ist übrigens auch über HTTP-Request realisiert, aber in einem
datenfreundlicheren Format als HTML.
(http://www.google.com/apis/)Was ist, wenn mich ein Suchmaschinen-Betreiber abmahnt, weil ich seine
Ergebnisse stehle? Ich denke, dass das nicht so "easy" und locker zu sehen
ist, oder habe ich nur Schiss?Du hast meiner Meinung nach zu Recht Schiss. Google öffnet seine API auch
nur für die private, nicht kommerzielle Nutzung. Schließlich gehört es zum
Geschäftsmodell von Google Suchmaschine samt Index zu vermieten. Wenn ich
Deine Idee verwirklichen würde, dann erstmal nur im stillen Kämmerlein für
die eigene Nutzung.Tim
-
-
-
-
-
-