Michael Schröpl: Parallelsuche in mehreren Suchmaschinen

Beitrag lesen

bitte erlaubt noch eine Anfaengerfrage:

Aber gerne doch ...

Wie stelle ich es an, auf meiner Homepage eine (Meta?)Suchroutine zu installieren, die gleichzeitig in mehreren Suchmaschinen nachforscht?

Darfst Du auf Deiner Homepage CGI-Skripts ausführen? Damit geht es schon mal los.

Ein CGI-Skript zu schreiben, das (beispielsweise über den Perl-Modul "LWP::Simple" mit der get()-Funktion) mehrere URLs "absaugt" - jede Suchmaschinenanfrage läßt sich ja als URL darstellen - ist dabei noch das kleinere Problem.
Dafür mußt Du im Wesentlichen die Syntax der URLs der von Dir zu bearbeitenden Suchmaschinen verstehen, inklusive ihrer Meta-Operatoren wie AND und OR - selbige werden zwischen verschiedenen Suchmaschinen nämlich nicht immer kompatibel sein. Es kann vorkommen, daß Du eine Anfrage auf verschiedene Suchmaschinen unterschiedlich abbilden mußt - das hängt natürlich davon ab, welche Meta-Operatoren Du selbst anbieten willst.

Der richtig spannende Punkt bei einer Metasuchmaschine ist dann aber,

  • die pro Suchmaschine unterschiedlich formatierten Ergebnisse zu analysieren und in ein einheitliches Ausgabeformat umzusetzen,
  • die wahrscheinlich unterschiedlichen Bewertungsmethoden ("97% relevant" usw.) in ein gemeinsames Koordinatensystem zu übersetzen und
  • Duplikat-Treffer zusammenzufassen (und deren "Gewicht" irgendwie zu akkumulieren und nach dem modifizierten Gewicht alles neu zu sortieren usw.)

Das alles sollte eine wirklich brauchbare Metasuchmaschine können - reines Hintereinanderdrucken der Treffer mehrerer Suchmaschinen nützt ziemlich wenig und würde bei Deinen Besuchern nur Enttäuschung hervorrufen.
Das ist keine Fingerübung für nebenher ...