wie kann ich EXTERNE Suchmaschine(n) auf eine Site einbauen?
Boris
Moin Forum!
Tja, ich hab‚ jetzt meinen Aufgabenbereich zugewiesen bekommen bei der anstehenden Neuauflage unserer Website, und daher ergeben sich jetzt schonmal die ersten Fragen... die meisten kann ich vermutlich selber lösen, aber für DIESES Problem hab‚ ich noch nichtmal einen Ansatzpunkt...
Also, es soll auf unserer Seite ein Suchformular bereitgestellt werden, das die Daten dann, an irgendwelche Suchmaschinen übermittelt, und am Ende sollen die Ergebnisse auf UNSERER Seite ausgegeben werden. Geht das? Hat das eine(r) von euch schon mal gemacht? Gibts da vielleicht sogar schon fertige, frei verfügbare Lösungen, die ich klauen kann ? Gebt mir doch mal `nen Anhaltspunkt!
tausend Dank!
(übrigens: [just in case] die Forumssuche hab‚ ich natürlich auch schon bemüht... )
Grüße entbietet:
Boris
Schau mal auf http://www.searchcode.de vorbei. Da findest Du den passenden Code zu 410 Suchmaschinen. Reicht das fürs erste?
Allerdings sind die Suchmaschinenergebnisse alle die original Seiten der Suchmaschinen. Wenn ich Deinen Text richtig verstanden habe, willst Du eine Metasuchmaschine bauen, oder? Dann mußt Du Dich wohl mal direkt an die Suchmaschinen wenden, da wirst Du (zumindest habe ich sowas noch nicht gefunden, und ich habe schon viel nach Suchmaschinen gesucht, glaub mir) wohl kaum fertige Sachen finden.
Ron
(Webmeischter von Searchcode.de)
Hallole Ron!
Schau mal auf http://www.searchcode.de vorbei. Da findest Du den passenden Code zu 410 Suchmaschinen. Reicht das fürs erste?
theoretisch mehr als "Ja", praktisch gibst du dir die Antwort mit dem nächsten Absatz selber =v)
Allerdings sind die Suchmaschinenergebnisse alle die original Seiten der Suchmaschinen. Wenn ich Deinen Text richtig verstanden habe, willst Du eine Metasuchmaschine bauen, oder?
Richtig. Genauso soll das sein.
Dann mußt Du Dich wohl mal direkt an die Suchmaschinen wenden, da wirst Du (zumindest habe ich sowas noch nicht gefunden, und ich habe schon viel nach Suchmaschinen gesucht, glaub mir) wohl kaum fertige Sachen finden.
tausend Dank, werd ich vielleicht mal machen... aber... ob die da mitmachen, die Suchmaschinen ?
Gruß
Boris
Schau mal auf http://www.searchcode.de vorbei. Da findest Du den passenden Code zu 410 Suchmaschinen. Reicht das fürs erste?
theoretisch mehr als "Ja", praktisch gibst du dir die Antwort mit dem nächsten Absatz selber =v)
Aber den dort beschriebenen Anschlußcode brauchst Du auch für die Metasuchmaschine.
tausend Dank, werd ich vielleicht mal machen... aber... ob die da mitmachen, die Suchmaschinen ?
Ganz grob skizziert:
Deine Metasuchmaschine wird versuchen, den ihr übergebenen Suchstring logisch zu zerlegen und dann pro von ihr aufzurufender konkreter Suchmaschine
1. die entsprechende URL für den Aufruf mit passenden Parametern zu erzeugen (siehe oben),
2. mittels LWP::Simple::get($url) das Antwortdokument dieser URL abzusaugen,
3. (mittels einem eigenen Modul pro Suchmaschine) dieses Ergebnisdokument jeweils zu parsen und in eine abstrakte, suchmaschinenunabhängige Form zu übersetzen und
4. sämtliche Ergebnisse der einzelnen Suchmaschinen in einer gemeinsamen Datenstruktur abzulegen, aus der dann Deine Gesamt-Ergebnisseite generiert werden kann.
Ganz zu schweigen davon, daß Du ggf. ein aufwendigeres Prozeßmodell realisieren mußt, um diese Suche nicht sequentiell, sondern parallel durchzuführen (ansonsten schläft der Besucher ein, bevor Du die Ergebnisse von 20 Suchmaschinen eingesammelt hast).
Alles in allem kein wirklich kleines Unternehmen. Das Spannendste ist meiner Meinung nach das Prozeßmodell; das Lästigste ist, daß Du die vielen Module für die einzelnen Suchmaschinen-Ergebnisparser ständig warten mußt, wann immer eine Suchmaschine auf die Idee kommt, das Layout ihrer Ergebnisseite zu ändern ... nein, *ich* möchte keine Metasuchmaschine betreiben müssen ...
Alles in allem kein wirklich kleines Unternehmen. Das Spannendste ist meiner Meinung nach das Prozeßmodell; das Lästigste ist, daß Du die vielen Module für die einzelnen Suchmaschinen-Ergebnisparser ständig warten mußt, wann immer eine Suchmaschine auf die Idee kommt, das Layout ihrer Ergebnisseite zu ändern ... nein, *ich* möchte keine Metasuchmaschine betreiben müssen ...
Naja, also so oft kommt das ja nun auch nicht vor. Bei den 410 Suchmaschinen, die da auf Searchcode.de verwaltet werden, ändern sich im Schnitt etwa 3 pro Monat, von denen ich etwas mitbekomme. Sagen wir grob, es sind insgesamt 5.
Das würde bedeuten, daß sich bei einer Metasuchmaschine mit 20 Suchmaschinen im Schnitt alle 4 Monate ein Code ändert. Das ist doch machbar, oder?
Ron
Sagen wir grob, es sind insgesamt 5.
Das würde bedeuten, daß sich bei einer Metasuchmaschine mit 20 Suchmaschinen im Schnitt alle 4 Monate ein Code ändert. Das ist doch machbar, oder?
Was "machbar" ist, das hängt vom verfügbaren Budget ab.
Die Tatsache, daß sich ständig etwas ändern kann und man den Parser nicht in Nullzeit anpassen kann, bedeutet aber, daß man auch noch besonders defensiv programmieren muß, damit die schöne Metasuchmaschine nicht von einer einzigen Änderung lahmgelegt wird - der Programmierer könnte ja gerade mal vier Wochen in Urlaub sein ...