Suchmaschine bauen

[Christian]

Hallo,

Ich muss eine Suchmaschine bauen. Nicht für einen Rechner oder eine Webseite sondern fürs Internet wie Google.

Ein Linkverzeichnis welches sich aus Einträgen die per Hand angelegt werden und welche die durch Absuchen des Internets nach diversen Meta Keywords erfasst werden.

Z.B. soll die Suchmaschine auf eine Seite angesetzt die Verschiedenen Links weitergehen und die jeweiligen Meta Daten beim Surfen durchs Web abgrasen und bei Keyword Treffern die Seite in eine mySQL Datenbank eintragen.

Es klingt zwar komisch, gebe ich zu, aber ich muss die Suchmaschine speziell auf ein Themengebiet begrenzen. Es geht nicht um Porno oder so was, sondern um einen engen Bereich aus der Medienbranche der eingrenzbar ist.

Stellt Euch vor man könnte der Suchmaschinen Engine, also dem Teil der die Daten sammelt, sagen: Suche nach DV Kameras von SONY auf deutschen Seiten. Und die Engine findet 8000 Seiten, trägt jeden Link dazu und ein paar andere Daten (Titel, Datum, die 250 ersten Zeichen) in die mySQL Datenbank ein. So was stelle ich mir vor.

Könnt Ihr mir einen Tipp geben ob so was überhaupt machbar ist ? Ist so was rechtlich zulässig ? Kann man das mit einen normalen PC und einen PHP Script das einigen Stunden am Tag läuft bewerkstelligen ?

Ich weis nicht wie Suchmaschinen ala Google im Detail funktionieren.

Besten Dank für Hinweise

Christian

[WauWau]

Hi,

Ich muss eine Suchmaschine bauen. Nicht für einen Rechner oder eine Webseite sondern fürs Internet wie Google.

*lol* - schon wenn man nicht weiterlesen würde wäre das lustig genug für heute abend (erst mal). Guter witz!

Stellt Euch vor man könnte der Suchmaschinen Engine, also dem Teil der die Daten sammelt, sagen: Suche nach DV Kameras von SONY auf deutschen Seiten. Und die Engine findet 8000 Seiten, trägt jeden Link dazu und ein paar andere Daten (Titel, Datum, die 250 ersten Zeichen) in die mySQL Datenbank ein. So was stelle ich mir vor.

... in eine mySQL-Datenbank willst du was schreiben, was mit Google mithalten soll. Auch wenns "nur" 8000 Seiten sind, was verdammt, verdammt wenig sind, platzt da deine mysql-db aus allen nähten. Sprich: Du brauchst was besseres.

Könnt Ihr mir einen Tipp geben ob so was überhaupt machbar ist ? Ist so was rechtlich zulässig ? Kann man das mit einen normalen PC und einen PHP Script das einigen Stunden am Tag läuft bewerkstelligen ?

*lol*lol*lol*lol*lol******rofl*rofl*rofl*rofl*rofl*rofl*********loooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooolllll*** Man ist das witzig!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

Sorry, aber mit nem PHP-Script kannst du keine Suchmaschiene bauen. Und vor allem nicht von nem "normalen PC". und dann nicht mal in "einigen stunden am tag"!!!

Also, ich würde dir raten: schlage dir deinen Gedanken einfach wieder aus dem kopf. Eine Suchmaschiene, die das internet durchsucht, sprich "robot" - kann unmöglich eine CGI-Anwendung für einen server sein. Du brauchst ein eigenständiges Programm, was du irgendwo losschickst, ..... dann brauchst du einen verdammt schnellen server mit ner gigantischen festplatte, ach, nehm einfach das gesamte Rechenzentrum in K703/4/5/6/7 im Industr.-Park-Höchst...

So, und anschließend musst du das alles deinen besuchern präsentieren. Schlage dir das einfach aus dem kopf - du bist dem anschein nach kein profi (ich auch nicht, aber ich würde nie auf so eine idee kommen) - und würdest nicht mal über die nötige software verfügen - geschweige denn hardware.

WauWau

[TomIRL]

WauWau
Ich lese Deine Threads seid einigen Tagen,
Irgendwie werde ich das Gefühl nicht los, dass hinter Dir unser allseits beliebter Sir Bambel steckt.
Soe ien gewisse Mischung aus Halbwissen und naja...
Es ist ja Freitag und bald Wochenende.
TomIRL

[WauWau]

Hi,

Ich lese Deine Threads seid einigen Tagen,

das ist schon mal gar nicht schlecht...

Irgendwie werde ich das Gefühl nicht los, dass hinter Dir unser allseits beliebter Sir Bambel steckt.

...wie sich auch schon "allerseits" herausgestellt hat. Ja, ich bin der, der vor einiger Zeit ein lustiges Thread eröffnet hatten, dass viele komischerweise nicht so lustig fanden. [Wer's nicht kennt: einfach nach "Kaiser Friedrich Bambel" o.ä. suchen] ***[Fußnote]***

Soe ien gewisse Mischung aus Halbwissen und naja...

... "naja", genau richtig. Wie ich doch - sofern ich mich erinnern kann - in meinem posting geschrieben habe, bin ich nicht selbst im begriff, etwa suchmaschienen zu programmieren und war mir auch über den Aufbau von Google nicht im klaren. Doch ich habe hier dann auch gelesen, dass Google ein speziell entwickeltes System hat, also alles in Textdateien speichert und nicht etwa in Datenbanken.

Ferner kann ich natürlich auch nicht mehr über Suchmaschinen und ihre Art und Weise zu arbeiten (mehr im detail gesehen) sagen, aber eins ist definitiv klar: Es geht bestimmt _nicht_ mit PHP und ner MySQL-DB in ein paar Sekunden auf'm lokalen Computer.

Wenn du das mit "halbwissen" sagen willst, hast du recht, wenn du sonst noch was an mir kritisieren willst, kannst du mich auch per E-Mail erreichen.

Es ist ja Freitag und bald Wochenende.

Ja, und das ist auch gut so! Aber was hat das mit dem zu tun, was du oben geschrieben hast?

WauWau

->Fußnote & PS: Wenn du wüsstest, wer ich _wirklich_ bin, du würdest große Augen machen ... ;-)

[TomIRL]

Moin

->Fußnote & PS: Wenn du wüsstest, wer ich _wirklich_ bin, du würdest große Augen machen ... ;-)

Das glaube ich nicht, ich bin von sehr wenigen Leuten so beeindruckt dass ich große Augen mache.

TomIRL

[WauWau]

Hi TomIRL,

->Fußnote & PS: Wenn du wüsstest, wer ich _wirklich_ bin, du würdest große Augen machen ... ;-)
Das glaube ich nicht, ich bin von sehr wenigen Leuten so beeindruckt dass ich große Augen mache.

Hmm, dann kannst du sie bestimmt an einer Hand aufzählen und hier hinschreiben. und ... hmmm - du kennst mich, ich habe gerade eines meiner schlimmen, ____schlimmen____ threads nachgeschaut, dort hast du auch einmal gepostet - also: du kennst mich bzw. so, wie ich früher mal war.

Aber ich bin ja immerwährend hier - seit jahren, für alle, die's genau wissen wollen. Meine Usernamen haben sich in letzter Zeit verdammt schnell geändert, die charakter, die mit diesen Namen gekommen sind, sind wie die namen gekommen und gekangen, aber mit "WauWau" kann ich mich ganz gut anfreunden, und das scheint was längeres zu sein, "Bambel" dürfte es bestimmt überschreiten - und hoffentlich auch noch länger ;-) - aber das liegt ja auch ein klitzekleines bisschen an mir ;-)

WauWau

PS: Wenn du schön artig alles mitverfolgen würdest, also auch selfchat hättest du schon mal 3 bedeutende namen von mir heraus. Und gaaanz vielleicht kommt man hinter einen vierten, der momentan immer noch in benutztung ist - er hat im wahrsten sinne des wortes schon viele andere überlebt.