Web-Bots

[Reiner]

Hallo,

ich möchte einen einfachen Webcrawler schreiben. Der soll Material zu bestimmten Themen aus dem WWW ziehen. Datenhaltung erfolgt mit dem MSSQL-Server.

Fragen:

• Wo gibt es Beispielcode/Freeware-Bots ?
• Was ist zu beachten?     :-)
• Wie darf die Maschine, auf dem das Ding laufen wird, dimensioniert sein?
• Bandbreite? 2MegBit OK?

Ich hab' leider keine Ahnung; ist alles für mich Neuland.

ich arbeite seit ca. einem Jahr an der Entwicklung von Ideen und entdecke noch immer etwas, was ich bisher nicht gesehen habe. Bin aber schon sehr weit.
Den Quellcode möchte ich nicht rausgeben, aber wie sowas im Grunde funktionieren kann, könnte ich mal beschreiben.
Im Grunde reicht ein Modem, wenn Du genug Zeit hast... :-)
2Mbit ist mehr als ausreichend!!!

Reiner