Web-Bots

[Lude]

Hallo,

ich möchte einen einfachen Webcrawler schreiben. Der soll Material zu bestimmten Themen aus dem WWW ziehen. Datenhaltung erfolgt mit dem MSSQL-Server.

Fragen:

• Wo gibt es Beispielcode/Freeware-Bots ?
• Was ist zu beachten?     :-)
• Wie darf die Maschine, auf dem das Ding laufen wird, dimensioniert sein?
• Bandbreite? 2MegBit OK?

Ich hab' leider keine Ahnung; ist alles für mich Neuland.

Gruss,
Lude