Hi,
Das Ganze soll wissenschaftlich vorgehen, muss also auch dokumentierbar sein. Insb. muessen die gewonnenen Erkenntnisse nachvollziehbar sein.
ich verstehe nicht, was daran eine Wissenschaft sein soll/muß.
Zunächst ist es wichtig, daß man es einem Robot nicht zu schwer macht. Links über JavaScript sind z.B. schlecht.
Das betrifft den Crawler. (Testen kannst Du das techn. z.B. mit http://www.w3sitesearch.de oder wget.
Inwiefern Du eine gute Position bekommst ist aber eine andere Frage.
Ich empfehle, sich gar nicht zuviele Gedanken über die Technik zu machen. Baue einfach eine inhaltlich interessante Seite, die sich auch textlich abhebt. Der Rest kommt von alleine.
Gruß
Reiner