allerdings muss ich dann immer noch diese Liste mit den zu durchsuchenden seiten pflegen.
musst du ansich auch nicht, du kannst diese liste ja selbst dynamisch ermitteln - diese liste nennt sich dann "sitemap" - am besten stellst du diese gleich in einem entsprechenden format bereit welches einerseits suchmaschinen nutzen können und andererseits du selbst für deine eigene suche nutzt - damit schlägst du zwei fliegen mit einer klappe