nicht angemeldet
hallo allerseits,
in meinen logfiles taucht immer mal wieder foldende identifikation auf:
crawler10.googlebot.com
crawler11.googlebot.com
usw.
ich hab dies immer als den besuch eines google-robots/spiders interpretiert. so weit, so gut. mein problem aber ist: das teil kommt nie weiter als bis zur ersten seite. obwohl diese mit einer weiteren seite (und diese dann wiederum mit ganz vielen) verlinkt ist. folglich verlinkt google bei mir nicht auf neue, aber auf z.t. schon ein paar monate lang nicht mehr existierende seiten. auf http://www.google.de/intl/de/addurl.html steht, dass es keines eintrages in den metha-angaben oder in der robot.txt-datei bedarf, um die domain bei google upgadatet zu halten. dies geschehe ca. einmal monatlich von alleine (eben durch die googlebots). meine frage:
kennst sich jemand mit google-bots aus? mach ich irgendwas falsch bzw. kann ich es besser machen? oder entsprechen die aussagen von google einfach nicht der wahrheit?
ich freu mich über antworten
schö stefan
ps: http://www.your-boredom.de ist besagte domain