Hallo lach,
du hast dich doch bisher nicht darauf verlassen, dass der Referrer immer richtig ist?
Wenn der Client ein "normaler" Browser ist, dürfte das zwar meistens stimmen, obwohl es auch diverse Software-Firewalls für Windows gibt, die den Referrer entweder ganz unterdrücken oder modifizieren.
Aber sobald ich mit einer selbstgeschriebenen Software ankomme und per HTTP eine Ressource anfordere, muss ich solche Angaben (Referrer, User Agent) selbst eintragen. Und dann kann ich da angeben, was mir gerade Spaß macht.
Daraus folgt, dass auch die Robots hier beliebige Angaben machen können, die nicht immer zutreffen müssen.
By the way, die meisten "seriösen" Robots hinterlassen *gar keinen* Referrer in meinem Log.
Hope that helps,
Martin