robots.txt wird von Google ignoriert

[Alex]

Hi!

Dann erstelle ich die subdomain
kundeA.example.org, die auf obiges Verz. verweist.

Es existiert eine robots.txt im root mit folgendem Inhalt:

User-Agent: *

Allow: /
Disallow: /kunden/

User-agent: Googlebot
Disallow: /*.xml$

  
In welchem Root? In dem von example.org?  
Wenn ein Bot auf kundeA.example.org geht, wird er vermutlich nicht example.org/robots.txt anfragen, sondern kundeA.example.org/robots.txt, und die existiert nicht (ob die Vermutung stimmt, lässt sich anhand der Serverlogs rausfinden, da müssen ja dann entsprechende 404er drinstehen).  
Außerdem sieht er, wenn er auf kundeA.example.org ist, ja gar kein /kunden/, sondern wähnt sich im Root (der Subdomain), also trifft das Allow zu und nicht das Disallow.  
  
Ich würde an Deiner Stelle eine zweite robots.txt in den Kundenordner mit reinlegen und da  
Disallow: /  
reinschreiben, das sollte eigentlich helfen.  
  
Viele Grüße,  
Alexander