hallo
Die besseren Tipps kriegst Du von Google. Suche den Dialog mit denen und dann lernst Du auch den richtigen Umgang mit der robots.txt Datei.
Der relevante Tipp von Google lautet, dass Google den robots.txt nicht berücksichtigen wird, wenn die Ressource von einer 3rd-party genannt wird.