Erstmal wünsche ich euch allen, vorallen denen, die bei dem Thread "Seitentitel holen" geholfen haben, ein freundliches Hallo. :D
Ich hab einen kleinen Bot prgrammiert, ich nenne in ´mal "BeispielBot" (nicht der richtige Name).
Doch folgende Fragen belasten mich ein wenig:
1. Mein Bot trägt zur Zeit noch den Namen "BeispielBot", der Googlebot weist sich so aus: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"...hmm!? Was muss/sollte ich ergänzen?
2. Wie kann man die robots.txt abfragen? Derzeit lungert der "BeispielBot" nur auf meiner eigenen Website ´rum, aber das soll ja nicht so bleiben.
3. Wie kann man mittels cURL die Letzte Änderung des Scriptes oder der Infos aus der Datenbank empfangen (und in eine Variable packen)?