3 Fragen zu cURL.

[Themm]

Erstmal wünsche ich euch allen, vorallen denen, die bei dem Thread "Seitentitel holen" geholfen haben, ein freundliches Hallo. :D
Ich hab einen kleinen Bot prgrammiert, ich nenne in ´mal "BeispielBot" (nicht der richtige Name).
Doch folgende Fragen belasten mich ein wenig:
1. Mein Bot trägt zur Zeit noch den Namen "BeispielBot", der Googlebot weist sich so aus: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"...hmm!? Was muss/sollte ich ergänzen?
2. Wie kann man die robots.txt abfragen? Derzeit lungert der "BeispielBot" nur auf meiner eigenen Website ´rum, aber das soll ja nicht so bleiben.
3. Wie kann man mittels cURL die Letzte Änderung des Scriptes oder der Infos aus der Datenbank empfangen (und in eine Variable packen)?

[Themm]

Kleine Anmerkung:
Ich arbeite PHP cURL.
Sorry, für die Doppelpost, aber ich habe den "Editieren-Button" nicht gefunden. Ich weiß ich bin manchmal dämlich... ;)

[Der Martin]

Hi,

Sorry, für die Doppelpost, aber ich habe den "Editieren-Button" nicht gefunden.

wie kommst du auf die Idee, dass es einen solchen gäbe?

Ciao,
 Martin

[Themm]

Ach, in einigen Foren gibt es so einen, um Infos, die man nicht lange nach dem Verfassen vergessen hat, nachzuholen/-schreiben. Spart im Grunde nur Posts. ;)
Ich hoffe das war NICHT in irgendeinerweise beleidigend. :D

[Jonny 5]

Hi Themm,

Robots.txt-Parser für cURL-PHP-Bot

sieh dir doch mal den Code von bereits bestehenden PHP-Scripten, wie zB Sphider an. Bestimmt kann man aus der ein oder anderen Funktion etwas lernen (und/oder es einmal besser machen).

Man weiss ja auch noch gar nicht, welchem Zweck dein "Ungetier" später dienen soll.

Viel Erfolg,
Jonny 5

[Der Martin]

Hallo,

1. Mein Bot trägt zur Zeit noch den Namen "BeispielBot", der Googlebot weist sich so aus: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"...hmm!? Was muss/sollte ich ergänzen?

was immer du meinst, dem angesprochenen Server mitteilen zu müssen. Der User Agent ist eine völlig freie Information, die du nach Belieben festlegen kannst.

2. Wie kann man die robots.txt abfragen?

Hä? Indem man einen Request auf exakt diese Ressource abfeuert, die Antwort auf fehlerfreies Gelingen überprüft und dann die empfangenen Daten analysiert.

3. Wie kann man mittels cURL die Letzte Änderung des Scriptes oder der Infos aus der Datenbank empfangen (und in eine Variable packen)?

Gar nicht. Du kannst den HTTP-Header "Date" auswerten, aber welches Datum dir der Server darin mitteilt, weißt du auch nicht. Es kann ein vom Autor festgelegtes Datum sein, oder pauschal immer das Datum des Requests, oder auch das letzte Änderungsdatum der angefragten Ressource.

Du solltest dich eventuell noch ein wenig mit den Basics von HTTP auseinandersetzen, dann ergeben sich solche Fragen von selbst.

Ciao,
 Martin

[Themm]

Vielen, vielen Dank.
Dass es zu 1. keine Vorschriften gibt wundert mich...ist aber nur gut für mich :) .

PS: Kann/darf man auch einen Thread eröffnen, nur um diese Website zu loben? So langsam liegt das mir echt auf dem Herzen.