Hannes: Baiduspider

Beitrag lesen

Hallo,

"Baiduspider"

Hat jemand eine Idee, was sich dahinter verbirgt? Offensichtlich handelt es sich um eine chinesische Suchmaschine.

nicht eine, Baidu ist für China das, was Google in der westlichen Hemisphäre ist.

Aber warum lädt sie nur die Startseite

Vielleicht interessieren die sich noch nicht so sehr für deutsche Seiten und grasen erstmal nur die oberste Schicht ab.

und warum so oft. Für die robots.txt scheint sie sich nicht zu interessieren.

Vielleicht ist's auch nur ein amoklaufender Adressammelbot.

Gruß, Hannes.