Michael Schröpl: Content Negotiation über den UserAgent

Beitrag lesen

Hallo Stefan,

der Googlebot bekommt. Lustig ist, dass Google selbst für einige
Programme einen 403 ausliefert, so z.Bsp. für Xenu. Habe ich zu-
fällig entdeckt, als ich die Links auf Favicon.de gecheckt habe.

die Google-Crawler-Truppe und die Google-Frontend-Gruppe scheinen überhaupt wenig voneinander zu wissen: Das Frontend liefert Seiten gzip-komprimiert aus, aber der Crawler versteht keine komprimierten Seiten ... dabei könnte er selbst viel schneller crawlen, wenn er das täte ...

Viele Grüße
      Michael
(bei dem der GoogleBot für bestimmte Teil-Projekte die Browser-Statistk anführt, vor dem M$IE!)

--
T'Pol: I apologize if I acted inappropriately.
V'Lar: Not at all. In fact, your bluntness made me reconsider some of my positions. Much as it has now.
(sh:| fo:} ch:] rl:( br:^ n4:( ie:% mo:) va:| de:/ zu:| fl:( ss:) ls:~ js:|)
Auch diese Signatur wird an korrekt konfigurierte Browser gzip-komprimiert übertragen.