trotz Eintrag in .htaccess mal 301 mal 404

[astera]

Hallo,
folgendes Prob.
Ich führe einen Wordpress-Blog. Habe dort die Permalinkstruktur von ehemals /category und /tag auf ein keyword für die Kategorien und Tags gelenkt.
Das sieht so aus:
Redirect permanent /category http://kuchen-web.de/kuchenrezept
Redirect permanent /tag http://kuchen-web.de/kuchenrezepte

Zusätzlich habe ich ein Plugin installiert, dass mir eventuelle 404 Meldungen per Mail schickt (404-notifier).

Jetzt bekomme ich von diesem Plugin Mails, die mich informieren, das 404 Aufrufe stattgefunden haben.

404 Report - a file not found error was registered on your site.
404 URL:     http://www.kochstube-web.de/tag/vegetarisch/
Referred by:
User Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Wenn ich die URL: http://www.kochstube-web.de/tag/vegetarisch/ im Browser eingebe, wird korrekt umgelenkt, d.h. die .htaccess "zieht".

Mit dem Web-Sniffer (web-sniffer.net) habe ich dann den Google-Bot simuliert und festgestellt, dass dieser eigentlich auch 301 generieren würden, wenn er mit "with host header" agieren würde. Mit der Einstellung "without host header" wird eine 404 erzeugt.
Kann mir das bitte jemand (laienhaft) erklären und wie kann ich das auch für den google-bot "without host header" hinbekommen?

Lieben Dank
astera

[ChrisB]

Hi,

Wenn ich die URL: http://www.kochstube-web.de/tag/vegetarisch/ im Browser eingebe, wird korrekt umgelenkt, d.h. die .htaccess "zieht".

Mit dem Web-Sniffer (web-sniffer.net) habe ich dann den Google-Bot simuliert und festgestellt, dass dieser eigentlich auch 301 generieren würden, wenn er mit "with host header" agieren würde. Mit der Einstellung "without host header" wird eine 404 erzeugt.
Kann mir das bitte jemand (laienhaft) erklären

Ein Domainname muss erst in eine IP-Adresse "übersetzt" werden, damit der Client eine Anfrage an den Server stellen kann; das macht das DNS, Domain Name System. Domainnamen sind nur etwas, was dem System übergestülpt wurde, weil sie für uns Menschen nun mal leichert zu merken sind und mehr aussagen, als blosse Ziffernfolgen.

Liegt auf einem Webserver jetzt nur eine Domain, dann braucht der Client nur eine Anfrage an die IP-Adresse zu stellen, und bekommt die Daten, die er haben wollte.
Bei "Shared Hosting" angeboten liegen nun aber viele verschiedene Websites (also verschiedene Domains) auf einem Server, und "teilen" sich eine IP.
Wenn der Client jetzt eine Anfrage an die IP stellt, dann weiss der Server zunächst mal nicht, welche der Domains der Client denn nun eigentlich meint.
Also gibt der Client im "Host Header" seiner Anfrage auch noch den Domainnamen mit - damit weiss der Server dann, an welchem der vielen Webangebote, die er über eine IP bereitstellt, der Client interessiert ist.

Das ist ähnlich, als wenn du telefonierst. Wenn deine Gesprächspartner alleine wohnt (oder ein Handy nutzt), dann bekommst du ihn "an die Strippe", wenn du die Telefonnummer anrufst.
Rufst du jedoch in der Zentrale einer grossen Firma an - dann musst du auch dazu sagen, dass du gerne Herrn Meier sprechen willst, um ihn an den Apparat zu bekommen.

und wie kann ich das auch für den google-bot "without host header" hinbekommen?

Der sollte eigentlich gar keine solchen Anfragen stellen. Google weiss um oben beschriebenes Szenario, und wird deshalb einen Host Header mitsenden, wenn es an Inhalten von einer bestimmten Domain interessiert ist.
Es ist aber denkbar, dass der auch mal zum Test solche Anfragen sendet, um zu schauen, wie der Server reagiert.

MfG ChrisB

[astera]

Hallo ChrisB,

klasse erklärt, Danke - verstanden ;-).
Also entweder einen dedizierten Server nutzen oder die 404er einfach ignorieren? Ich habe nur Angst, dass Google auf Grund vieler 404er die Seite negativer einstuft.
Gibt es eine Möglichkeit genau zu erfahren, wie der Google-Bot oder z.B. auch der Yahoo Slurp die Seite ausliest? Ich vermute ja nur, dass er ohne Host Header liest, weil nur da eine 404 beim web-sniffer kommt.

User Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

oder

User Agent: Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

LG
astera

[ChrisB]

Hi,

Also entweder einen dedizierten Server nutzen oder die 404er einfach ignorieren? Ich habe nur Angst, dass Google auf Grund vieler 404er die Seite negativer einstuft.

Meld' dich und deine Seite bei den Webmaster-Tools von Google an - da sagt dir Google auch, welche 404-Fehler es ggf. wo auf deiner Seite erhalten hat.
Dann kann man schon eher beurteilen, ob das ggf. wirklich ein Problem darstellen könnte, oder zu vernachlässigen ist.

MfG ChrisB