nicht angemeldet
wie robot.txt einbinden?
0 0 0 0 
Matthias Apsel
0 0 0 
Der Martin
wie robot.txt einbinden?
AugeGuten Tag,
Für eine Idee wäre ich dankbar:
Ich möchte eine robots.txt in eine index.htm einbinden, weiß aber nicht wie (es soll ja kein anklickbarer link auf der webseite erscheinen) und wo (head oder body?)
Das hier im header: <link href="robots.txt"/> hat nicht funktioniert
Gruß,
Aki
-
PS.: ein Test mit http://de.onpage.org/free-tools/robots-txt/ ergab dass Google meine Webseite nun eigentlich nicht mehr finden dürfte. Kann es sein dass die Suchmaschinen nicht sofort reagieren?
-
Hallo
PS.: ein Test mit http://de.onpage.org/free-tools/robots-txt/ ergab dass Google meine Webseite nun eigentlich nicht mehr finden dürfte. Kann es sein dass die Suchmaschinen nicht sofort reagieren?
Ja natürlich. Die Suchmaschinen bekommen ja nicht instantan mit, wenn auf irgendeiner von mittlerweile wohl hunderten Millionen wenn nicht gar Milliarden Websites eine robots.txt angelegt oder geändert wird. Die robots.txt wird dann zur Kenntnis genommen, wenn die Robots auf deiner Seite vorbeikommen. Das kann dann, je nach Dienst, auch erst nach ein paar Wochen sein.
Tschö, Auge
--
Verschiedene Glocken läuteten in der Stadt, und jede von ihnen vertrat eine ganz persönliche Meinung darüber, wann es Mitternacht war.
Terry Pratchett, "Wachen! Wachen!"
ie:{ fl:| br:> va:) ls:[ fo:) rl:( ss:| de:> js:| zu:}
Veranstaltungsdatenbank Vdb 0.3-
Die Suchmaschinen bekommen ja nicht instantan mit, wenn auf irgendeiner von mittlerweile wohl hunderten Millionen wenn nicht gar Milliarden Websites eine robots.txt angelegt oder geändert wird. Die robots.txt wird dann zur Kenntnis genommen, wenn die Robots auf deiner Seite vorbeikommen. Das kann dann, je nach Dienst, auch erst nach ein paar Wochen sein.
Ach so. Ich dachte dass "Suchmaschine" und "Robot" das gleich sind, und die Webseite bei jeder Suche neu abgeklopft wird.
D.h. um zu prüfen ob sie tatsächlich nicht mehr gefunden wird, muss ich tatsächlich wie oben beschrieben z.B. http://de.onpage.org/free-tools/robots-txt/ dafür nutzen, solange bis Google seinen Index aktualisiert hat ...
danke euch fürs Schreiben
Aki
-
Hallo
Die Suchmaschinen bekommen ja nicht instantan mit, wenn auf irgendeiner von mittlerweile wohl hunderten Millionen wenn nicht gar Milliarden Websites eine robots.txt angelegt oder geändert wird. Die robots.txt wird dann zur Kenntnis genommen, wenn die Robots auf deiner Seite vorbeikommen. Das kann dann, je nach Dienst, auch erst nach ein paar Wochen sein.
Bitte nicht an der Zeilenformatierung rumdoktorn. So bleibt das erkennen von Zitaten und deren Verschachtelung erkennbar.
Ach so. Ich dachte dass "Suchmaschine" und "Robot" das gleich sind, …
Jein. Die Suchmaschine ist das Programm, das du anschmeißt, wenn du auf der Seite deines präferierten Suchmaschinenanbieters eine Suche startest. Der Robot ist das Programm, das die Suchmaschinenanbieter (und nicht nur die) benutzen, um die Webseiten nach deren Inhalten abzugrasen. Das sind verschiedene Programme mit unterschiedlichen Aufgaben, die aber im Zusammenhang zueinander stehen.
… und die Webseite bei jeder Suche neu abgeklopft wird.
Wenn du mit Suche den Vorgang meinst, dass du mit der Suchmaschine deiner Wahl einen Suchvorgang zu einem bestimmten Begriff startest, nein. Falls du den Besuch eines Robots, der die Inhalte deiner Website ermitteln will, meinst, ja. Ein solcher Besuch kann aber durchaus etwas auf sich warten lassen. Nur, weil du eine robots.txt erstellt oder an einer bestehenden etwas geändert hast, kommt ein Suchmaschinenroboter nicht automatisch vorbei.
Bei einigen Suchmaschinenanbietern, wie z.B. Google, kann man mit einer Sitemap und/oder der expliziten Einladung wegen neuer Inhalte oder Regeln etwas nachhelfen.
Tschö, Auge
--
Verschiedene Glocken läuteten in der Stadt, und jede von ihnen vertrat eine ganz persönliche Meinung darüber, wann es Mitternacht war.
Terry Pratchett, "Wachen! Wachen!"
ie:{ fl:| br:> va:) ls:[ fo:) rl:( ss:| de:> js:| zu:}
Veranstaltungsdatenbank Vdb 0.3-
Alles klar; wieder was gelernt.
Danke für die Infos, und alles Gute,
Aki
-
-
-
-
PS.: ein Test mit http://de.onpage.org/free-tools/robots-txt/ ergab dass Google meine Webseite nun eigentlich nicht mehr finden dürfte. Kann es sein dass die Suchmaschinen nicht sofort reagieren?
Nur so zur Information:
Die robots.txt verhindert nur, dass der Google-Bot deine Seiten abruft, nicht dass er sie indiziert.
Wenn sie bereits indiziert sind, dann wird eine Aufnahme in die robots.txt daran auch nichts ändern.Gegen eine Indizierung hilft nur ein noindex-Meta-Tag im head der jeweiligen Seite. Und dieses Tag muss der Robot natürlich auch sehen können, also darf die Seite nicht in der robots.txt stehen.
-
-
Moin,
Ich möchte eine robots.txt in eine index.htm einbinden, weiß aber nicht wie (es soll ja kein anklickbarer link auf der webseite erscheinen) und wo (head oder body?)
Hier findest du Informationen zur robots.txt. Die Datei muss nicht in das HTML-Gerüst eingebunden werden.
Das hier im header: <link href="robots.txt"/> hat nicht funktioniert
Wie hast du denn herausgefunden, dass es nicht funktioniert hat? Weißt du, was die robots.txt regelt?
Grüße Marco
--
Ich spreche Spaghetticode - fließend.-
Moin,
Ich möchte eine robots.txt in eine index.htm einbinden, weiß aber nicht wie (es soll ja kein anklickbarer link auf der webseite erscheinen) und wo (head oder body?)
Hier findest du Informationen zur robots.txt. Die Datei muss nicht in das HTML-Gerüst eingebunden werden.
Das hier im header: <link href="robots.txt"/> hat nicht funktioniert
Wie hast du denn herausgefunden, dass es nicht funktioniert hat? Weißt du, was die robots.txt regelt?
Grüße Marco
Den Text in deinem Link hatte ich gelesen, da steht aber nur drin wie die Datei aufgebaut wird, aber nicht wie und an welcher Stelle (head oder body) ich sie in meine index.htm einbaue. Wenn sie nicht in das Html-Gerüst eingebaut wird, wo dann? (und wie?)
Ich habe schlichtweg probiert ob Google meine Webseite noch findet. Aber wie "Auge" nun schreibt, kann das lange dauern.
-
Om nah hoo pez nyeetz, aki!
Ich möchte eine robots.txt in eine index.htm einbinden, weiß aber nicht wie (es soll ja kein anklickbarer link auf der webseite erscheinen) und wo (head oder body?)
Hier findest du Informationen zur robots.txt. Die Datei muss nicht in das HTML-Gerüst eingebunden werden.
Den Text in deinem Link hatte ich gelesen, da steht aber nur drin wie die Datei aufgebaut wird, aber nicht wie und an welcher Stelle (head oder body) ich sie in meine index.htm einbaue.
Das ist nicht korrekt:
„Speicherort und Aufbau einer robots.txt
Die robots.txt muss unter diesem Namen (alle Buchstaben klein geschrieben) im Wurzelverzeichnis der Web-Dateien der Domain abgelegt werden.“
Matthias
-
Das ist nicht korrekt:
„Speicherort und Aufbau einer robots.txt
Die robots.txt muss unter diesem Namen (alle Buchstaben klein geschrieben) im Wurzelverzeichnis der Web-Dateien der Domain abgelegt werden.“
Matthias
Unter "Wurzelverzeichnis" verstehe ich die Datei "index.htm" ... oder ist damit der Abschnitt "head" gemeint? Wäre das dann so richtig: <link href="robots.txt"/>
gruß
Aki
-
Hallo,
Unter "Wurzelverzeichnis" verstehe ich die Datei "index.htm" ... oder ist damit der Abschnitt "head" gemeint? Wäre das dann so richtig: <link href="robots.txt"/>
Du solltest nochmal ganz vorne anfangen:
- Was ist eine Datei?
- Was ist ein Verzeichnis?
Gruß
Kalk -
Hallo,
Die robots.txt muss unter diesem Namen (alle Buchstaben klein geschrieben) im Wurzelverzeichnis der Web-Dateien der Domain abgelegt werden.
Unter "Wurzelverzeichnis" verstehe ich die Datei "index.htm" ... oder ist damit der Abschnitt "head" gemeint?nein, weder noch. Die Datei robots.txt wird einfach im Stammverzeichnis deines Webspaces abgelegt. Sie wird nirgends verlinkt oder sonstwie referenziert; die Suchmaschinen finden sie schon von alleine anhand des Namens.
Wäre das dann so richtig: <link href="robots.txt"/>
Nein. Es schadet aber auch nicht - es bewirkt genau ... gar nichts.
Ciao,
Martin--
Letztlich basiert alles auf dem Feuer, dem Rad, der Eins und der Null.
(Gernot Back)
Selfcode: fo:) ch:{ rl:| br:< n4:( ie:| mo:| va:) de:] zu:) fl:{ ss:) ls:µ js:(-
nein, weder noch. Die Datei robots.txt wird einfach im Stammverzeichnis deines Webspaces abgelegt. Sie wird nirgends verlinkt oder sonstwie referenziert; die Suchmaschinen finden sie schon von alleine anhand des Namens.
Ok, jetzt ist es verstanden. Danke für den Hinweis!
Aki
-
-
-
-
-
