nikita: Nichtindexierung einer Domain

hallo forumsbesucher,

heute mal eine etwas ungewöhnliche frage zum thema suchen & finden im internet.
heutzutage wird jede seite, die irgendwo einmal stand, früher oder später von den riesigen robots gescannt und schon steht man in irgendwelchen suchmaschinen drin (fireball, intersearch & co.), wo man eventuell überhaupt nicht drinstehen wollte.
nachdem dem die robots-anweisung offensichtlich nicht von allen engines beachtet wird, muss doch irgendwo eine möglichkeit vorhanden sein, diese sache zu unterbinden?

gegen eine nennung in verschiedenen verzeichnissen (durch manuelle eintragung) ist nichts einzuwenden, aber imho kommen auf diesen weg wieder die blöden suchmaschinen auf meine seite und schwuppdiwupp stehe ich wieder in irgendsoeinem teil drin.
ideal wäre eine lösung dieses problems _ohne_ auf passwortgeschichten (htaccess) zurückgreifen zu müssen, es geht im kongreten fall um die nichtindexierung (?) einer gesamten domain, die rein privat ist und nicht in jeder beliebigen suchmaschine drinstehen soll.

danke, nikita

ps:dieser bereich wäre eigentlich für die suchfibel (http://www.suchfibel.de/) von stefan karzauninkat ganz gut geeignet, thema: wie werde ich nicht gefunden <g>

  1. Hallo

    »»eine nennung in verschiedenen verzeichnissen (durch manuelle eintragung) ist nichts einzuwenden, aber imho kommen auf diesen weg wieder die blöden suchmaschinen auf meine seite und schwuppdiwupp stehe ich wieder in irgendsoeinem teil drin.

    ideal wäre eine lösung dieses problems _ohne_ auf passwortgeschichten (htaccess) zurückgreifen zu müssen, es geht im kongreten fall um die nichtindexierung (?) einer gesamten domain, die rein privat ist und nicht in jeder beliebigen suchmaschine drinstehen soll.

    Wie werde ich nicht gefunden:

    1. Mit robots.txt die gesamte Site sperren. Damit bleiben schonmal 80% aller Suchdienste druassen. Eine Liste, wer Robots.txt beachtet, und wer nicht:

    2. Wenn doch irgendein Robot die Site erwischt hat, eine nette Mail an den Webmaster der betreffenden Maschine schicken. Mir ist keiner bekannt, der nicht auf Wunsch eine Site manuell ausschliessen wuerde.

    3. Ueber .htaccess die IP, von der die Robots kommen, sperren.

    4. Mir ist der Sinn dieser Prozedur ueberhaupt nicht klar. Wer Infos im Netz veroeffentlich, moechte, dass die gelesen werden. Und wenn die Seiten suchmaschinengerecht gebaut sind, wird auch der Eintrag in einer Volltextsuchmaschine sinnvoll sein und qualifizierte Besucher anlocken.

    gruss, kaz

      1. Mir ist der Sinn dieser Prozedur ueberhaupt nicht klar. Wer Infos im Netz veroeffentlich, moechte, dass die gelesen werden. Und wenn die Seiten suchmaschinengerecht gebaut sind, wird auch der Eintrag in einer Volltextsuchmaschine sinnvoll sein und qualifizierte Besucher anlocken.

      Naja, vielleicht gibt es auch Seiten, die nur zur Bearbeitung auf einem Server liegen, aber einfach nicht gefunden werden sollen, da sie nur temporaer da sind oder sich im staendigen Fluss befinden. Vielleicht soll die Seiten vorab auch niemand sehen, sondern erst spaeter dann - auf dem Live-Server.

      Viele Gruesse, Thomas Hieck

      1. Moin

        Naja, vielleicht gibt es auch Seiten, die nur zur Bearbeitung auf einem Server liegen, aber einfach nicht gefunden werden sollen, da sie nur temporaer da sind oder sich im staendigen Fluss befinden. Vielleicht soll die Seiten vorab auch niemand sehen, sondern erst spaeter dann - auf dem Live-Server.

        Naja, soviel iss klar... bezogen auf das Posting dachte ich an die gesamte Site, ohne genannte Einschränkungen.

        gruss, kaz

    1. hallo kaz,

      schön eine antwort von _dir_ zu erhalten :)

      Wie werde ich nicht gefunden:
      ...

      1. Mit robots.txt die gesamte Site sperren. Damit bleiben schonmal 80% aller Suchdienste druassen. Eine Liste, wer Robots.txt beachtet, und wer nicht:

      werde eben mal auf deiner seite nach der liste suchen (oder im buch), kann auch sein, du hast die liste vergessen zu posten, mal schauen
      wenn die sehr grossen suchmaschinen (altavista, fireball etc.) die robots.txt beachten, dann reicht es imho aus (ideal sind 100%, aber gibt es eben nicht)

      1. ... Mail an den Webmaster

      in extremfällen bestimmt ganz gut, aber so wichtig ist die sache auch wieder nicht (.. der arme webmaster <g>)

      1. Ueber .htaccess die IP, von der die Robots kommen, sperren.

      siehe antwort zu 2.

      1. ... Sinn dieser Prozedur

      die seiten sind so aufbereitet, dass sie mir gefallen, es handelt sich um mein rein privates vergnügen.
      mehr oder wenige geistreiche einträge in‚s gästebuch möchte ich mir ersparen, ausserdem auch noch den grund, den thomas hieck gesagt hat (temporär)

      klar kann ich die seiten (später) suchmaschinengerecht optimieren, teilweise finde ich die logik bzw. nichtlogik der suchmaschinen jedoch ziemlich besch...
      ich erlebe selber bei meinen suchen, dass die "treffer" ziemlich daneben liegen, also lieber die sachen in ausgewählte kataloge, wo ich auch mehr einfluss auf den eintrag habe.

      danke, nikita

      ps: der verzicht auf (viele) besucher auf einer _privaten_ hp ist zu verschmerzen, verzicht auf viele der privaten hp‚s (nur in suchmaschinen?) wäre sicher auch besser <g>

      1. Hi,

        1. ... Mail an den Webmaster

        in extremfällen bestimmt ganz gut, aber so wichtig ist die sache auch wieder nicht (.. der arme webmaster <g>)

        nun, wenn so etwas öfter vorkommt, und zwar mit dem Hinweis, die Site sei per robots.txt korrekt ausgeschlossen, wird er sich vielleicht überlegen, diese Datei doch zu beachten...

        mehr oder wenige geistreiche einträge in‚s gästebuch möchte ich mir ersparen,

        Da hilft nur eins: Guestbook wech :-)))

        klar kann ich die seiten (später) suchmaschinengerecht optimieren, teilweise finde ich die logik bzw. nichtlogik der suchmaschinen jedoch ziemlich besch...

        Da stimme ich Dir zu, und dies:

        ich erlebe selber bei meinen suchen, dass die "treffer" ziemlich daneben liegen, also lieber die sachen in ausgewählte kataloge, wo ich auch mehr einfluss auf den eintrag habe.

        finde ich sehr lobenswert!

        Cheatah

      2. Moin

        mal auf deiner seite nach der liste suchen (oder im buch), kann auch sein, du hast die liste vergessen zu posten, mal schauen

        Ja, in der Tat: http://www.suchfibel.de/3allgem/3frame6.htm

        in extremfällen bestimmt ganz gut, aber so wichtig ist die sache auch wieder nicht (.. der arme webmaster <g>)

        Ja stimmt. Sollte man nur tun, wenns ächt wichtich iss.

        1. Ueber .htaccess die IP, von der die Robots kommen, sperren.

        Ist dem Webmaster wurscht. Di robots kehren dann einfach um und suchen sich was anderes zu futtern. langweilig ist denen nicht. Acoon zum Beispiel beachtet nervigerweise keine robots.txt und ist dabei ziemlich fleissig. Kann ganz schön herummüllen, so ein Teil.

        1. ... Sinn dieser Prozedur

        die seiten sind so aufbereitet, dass sie mir gefallen, es handelt sich um mein rein privates vergnügen.

        Nadenn... viel Spass noch mit Deiner "versteckten Site" ;-)

        gruss, kaz

  2. hallo forumsbesucher,

    kurzer nachtrag zu meiner anfrage:

    inwieweit können die suchmaschinen links verfolgen, die per javascript direkt im dokument oder gar über den aufruf einer externen js-datei geschrieben werden?

    in diesem fall würden, wenn es klappt, selbst die böswilligen maschinen, welche die robots.txt nicht beachten, spätestens bei diesem link aufhören mit indizieren

    die aussperrung von besuchern müsste/würde ich dann in kauf nehmen (privat)

    klar, wenn dann jemand mutwillig auf meine einzelseiten irgendwo verlinkt (oder in die suchmaschinen manuell einträgt), habe ich das problem wieder, ausserdem ist u.u. auch zumindest die index.html indiziert, aber wenigstens die weitere indizierung ist gestoppt ;)

    fazit: können die robots js-links indizieren, wenn ja welcher art?

    danke, nikita

    1. Moin.

      fazit: können die robots js-links indizieren, wenn ja welcher art?

      Na, das ist eine kurze Antwort: Kein Robot kann was mit JS anfangen. Insofern...

      gruss, kaz