Landet alles in der Suchmaschine?

[Tottermann]

Eigentlich müsste man dieses Unterforum ja schon umbenennen in "alle Fragen rund um den Vomputer" oder so ähnlich.

Ich wüßte jedenfalls nicht wohin sonst mit zum Beispiel dieser Frage:

Irgendwo in einem Beitrag habe ich die Idee gelesen, daß ein User erwägt, ein "geheimes" Forum für auserwählte einzurichten.

Dabei stellte sich mir die Frage, kann man eigentlich Homepages oder Foren oder so gegen Suchmaschinen schützen? Oder findet Google früher oder später alles?

Ich meine wenn ich eine HP einrichte, die eigentlich nicht für die allgemeinheit bestimmt ist, sondern anderen Zwecken dient, taucht die dann früher oder später automatisch bei Google auf?

[thascout]

hallo tottermann,

der schnellste und einfachste Weg einen Suchmaschineneintrag zu verhindern ist folgender:

Du legst eine Datei namens robots.txt ins Root-Verzeichnis deiner Homepage, die folgenden Inhalt hat:

User-agent: *

Disallow: /

So, und das wars dann auch schon!! Somit legst Du fest, dass sämtliche agents / robots NICHT in Deiner Homepage suchen.

Du kannst diese Einträge auch noch spezifischer machen; z.B.

User-agent: webcrawler

Disallow:

User-agent: lycra

Disallow: /

User-agent: *

Disallow: /tmp

Disallow: /logs

Dies bedeutet, dass "webcrawler" alles indizieren darf, "lycra" nichts und alle anderen Robots alles außer /tmp und /log

Hoffe ich konnte Dir weiterhelfen...

Gruss thascout

[Tottermann]

Hallo thascout!

Als ich Deinen Beitrag gelesen habe musste ich laut lachen.

Das hat aber nichts mit Dir zu tun - sondern mit meiner Doofheit.

Ich habe nämlich absolut nur Bahnhof verstanden.

Habe aber verstanden, daß wenn man Ahnung hat einen Eintrag durchaus verhindern kann.

[thascout]

totermann no prob,

wenn du hilfe brauchst sag es einfach, werde dir gerne helfen..

auf deutsch gesagt:

du musst nur eine datei anlegen und da die 2 zeilen reinschreiben!

also wirklich kein hexenwerk!!

aber du siehst es geht!

gruss

[netzmeister]

@ thascout

bist Du Dir da sicher dass sich alle Spider und Crawler daran halten? Soviel ich weiß kümmern sich nicht alle um die robots.txt.

Eine zusätzliche Möglichkeit wäre noch einen Metatag zu setzen:

<META NAME="robots" CONTENT="NOINDEX,NOFOLLOW">

Ist aber auch zweifelhaft ob der von allen Robots beachtet wird.

nm