Das robots.txt-File

[webmaster.search.ch]

Webmaster

Websuche

Telefonbuch

Karte

Routenplaner

Wetter

Nachrichten

Neu Produkte

Mehr Dienste ▼

Praktisch alle Spider lesen in ihrem Homedirectory das robots.txt File (http://www.website.ch/robots.txt).

Es enthält Anweisungen, welche Bereiche ihrer Website der Spider nicht besuchen darf. Das ist nützlich um die Erfassungen von weniger interessanten Seiten wie Trafficstatistiken oder die Verfolgung Tausender wiederkehrender Links wie bei Datenbanken zu verhindern.

Folgendes Beispiel sperrt die Verzeichnisse usage und db:

User-agent: *
Disallow: /usage/
Disallow: /db/

Das * in der ersten Zeile bedeutet, dass diese Anweisung für alle Spider gilt. Es besteht auch die Möglichkeit einzelne Spider auszuschliessen. Lesen Sie dazu die Originalspezifikation auf http://www.robotstxt.org/wc/robots.html. Eine Anleitung auf Deutsch ist unter http://de.selfhtml.org/diverses/robots.htm zu finden.