Die Datei robots.txt ist eine Standardmöglichkeit um Robots / Crawler zu steuern und sollte in jedem Web vorhanden sein.
Nähere Informationen können Sie hier in deutscher Sprache nachlesen
Wenn Sie nicht wünschen, dass unser Robot Ihre Seiten besucht und in diesem Suchdienst verfügbar macht, können Sie unseren Bot mit dem folgenden Eintrag in Ihrer robots.txt aussperren:
User-agent: Lauraa
Disallow: /
|
Wenn Sie unserem Robot ledigliche einzelne Verzeichnisse verbieten wollen, erreichen Sie dies mit dem folgenden Eintrag:
User-agent: Lauraa
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/
|
Wenn Sie allen Robots einen Eintrag einzelner Verzeichnisse verbieten wollen, müssen Sie folgenden Befehl eintragen:
User-agent: *
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/
|
|
