Webverzeichnis - Suchmaschine - Newsfinder: Mit Lauraa wird das Finden leicht.
    Startseite | Impressum | WEB-Verzeichnis (Kategorieübersicht) | Seite anmelden | Live-Suche | Multisuche

Sie sind hier: Startseite » Robot-Info

Robot / Crawler
Die Datei robots.txt ist eine Standardmöglichkeit um Robots / Crawler zu steuern und sollte in jedem Web vorhanden sein.
Nähere Informationen können Sie hier in deutscher Sprache nachlesen

Wenn Sie nicht wünschen, dass unser Robot Ihre Seiten besucht und in diesem Suchdienst verfügbar macht, können Sie unseren Bot mit dem folgenden Eintrag in Ihrer robots.txt aussperren:
User-agent: Lauraa
Disallow: /

Wenn Sie unserem Robot ledigliche einzelne Verzeichnisse verbieten wollen, erreichen Sie dies mit dem folgenden Eintrag:
User-agent: Lauraa
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/

Wenn Sie allen Robots einen Eintrag einzelner Verzeichnisse verbieten wollen, müssen Sie folgenden Befehl eintragen:
User-agent: *
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/


Valid CSS! Valid HTML 4.01! Thumbnail preview by Thumbshots.de
MyEngines powered by L-Marketing
Textentwurf by L-Marketing.de -Der Text auf dieser Webseite wurde von L-Marketing entworfen. Um die Webseite von L-Marketing zu besuchen klicken Sie auf das Button. Optimierung by ranking-express.de - Diese Webseite wurde von ranking-express optimiert. Um die Webseite von Ranking-Express zu besuchen klicken Sie auf das Button.