postheadericon NerdByNature.Bot

Der NerdByNature.Bot oder auch Webcrawler oder Spider genannt ist der Prozess, der täglich bis zu einer Millionen Webseiten erfasst und die Webmap-Datenbasis von NerdByNature.Net aktuell hält.

UserAgent

Der NerdByNature.Bot nutzt einen UserAgent wie “Mozilla/5.0 (compatible; NerdByNature.Bot; http://www.nerdbynature.net)”. D.h. in Logfiles und Statistiken ist der NerdByNature.Bot entsprechend sichtbar und kann darüber hinaus auch mittels einer robots.txt (siehe folgendes Kapitel) ausgesperrt oder in die Schranken verwiesen werden. Benutzen Sie innerhalb Ihrer robots.txt einfach den Eintrag “User-agent: NerdByNature.Bot” um einen Anweisungsblock für den NerdByNature Robot zu kennzeichnen (siehe Beispiel weiter unten).

Sperren von Inhalten

Es ist praktisch unmöglich Webinhalte grundsätzlich geheim zu halten, ausser durch den Einsatz von Zugangsbeschränkungen wie Passwörter. In dem Moment, in dem irgendjemand einen Link auf Ihre Seiten setzt werden sie auch von Suchmaschinen und über kurz oder lang auch vom NerdByNature.Bot gefunden.

Wenn Sie nicht wollen, dass der NerdByNature.Bot Ihre Webseiten oder Teile davon erfasst, so nutzen Sie bitte die robots.txt dafür. Eine gute Erklärung, Beispiele und weiterführende Links zur robots.txt finden Sie u.a. bei Goolge in der Webmaster Zentrale unter “Blockieren oder Entfernen“.

Beispiel:

Wenn Sie errreichen wollen, dass der NerdByNature.Bot Ihre Seite “/order.php” nicht erfasst, dann geben Sie in Ihrer robots.txt folgende Regel an:


User-agent: NerdByNature.Bot
Disallow: /order.php

Was wird erfasst?

NerdByNature.Net ist nicht vergleichbar mit großen Suchmaschinen, die möglichst alle Inhalte einer Website erfassen wollen. Wir beschränken uns in der Regel auf die ersten 50 Seiten, ausgehend von der Homepage (und ja, es wird Ausnahmen von dieser Regel geben). Diese werden auch nicht täglich gecrawled, sondern lediglich alle zwei bis vier Wochen, je nach Ranking Ihrer Website.

Probleme melden

Sollten einmal Probleme mit dem NerdByNature.Bot auf Ihren Webseiten auftreten, so können Sie uns gern darüber informieren. Wir sind stets bemüht Qualität des Crawlers zu verbessern und freuen uns über jedes Feedback.

Für Fragen oder Anmerkungen zum NerdByNature.Bot können sie einfach einen Kommentar zu diesem Post schreiben oder eine Mail an info@nerdbynature.net senden.

 

One Response to “NerdByNature.Bot”

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>