Wenn Sie nicht möchten, dass der Robot bzw. Web-Crawler des b2b-productfinders Ihre Webseiten besucht und diese in seinen Index einbringt, können Sie selbstverständlich den b2b-productfinder Robot ausschließen. Im Folgenden wird erklärt, wie Sie dabei vorzugehen haben und was zu beachten ist.

Für den Ausschluss des b2b-productfinder Robots müssen Sie zuerst auf Ihrem Server die robots.txt Datei anlegen. Nähere Informationen zu dem Standard finden Sie unter http://www.robotstxt.org/wc/norobots.html. Der User-Agent unseres Web-Crawler heißt "productfinderbot".

Sie können entscheiden, ob Ihre gesamten Webseiten vom b2b-productfinder Robot ausgeschlossen werden sollen (a)oder nur Webseiten eines bestimmten Pfades (b).

a) alle Webseiten ausschließen
Ein möglicher Eintrag in der robots.txt Datei zum vollständigen Ausschluss der Webseiten Ihres Webservers lautet:

User-agent: productfinderbot
Disallow: /

b) Webseiten eines bestimmten Pfades ausschließen
Ein möglicher Eintrag in der robots.txt Datei zum Ausschluss der Webseiten eines bestimmten Pfades, zum Beispiel /my-site/private, Ihrer Website lautet:

User-agent: productfinderbot
Disallow: /my-site/private

Hinweis: In manchen Fällen kann ein anderer Standard, gemeint ist das "Robots META-Tag", passender sein, da dieser Standard gemäß einer "per-Seite-Basis" Robots von Suchmaschinen davon abhält, eine Webseite zu indizieren oder ihren Links zu folgen. Nähere Informationen zu diesem Standard finden Sie unter: http://www.robotstxt.org/wc/exclusion.html#meta.

Bitte bedenken Sie, dass eine Änderung in der robots.txt Datei Ihres Servers oder des "Robots META-Tags" Ihrer Seiten erst dann eine Änderung im b2b-productfinder Index bewirkt, wenn der b2b-productfinder Crawler einen Refresh des Indexes vornimmt.