Als u niet wilt dat de robot of de webcrawler van de b2b-productfinder uw website bezoekt en deze in zijn index opneemt, kunt u die uiteraard van de b2b-productfinder robot uitsluiten. In de hiernavolgende tekst wordt uitgelegd hoe u daarbij te werk moet gaan en waar u op moet letten. Voor uitsluiting door de b2b-productfinder robot moet u eerst op uw server het robots.txt bestand aanleggen.

Meer informatie over deze standaard vindt u onder http://www.robotstxt.org/wc/norobots.html. De user-agent van onze webcrawler heet "productfinderbot". U kunt zelf bepalen of al uw webpagina's door de b2b-productfinder robot uitgesloten moeten worden (a), alleen webpagina's in een bepaald pad (b), of alleen een bepaalde webpagina (c).

a) Alle webpagina's uitsluiten Een mogelijke entry in het robots.txt bestand om alle webpagina's volledig uit te sluiten zou er zo uit kunnen zien:

User-agent productfinderbot
Disallow: /

b) Webpagina's in een bepaald pad uitsluiten Een mogelijke entry in het robots.txt bestand om de webpagina's in een bepaald pad uit te sluiten zou er zo uit kunnen zien:

User-agent: productfinderbot
Disallow: /my-site/private

N.B.: Vaak is een andere standaard, met name de "robots META tag" beter van toepassing, daar deze op basis van "pagina voor pagina" zoekmachinerobots ervan weerhoudt een website te indexeren of zijn links te volgen. Meer informatie over deze standaard vindt u onder: www.robotstxt.org/wc/exclusion.html#meta

c) een bepaalde webpagina uitsluiten Om een bepaalde pagina van uw website uit te sluiten, kunt u de volgende metatags in de pagina aanbrengen:

Bedenkt u zich daarbij dat een wijziging in het robots.txt bestand op uw server of in de "robots META tags" op uw pagina's pas invloed heeft op de index van de b2b-productfinder, wanneer de b2b-productfinder crawler een refresh van die index uitvoert.