Empêcher l'indexation aléatoire du VoilaBot

Navigation: Pages Webmaster > Référencement

Le Bot du moteur de recherche Voilà indéxe les sites de manière particulière. Si googlebot crawl la toile en passant d'url en url, pour le VoilaBot on doit pouvoir penser que le principe est identique ou s'en rapproche.

Ayant des doutes sur un nombre important de pages en erreurs 404, des mesures s'imposent.

Un petit script permet de tracer quelles sont les pages en erreur 404.
Un second script permet de récupérer les valeurs de variables serveurs puis un envoi mail.
Le tout est mis en place sur une partie du site ayant peu de fréquentation.

Rapidement le résultat arrive puis se confirme, le nom d'agent est celui de Voila Bot, les pages recherchées et inexistantes sont notées.

Aussi bizarre que ce cela puisse paraître, il semble que VoilaBot tente d'indexer des pages qui n'existent pas, et qui n'ont jamais existé : le site est écrit en php, il n'y a aucune page en asp, VoilaBot cherche des url portant l'extension asp.

De plus aucun lien externe ne pointe vers des pages en asp, ces pages ne figurent pas notamment dans les pages en erreurs retournées par la console de Google Webmaster Tool.
Il y a ainsi plus de pages en erreurs retournées par VoilaBot que l'équivalent chez Googlebot, alors que ce dernier indexe quotidiennement cinq fois plus de pages.

Une question au support de voilabot est finalement envoyée avec une réponse certes rapide, mais insuffisante (les liens externes sur la raison de ce crawl plutôt aléatoire.

Selon l'apport que représente le moteur de recherche voila, une non indéxation peut être mise en place : il s'agit d'empêcher VoilaBot de rentrer sur le site
L'instruction est facile à mettre en place au niveau du fichier .htaccess

RewriteCond %{HTTP_USER_AGENT} VoilaBot
RewriteRule .* - [F,L]

Cette instruction est plus forte qu'une instruction dans le fichier robots.txt que le bot peut ignorer

User-agent: VoilaBot Disallow: /

Commentaires

Autres publications Référencement

Référencement du site internet et de son suivi
(Ecrit le 27/06/2011 - 1.349 lectures)
Voyons des éléments essentiels dans le référencement du site et de son suivi. Cet article va ainsi compléter notre rubrique sur le référencement web.

Référencement selon Google instant
(Ecrit le 27/09/2010 - 2.960 lectures)
Le référencement de sites web évolue et ce en fonction du paysage du web sans cesse modifié par les acteurs. Quels sont ces acteurs à prendre en compte pour être mieux référencé dans l'instant.

Google nouveautés dans les résultats
(Ecrit le 06/05/2010 - 2.418 lectures)
Google fait plus souvent dans l'apport de nouveaux outils, que dans la révision des plus anciens. En ce mois de Mai 2010, les résultats sont présentés différemment avec de nouveaux outils.

Les outils Google pour Webmaster
(Ecrit le 14/10/2009 - 3.622 lectures)
Google propose des outils à destination des webmasters, voyons quels sont ils et comment les utiliser pour ses sites web.

Empêcher l'indexation aléatoire du VoilaBot
(Ecrit le 24/01/2009 - 2.330 lectures)
Lorsque l'indexation du site par VoilaBot génère un trafic excessif, il faut prendre des mesures visant à empêcher le crawl aléatoire.

Pagerank minimum
(Ecrit le 30/10/2008 - 2.364 lectures)
Quel est la valeur du pagerank minimum, a partir de quand doit t-on remettre en question son référencement, proposition de solution.

Balise title manquante et Google webmaster tools
(Ecrit le 06/08/2008 - 2.274 lectures)
Google webmaster tools aide le webmaster a présenter un site indexable et pertinent pour les internautes, mais quelque fois il pose des pièges au webmaster : voici le cas de la balise title manquante.

Augmenter le nombre de visiteurs de son site
(Ecrit le 23/03/2008 - 4.191 lectures)
Le référencement dans les moteurs de recherche doit aller jusqu'à la visite du visiteur, la simple visibilité du site ne suffit pas. Les statistiques de google aident à connaître les pages ainsi concernées.

Analyse de balise Meta
(Ecrit le 14/12/2007 - 5.534 lectures)
Google Webmaster Tools analyse des balises méta des sites en constituant un rapport d'anomalie précieux.

Choix d'un nom de domaine internet
(Ecrit le 07/06/2006 - 5.852 lectures)
Choisir le nom de domaine n'est pas neutre : au moins deux acteurs principaux du web sont réactifs par rapport à ce choix.

Visibilité d'un site web
(Ecrit le 01/06/2006 - 7.198 lectures)
La visibilité d'un site web est un aspect du référencement que le webmaster doit surveiller et améliorer.

Acheter des mots-clés
(Ecrit le 01/04/2006 - 12.226 lectures)
Alternative au référencement ou complément de stratégie : l'achat de mots-clés ouvre la porte vers un trafic qualifié.

Première position
(Ecrit le 05/04/2005 - 5.678 lectures)
Être premier sur tous les moteurs de recherche, voila qui intéresse chaque site web. Mais est-ce une bonne stratégie ?

Niveau de référencement
(Ecrit le 11/10/2004 - 4.376 lectures)
Les sites web ne sont pas lus par des lecteurs uniquement humains.

Référencement par liens
(Ecrit le 16/06/2004 - 3.674 lectures)
Après les balises META, c'est autour des liens que le webmaster devra réfléchir pour améliorer la position de son site

ABC Webmaster
(Ecrit le 09/11/2003 - 4.627 lectures)
Les termes utiles au Webmaster de A comme algorithme à Z comme zinzin. Ces définitions sont données dans une optique de référencement.

Référencement et mots clés
(Ecrit le 14/09/2003 - 6.015 lectures)
Une Vraie question relative au référencement de site, et une réelle réponse, à lire au second degré (instructive).

Suivez phortail

Web phortail.org

• Certification ISTQB
• Qualité logicielle
• Cahier des charges fonctionnel détaillé
• Emploi de Test manager en Recette informatique
• Emploi de Test Analyst en Recette informatique