Robot d'indexation

Plusieurs types de robot existent sur l'Internet, les robots d'indexation en sont une partie. Ils parcourent les sites web selon divers chemins et indexent les pages chacuns à leur manière. Pour chaque moteur de recherche il y a un type de moteur avec une méthode d'indexation et de navigation spécifique.Exemple de robot : googlebot pour google.

Astuce : Etant donné que les robots parcourent le web de site en site, il n'est pas utile de soumetre son site au moteur de recherche, de manière régulière, une seule fois suffit (et encore).