Faut-il accepter l'indexation de GPTBot ?
L'arrivée de l'intelligence artificielle a eu l'effet d'une révolution silencieuse dans la vie de chacun, l'apparition de chatgpt a été la partie visible de l'iceberg, alors que l'AI était déjà présente.
Bien des domaines sont concernés avec des avancées évidentes comme des doutes. Dans le SEO, un nouveau joueur esr apparu, notamment dans les logs de fréquentation des sites web : GPTBot, le robot d'indexation d'OpenAI.
Contrairement au bot de google, le robot d'indexation de chatgpt n'apporte pas de visiteurs, mais il indexe les sites web tout de même.
GPTBot est effectivement particulier, il indexe les pages pour sa propre utilisation, il indexe et apprend, améliore son modèle en lisant le contenu des sites web qu'il parcourt. Cette indexation sert également à améliorer les réponses de l'IA.
D'aucuns se demandent si cette indexation est utile, si cela ne consomme pas de la bande passante qui serait plus utile à des vrais visiteurs. Si GPTBot est propre et accepté, qu'en est-il des autres bot d'IA en fonction des pays hébergeurs. Quid aussi de la participation de son site web au développement du mouvement internet ?
Pour les gestionnaires de sites web ne désirant pas cette indexation, le robots.txt est disponible, ainsi que les balises méta.
Voici un fichiers pour bloquer les robots d'IA les plus courants :
User-agent: GPTBot
Disallow: /User-agent: ClaudeBot
Disallow: /User-agent: OAI-SearchBot
Disallow: /User-agent: Bytespider
Disallow: /User-agent: PerplexityBot
Disallow: /User-agent: Meta-ExternalAgent
Disallow: /User-agent: Applebot-Extended
Disallow: /
Laisser l'indexation des bots de l'IA est une question légitime, cet article présente une partie des questions que se posent les webmasters.