SubmitXNetworkBot, le robot de SubmitX Network

Vous avez vu « SubmitXNetworkBot » dans les journaux de votre site ? Voici ce qu'il fait, et comment l'arrêter.

Pourquoi il vient

Une personne qui s'inscrit à SubmitX Network peut nous donner l'adresse de sonsite pour que nous préparions sa fiche (nom, description, téléphone, ville, réseaux sociaux…). Le robot ne visite donc que le site d'une personne qui nous l'a demandé etqui a d'abord prouvé qu'il est le sien (un fichier ou une balise déposés sur le site, ou un courriel de ce domaine). Il ne parcourt pas le web et ne suit aucun lien vers d'autres sites.

Ce qu'il fait

• Il demande d'abord votre fichier robots.txt et respecte ce qu'il dit. S'il est injoignable (erreur du serveur), le robot s'abstient.
• Il lit au plus 4 pages : l'accueil, puis les pages « contact », « à propos » et « services » si elles existent, avec une pause d'une seconde entre deux pages.
• Il ne lit que le texte public : pas de connexion, pas de formulaire, pas de JavaScript exécuté, pas de fichiers téléchargés, pas de pages au-delà de 1.5 Mo.
• Il ne conserve que ce que votre site déclare publiquement (nom, description, téléphone, adresse de ville, liens vers vos réseaux, numéros de licence affichés) avec la page d'où il vient. Une personne de l'équipe SubmitX révise la fiche avant toute publication.
• Pour la preuve de propriété, il demande seulement /.well-known/submitx-network.txt et la page d'accueil, et ne retient rien d'autre que « oui » ou « non ».

Comment l'arrêter

Ajoutez ceci à votre fichier robots.txt : le robot ne lira plus aucune page de votre site, même si une personne nous en fait la demande.

User-agent: SubmitXNetworkBot
Disallow: /

Vous pouvez aussi simplement nous écrire à legal@submitx.ca : nous effaçons ce que nous avons conservé sur votre site.

Comment le reconnaître

Son agent d'identification est : SubmitXNetworkBot/1.0 (+https://app.submitx.ca/network/robot). Il se connecte en HTTPS seulement, depuis l'hébergement de SubmitX.

← Retour à SubmitX Network