CONFIGURER SITEMAP, ROBOTS.TXT ET HTACCESS POUR SON RÉFÉRENCEMENT

Qu’est ce qu’un fichier sitemap ?

Un fichier sitemap (nomdusitemap.xml) est utilisé pour indiquer à Google les ressources de notre site (page, images, vidéos, actualités) que vous souhaitez faire apparaître sur google. C’est un fichier destiné à Google pour lui indiquer les ressources à crawler, et ainsi indexer. Lorsque vous indiquez une ressource dans le sitemap, Google va l’analyser et, si tout se passe bien, l’indexer.

Un fichier sitemap permet d’accélérer l’indexation de vos pages sur Google mais n’améliore pas vos positions.

Configurer un fichier sitemap pour son référencement

Un fichier sitemap peut contenir jusque 50 000 URL. Si vous avez besoin de plus d’URL, il est possible de créer une arborescence de sitemaps. Vous devez écrire les URL complètes (avec http(s)://) et l’encodage du fichier doit être en UTF-8.

Il existe des sites gratuits qui s’occuperont de générer votre sitemap en indiquant l’URL de votre site. Ces sites sont souvent limités à 500 URLS. Vous pouvez également créer votre sitemap vous même.

Placez votre fichier nomdusitemap.xml à la racine de votre sous-domaine. Une fois cela fait, déclarez votre sitemap dans votre compte Google Search Console pour prévenir Google que vous avez actualisé votre sitemap !

Qu’est qu’un fichier robots.txt ?

Le fichier robots.txt avertit les robots des moteurs de recherche du contenu à indexer ou à ne pas indexer. C’est le premier fichier que le robot explore quand il se rend sur votre site web, pour savoir en premier lieu ce qu’il peut ou ne peut pas indexer. Le fichier robots.txt est à inclure à la racine de votre site et le nom ne peut pas être modifié.

Configurer un fichier robots.txt pour son référencement

Un fichier robots.txt se construit selon 4 commandes : user-agent, allow, disallow, sitemap.

En premier lieu, précisez la commande User-agent : *
L’étoile permet de cibler le robot d’un moteur de recherche. Utilisez * pour signer tous. Si vous souhaitez donner différentes directives suivant les moteurs de recherche, sachez que tout ce que vous écrirez entre deux user-agent: sera lié au user-agent précédant les directives. Sautez des lignes entre chaque directive.

Ensuite, déclarez les ressources que vous souhaitez autoriser (Allow) ou bloquer (Disallow). Commencer par écrire Disallow: /. Grâce à cela, vous dites que vous ne bloquez rien.

Les prochaines instructions sont suivant ce que vous désirez bloquer ou non. Sur un site wordpress, vous souhaiterez probablement refuser l’accès à l’administration. Pour cela, utilisez la commande Disallow: /wp-admin/. Ajoutez également la commande Allow: /wp-admin/admin-ajax.php, car elle permet de laisser actif les plugins qui passent par ce fichier.

A noter que normalement, vous ne devriez pas avoir à utiliser le robots.txt pour désindexer des pages spécifiques telles que les pages catégories ou les pages portfolio. Cela doit se faire depuis les paramètres de votre site.

A la fin de votre robots.txt, vous pouvez également indiquer votre sitemap en plus de l’avoir indiqué dans votre compte Google Search Console sous la forme :
Sitemap: https://www.votresite.com/nomdusitemap.xml

Qu’est qu’un fichier htaccess ?

.htaccess est le nom d’un fichier de configuration du serveur web le plus répandu sur Internet, présent dans le répertoire principal de votre site. Ses fonctions sont multiples, car le .htaccess agit sur les paramètres du serveur web et ainsi sur votre site entier.

Configurer un fichier htaccess pour son référencement

Redirections

Cela marche pour ceux étant sur CMS ou ceux sans. En effet, même si de nombreux plugins de redirection existent sur CMS, il faut quand même rentrer à la main chaque redirection et cela peut être très long si vous changez, par exemple, le nom d’une catégorie de blog.

Vous pouvez écrire ces redirections directement via le htaccess en utilisant la ligne :
Redirect NUMBER https://urlded?part https://urldarrivee. Indiquez le numéro de redirection que vous souhaitez faire ? la place de NUMBER. Généralement, on applique une redirection permanente 301, mais il est aussi possible d’utiliser une redirection temporaire 302. Pour être plus rapide, nous vous conseillons d’adopter la technique suivante :
Utilisez excel et remplissez redirect 301 dans la première colonne
La deuxième colonne sera pour l’URL à rediriger (possibilité de mettre sans le nom de domaine)
La troisième colonne sera pour l’URL d’arrivée (obligation de mettre l’URL entière)
Copiez collez le tout dans votre fichier htaccess, cela sautera automatique des lignes

Réécriture d’URL 

Il est possible de réécrire des URL, ce qui est définitivement indispensable pour vos URL exotiques existantes sur certains CMS. Il faut savoir que c’est l’URL d’arrivée, qui remplacera votre URL exotique, qui sera dès lors prise en compte dans votre référencement. Vous pourrez ainsi insérer des mots clés dans vos URL pour améliorer votre référencement naturel. C’est également un critère sécuritaire pour ne pas voir comment sont formés les attributs de votre site par des gens extérieurs.

Une URL exotique est par exemple de la forme : http://monsite.fr/articles/article.php?id=15
Le serveur demande l’accès à l’article ayant l’identifiant 15. Vous pouvez, grâce à la technique d’URL Rewriting via le fichier .htaccess, transformer cette écriture en une URL optimisée pour le référencement.

Durée de cache 

La vitesse de chargement d’une page est un critère pour le référencement naturel qui est en train de prendre de plus en plus d’importance, que ce soit sur votre site en version web ou en version mobile. C’est pourquoi il est fortement recommandé d’utiliser la mise en cache, c’est à dire de stocker localement sur le cache de l’ordinateur de vos visiteurs les données de votre site qui ne sont pas amenées à être mises à jour quotidiennement. Quand les utilisateurs reviendront sur votre site, ils n’auront ainsi pas besoin de recharger toutes ces données.

Grâce au .htaccess, vous pouvez demander la compression de vos fichiers, mais aussi le temps de mise en cache de chaque type de contenu que vous avez sur vos pages (images, videos, css, …).

Sécurisation

Les menaces concernant les vols de site ou les vols de contenus de site sont à prendre au sérieux pour diverses raisons ; votre référencement peut sérieusement en pâtir pour cause de duplication de contenus si exactement le même contenu que votre site se trouve autre part, des sites similaires au vôtre peuvent nuire à votre réputation s’ils ont des images ayant comme adresse de stockage votre site, etc. Grâce au htaccess, vous pouvez sécuriser votre site et vos dossiers administrateurs comme vos dossiers de contenu.