Pour les propriétaires de sites Web utilisant les outils de Google Webmaster – vous devriez vraiment le faire – étant à la fois gratuit, et une source d’informations importantes sur la façon d’améliorer votre site Web. Le voici : https://www.google.com/webmasters/tools
Les propriétaires de sites Web ont peut-être remarqué récemment des notifications provenant de Google concernant l’indexation des fichiers JavaScript et CSS. Le vrai message est :
“Googlebot cannot access CSS and JS files on http://www.yourwebsitename.com
To: Webmaster of http://www.yourwebsitename.com/
Google systems have recently detected an issue with your homepage that affects how well our algorithms render and index your content. Specifically, Googlebot cannot access your JavaScript and/or CSS files because of restrictions in your robots.txt file. These files help Google understand that your website works properly, so blocking access to these assets can result in sub-optimal rankings.”
Le fichier Robots.txt
Donc, bien que cela semble technique, c’est vraiment très simple. Un fichier de votre site Web appelé « Robots.txt » indique aux moteurs de recherche les parties du site à indexer et celles à ignorer. Voici un exemple du fichier, de ce site Web, pour que vous puissiez voir ce que je veux dire : https://www.tripadvisor.fr/robots.txt
Dans le cas d’un site CMS moderne comme Joomla, WordPress de Drupal, tous ses travaux sont dans des sous-dossiers dans l’espace web, des dossiers comme : « administrateur », « bin », « cache », « composants », « bibliothèques », etc. Désormais, aucun des contenus de votre site Web ne se trouve dans ces dossiers, vous n’avez donc pas besoin de Google pour les indexer. En fait, ce n’est pas ce qu’il y a de mieux, donc dans le fichier robots.txt, certaines lignes disent simplement « ne pas y aller », comme ceci :
User-agent: * Disallow: /administrator/ Disallow: /bin/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /layouts/ Disallow: /libraries/
Cependant, certains fichiers sont utiles à la lecture par Google. En particulier JavaScript et CSS concernent la façon dont la page est affichée, et avec l’importance toujours croissante des sites Web mobiles et réactifs, ce sont ces fichiers qui déterminent le type d’appareil que le visiteur utilise et adaptent l’affichage à ses besoins. Par exemple, un modèle réactif se redimensionnera en fonction de l’appareil de l’utilisateur. Étant donné que Google a annoncé qu’il intègre la « convivialité mobile » d’un site Web dans son algorithme de recherche, il s’ensuit qu’il lui faut voir les fichiers JavaScript et CSS pour comprendre à quel point le site est convivial pour les mobiles. Le changement requis est assez simple pour un concepteur web, les clients auront besoin soit d’un accès FTP ou C-panel aux fichiers du site web, soit s’ils sont sur nos serveurs, il suffit de nous le faire savoir et nous serons en mesure de faire les changements.
Comment utiliser au mieux le fichier Robots.txt ?
Pour résumer, les lignes à ajouter au fichier robots.txt, plutôt que « Disallow », sont simplement des lignes « Allow » indiquant au Googlebot qu’il PEUT accéder aux dossiers concernés. Mais à quels dossiers devriez-vous lui donner accès ?
Eh bien ici Google Webmaster Tools vient à votre secours à nouveau, parce qu’il y a une fonctionnalité là-dedans appelée « Fetch as Google ». Ceci saisit et rend la page Web, et vous indique s’il y a des ressources dont il a besoin pour rendre la page, qui sont bloquées à elle. Par ressources, nous entendons ces fichiers CSS, Javascript et images que nous aimerions que Google indexe.
Ainsi, en lisant la liste que Google nous donne de « Blocked Resource s », nous sommes en mesure de compiler une liste complète des dossiers auxquels nous devons autoriser l’accès.
Ici, c’est pour un site Web particulier :
Allow: /templates/mytemplate/ Allow: /templates/mytemplate/css/ Allow: /templates/mytemplate/images/ Allow: /images/ Allow: /media/com_acymailing/css/ Allow: /media/system/js/ Allow: /plugins/content/avreloaded/ Allow: /plugins/content/avreloaded/ Allow: /plugins/system/modalizer/modals/
Ces lignes peuvent donc être ajoutées à la fin du fichier Robots.txt, testez à nouveau avec la fonction « Fetch as Google », et avant que l’on s’en rende compte, le message d’avertissement de Google a disparu, et Google développe la compréhension qu’il a besoin de la responsibilité mobile du site.
