Lorsque l'on utilise le système du muti-boutique multi-domaine sur Magento on se retrouve avec un seul robots.txt puisqu'une seule racine physique sur le serveur.
Mais avec une simple ligne dans le .htaccess on va pouvoir ré-écrire l'url du fichier pour en avoir un pour chaque nom de domaine.
Mettez le après toutes les redirections (domaines et www)
1 2 | # Rewrite URL for robots.txt RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L] |
Cela va être très utile pour gérer individuellement l'indexation pour les moteurs de recherche. Chaque fichier robots.txt contiendra les données pour chaque site correspondant.
Exemple : /robots/monsite.fr.txt
Vous pouvez utiliser cette technique pour chaque installation multidomaine (Prestashop, Worpress…)
