eric sur PhenixTweet

20 h.

bonjour , je mets systématiquement un datasheet en pdf lorsqu'il existe , c'est à dire 95% des produits mais je me suis aperçu que ces pdf attachés étaient indexés et sont proposés lors d'une recherche google avant la fiche produit , dit autrement , l'internaute se retrouve avec un pdf qui s'ouvre sur son pc sans lien pour repartir sur la fiche produit d'où ma question , peut-on bloquer l'indexation des pdf attachés aux fiches produits ?

18 h.

a répondu au Message de eric - 18 h.

Ca veut dire que Google ne respecte pas le robots.txt.

Disallow: /*controller=attachment
Disallow: /telechargement

a répondu au Message de Eolia - 17 h.

oui cela est indiqué comme une méthode simple mais pas toujours efficace d'où ma question sur le htaccess que je vais modifier en ajoutant ceci

16 h.

a répondu au Message de eric - 16 h.

Mouais...
Note: Only cooperative robots follow these rules, and a crawler first needs to access the resource to read headers and meta elements (see Interaction with robots.txt). If you want to prevent bandwidth consumption by crawlers, a restrictive robots.txt file is more effective than indexing rules as it blocks resources from being crawled.

https://developer.mozilla....

16 h.

a répondu au Message de Eolia - 16 h.

oui c'est pourquoi il faut retirer le disallow de robots.txt , à ce que je comprends , il faut que le bot puisse lire l'url et son header pour ne pas l'indexer , là actuellement il indexe mes pdf sans crawler le contenu car il trouve le lien externe dans la fiche produit. De toute façon , pour l'instant le robots.txt ne marche pas donc je vais essayer la méthode htaccess.

16 h.

a répondu au Message de Eolia - 16 h.

et votre article parle de bande passante et donc je comprends que robots.txt soit utilisé dans ce cas car on ferme la porte moi , je veux qu'il ouvre la porte et dise "ok , c'est pas pour moi" 😄

(2) Afficher ce fil