On vous rappelle

Laissez-nous votre :




Le fichier Robots.txt snobé par la Biblothèque Nationale de France!

Article rédigé par CERA Interactive, le

Robots.txt est un fichier placé à la racine d’un site web qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d’indexation des moteurs de recherche.





Les robots vont d’abord analyser ce fichier pour savoir s’il faut indexer ou non cette page web. Grace à ce fichier on peut donc choisir les robots qui vont analyser le site.


Ce fichier est une proposition du World Wide Web Consortium W3C pour avoir un internet plus propre, et des moteurs de recherche plus précis. Ainsi tous les développeurs ont dû se conformer à cette nouvelle règle.


robots.txtCependant ce fichier robots.txt n’est pas respecté par tous les sites. En effet certains sites comme la Biblothèque Nationale de France n’empêchent pas leurs robots (Heritrix pour la BnF) d’analyser tous les sites et de les indexer dans leurs bases de données. En vertu du Code du patrimoine (art L132-2-1), la BnF est autorisée à ne pas respecter le protocole d’exclusion de robot, également appelé protocole robots.txt.



Ce que fait la BnF reste correct sur le point de vue légal, car toutes les données mises à la disposition sur l’Internet sont considérées comme publiées, qu’elles soient ou non filtrées par le robots.txt.


Cependant si tous les robots fonctionneraient ainsi, le fichier robots.txt deviendrait totalement obsolète.




Cela va à l’encontre des recommandations de la W3C. Pourquoi les programmeurs devraient créer un fichier qui n’est pas respecté délibérément par certains robots ? Cela serait simplement une perte de temps…

Le fichier Robots.txt snobé par la Biblothèque Nationale de France!

Réagir ?

Envoyez-nous vos réactions et commentaires via notre page Contact !


Dernières actualités...

Référencement : l’influence des réseaux sociauxJouer à Pokemon Go : c'est possible en France !STRASBOURG : Les endroits où se rendre pour la fête de la musique (2016) ECONOMIE - Un souffle de crise dans les CHR

En direct



Avis aux webmasters

rose d'or

Vous pouvez recopier cet article sur votre site en indiquant que la source vient de CERA Interactive, par exemple en faisant un lien de la manière suivante :

<p> Article <a href="http://www.cera-interactive.fr"> CERA Interactive </a> : <a href="http://www.cera-interactive.fr/cera-strasbourg/actu-du-web.php?actu=130917-robots-bnf"> Le fichier Robots.txt snobé par la Biblothèque Nationale de France! </a> </p>


⇐ Retour aux actualités CERA Interactive
illustration de l'article CERA

Le fichier Robots.txt snobé par la Biblothèque Nationale de France!

Des questions à ce sujet ?

Contactez-nous ! rose d'or

Vous aimez cette page ? Partagez-la sur les réseaux sociaux !






Copyright© 2010-2016 CERA Interactive - Tous droits réservés.