| Pour vérifier le fonctionnement de votre site, utilisez un navigateur non
graphique par exemple, Lynx
viewer. En effet, la plupart des robots des moteurs de
recherche « voient » votre site comme cet outil.
Si vous constatez que certains
enrichissements du site
(JavaScript, cookies, ID de session, cadres, DHTML,
animations Flash, etc...)
vous empêchent d'accéder à certaines sections de votre
site à l'aide
d'un navigateur
non graphique, cela signifie que les robots des
moteurs de recherche rencontreront
des obstacles similaires lors de
l'exploration de vos pages.
Évitez d'implémenter des ID de session
ou des arguments
susceptibles de
suivre le cheminement des robots dans votre site.
Ces techniques sont utiles
pour suivre le comportement des utilisateurs mais le mode d'exploration
des
robots est entièrement différent. Si vous faites appel à ces techniques,
vous
risquez de limiter
l'indexation
de votre site, dans la mesure où les robots
ne
sont pas toujours capables d'ignorer les URL
dont le texte est différent
alors
qu'elles pointent sur la même page.
Vérifiez que votre serveur Web supporte
l'en-tête HTTP
« If-Modified-Since », qui permet d'indiquer aux robots Google si le contenu de
votre site
a évolué depuis leur dernière exploration.
En supportant cette
caractéristique, vous réduirez la largeur
de bande
et l'utilisation de vos
ressources. Utilisez le fichier robots.txt sur votre serveur Web.
Le fichier robots.txt
indique aux robots-explorateurs les dossiers de votre site qui peuvent être explorés
et
ceux qui sont confidentiels. Vérifiez que ce fichier est adapté à votre site;
sinon, vous risquez de bloquer
le robot-explorateur Googlebot.
Pour plus de
détails sur les robots et sur les contrôle des robots qui visitent
votre
site,
consultez la Foire
aux questions (FAQ) consacrée aux robots suivante :
http://www.robotstxt.org/wc/faq.html
(en anglais uniquement).
Si vous utilisez un système de gestion
de contenu, vérifiez qu'il peut
exporter votre contenu pour permettre l'exploration de votre site par les
robots des moteurs de recherche.
|