Lorsque vous recevez les résultats d’un audit ou que vous parcourez une déclaration de conformité, vous avez dû remarquer que deux résultats sont mentionnés :
- Un taux de conformité
- Une conformité moyenne par page
Ces deux résultats peuvent parfois être très différents, comme sur l’exemple du tableau ci-dessous, et il est fréquent que la question se pose : “Pourquoi la moyenne des pages est élevée alors que j’ai un taux de conformité si bas ?”
| Taux de conformité (référence légale) | 40,58% |
|---|---|
| Conformité moyenne par page (information facultative) | 79,50% |
Différence de conformité moyenne par page vs taux de conformité
La différence entre ces deux taux vient de la méthode de calcul sur les critères :
- Pour qu’un critère soit considéré comme “Conforme”, il doit être conforme sur toutes les pages de l’échantillon où il est applicable;
- Pour qu’un critère soit considéré comme “Non conforme”, il doit être considéré comme “non conforme” sur au moins une page.
Pour donner un exemple, si nous prenons le résultat de 10 critères audités sur 10 pages, si tous les critères étaient applicables et que sur chaque page un critère différent était non conforme, nous aurions le résultat suivant (C = Conforme, NC = Non conforme)
| Page 1 | Page 2 | Page 2 | Page 4 | Page 4 | Page 5 | Page 7 | Page 8 | Page 9 | Page 10 | Conformité du critère | |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Critère 1 | NC | C | C | C | C | C | C | C | C | C | NC |
| Critère 2 | C | NC | C | C | C | C | C | C | C | C | NC |
| Critère 3 | C | C | NC | C | C | C | C | C | C | C | NC |
| Critère 4 | C | C | C | NC | C | C | C | C | C | C | NC |
| Critère 5 | C | C | C | C | NC | C | C | C | C | C | NC |
| Critère 6 | C | C | C | C | C | NC | C | C | C | C | NC |
| Critère 7 | C | C | C | C | C | C | NC | C | C | C | NC |
| Critère 8 | C | C | C | C | C | C | C | NC | C | C | NC |
| Critère 9 | C | C | C | C | C | C | C | C | NC | C | NC |
| Critère 10 | C | C | C | C | C | C | C | C | C | NC | NC |
| Taux de conformité par page | 90% | 90% | 90% | 90% | 90% | 90% | 90% | 90% | 90% | 90% | |
| Taux de conformité total | 0% | ||||||||||
Sur cet exemple, le taux de critères respectés sur chaque page est bien de 90%, pourtant comme chaque critère est non conforme sur une page au moins, le taux de conformité total est bien de 0%, puisqu’un aucun critère applicable n’est conforme.
Pourquoi cette méthode de calcul est-elle exigeante ?
Cette méthode de calcul est assez stricte et peut donner l’impression de ne pas valoriser les travaux réalisés autour de l’accessibilité. Cependant cela peut s’expliquer par la façon dont est réalisé le relevé :
- La méthode de relevé des éléments récurrents : Lorsque des non conformités sont présentes sur des éléments récurrents des pages (dans les gabarits des pages comme les menus de navigation ou les en-têtes et pied de page) elles ne sont relevées qu’une seule fois (soit la première fois qu’elles sont rencontrées soit dans une page “fictive” de l’échantillon qui ne concerne que les éléments récurrents). Le but étant de faciliter la lecture aux utilisateurs de cette grille de relevé. Si les mêmes remarques étaient notées sur toutes les pages, alors il serait très complexe d’identifier les corrections nécessaires sur chaque page car elles seraient noyées au milieu des autres.
- Les liens entre les pages de l’échantillon : Dans les échantillons certaines pages sont parfois liées comme une page de connexion et des pages d’un espace personnel ou des procédures en plusieurs étapes. Ces pages sont liées car l’impossibilité de passer la première étape rend les pages suivantes totalement inutilisables. Par exemple, si le mécanisme de connexion comporte des non conformités bloquantes les utilisateurs n’auront pas accès aux pages de l’espace personnel même si celles-ci sont totalement accessibles.
Comme les non conformités peuvent être liées entre les pages, chaque non conformité doit avoir un réel impact sur le calcul du score, pour qu’elle ne soit pas invisibilisée. C’est pourquoi, ce calcul est dur mais objectif même s’il a ses limites.
Les limites de l’audit et du calcul de conformité
L’objectif de viser le score de 100% de conformité est celui vers lequel il faut tendre. Toutefois, il ne faut pas oublier qu’un taux de conformité de 100% ne veut pas dire que toutes les personnes en situation de handicap pourront utiliser le site. Il faut voir ce taux comme un indicateur car ce n’est qu’un chiffre qui peut être interprété et qui peut avoir ses limites.
Les statuts
En tant qu’auditeur, pour chaque critère nous devons choisir un statut entre :
- Non testé : Le critère n’a pas été testé sur cette page
- Non applicable : Aucun élément de la page ne concerne ce critère
- Conforme : Tous le(s) élément(s) concernés par ce critère passent les tests de ce critère
- Non conforme : Au moins un élément concerné par ce critère présente une erreur
Le problème de ces statuts est leur valeur binaire : Conforme / Non conforme.
Un critère relevant une non conformité sans réel impact sur l’utilisateur sera traité de la même manière qu’un critère pouvant provoquer un blocage rendant le site inutilisable pour certains utilisateurs. Par exemple, une image de décoration qui ne serait pas ignorée sera non conforme : vis à vis de l’utilisateur cela risque de générer une gêne liée à la restitution par les lecteurs d’écran par exemple, mais dans la grande majorité des cas cela n’aura pas ou peu d’impact sur l’accès à l’information. Attention ce cas ne s’applique pas si l’image et son alternative sont contradictoires par exemple. A contrario un site ayant un menu de navigation qui ne serait pas atteignable au clavier sera totalement inutilisable pour l’utilisateur mais le site aura le même score de conformité.
C’est d’ailleurs l’une des dérives que l’on rencontre parfois : corriger les non conformités avec un impact limité ou faible pour faire augmenter rapidement le score de conformité. Il n’est pas rare que pour atteindre un objectif de taux (par exemple 50%) à moindre coût et dans un délai raisonnable, le choix se porte sur la correction des critères qui n’apparaissent qu’une fois et dont la correction est rapide (par exemple corriger des erreurs de contributions). La correction de ces critères fera très rapidement augmenter le score mais ils ne seront pas les plus critiques pour les utilisateurs.
Les dérogations et exemptions
Pour augmenter le score de conformité, certains déclarent des éléments de leur site comme dérogés ou exemptés de l’obligation légale en invoquant un flou autour de ces notions. Deux notions sont particulièrement interprétées avec plus ou moins de subjectivité :
- Les contenus exemptés pour “Contenus tiers” : Le RGAA prévoit l’exemption “des contenus de tiers qui ne sont ni financés ni développés par l’organisme concerné et qui ne sont pas sous son contrôle”. C’est souvent cette dernière notion de “sous son contrôle” qui est régulièrement invoquée or cela ne devait être utilisé que dans le cadre de participations externes aux contenus d’un site internet. Par exemple, dans un espace de commentaire, il n’est pas possible de garantir que les contenus saisis par un internaute seront conformes aux normes d’accessibilités (alternatives aux images, pertinence de ces alternatives, sigles, intitulés de liens…).
- La dérogation pour charge disproportionnée : Cette dérogation permet aux organisme de déroger des contenus “lorsqu’il est raisonnablement impossible à l’organisme de rendre un contenu ou une fonctionnalité accessible, notamment dans le cas où la mise en accessibilité compromettrait la capacité de l’organisme à remplir sa mission de service public ou à réaliser ses objectifs économiques.” Or cette dérogation demande à ce qu’une alternative soit mise à disposition (sauf si celle-ci représente aussi une charge disproportionnée) et que cette dérogation soit motivée (en tenant compte de la taille ou les ressources de l’organisme entre autres) . Malheureusement, cela n’est pas toujours le cas et donc cette dérogation n’est pas toujours légitime et cache parfois un motif de manque de temps et/ou de budget à consacrer à l’accessibilité ce qui au regard du RGAA n’est pas correct : “L’absence de priorité, le manque de temps ou de connaissances ne constituent pas des circonstances légitimes.”
Il est normal et tout à fait pertinent que les exemptions et dérogations existent. Toutefois, il ne faut pas en abuser et les utiliser lorsque c’est légitime.
L’échantillon
Un autre élément va influer sur l’audit et donc sur le résultat, c’est l’échantillon.
Mis à part pour les sites avec un nombre de pages très limité, il n’est pas possible de prendre la totalité du périmètre d’un site pour réaliser un audit. C’est pourquoi, l’audit se base sur un échantillon de pages composé de pages obligatoires (par exemple la page d’accueil, la page de mentions légales ou de contact si elles sont présentes) et un ensemble de pages représentatives des gabarits, des contenus et des fonctionnalités du site. Cet ensemble est idéalement défini en collaboration avec le client car il connaît son site et peut donc identifier les pages les plus fréquemment consultées où celles avec des contenus spécifiques. Parfois, c’est une proposition faite par l’auditeur à partir de la navigation sur le site et l’identification de pages avec des contenus pertinents à auditer : par exemple des pages avec des vidéos, des tableaux, des images porteuses d’informations (comme des infographies), des composants interactifs (modales, zones dépliables…).
L’échantillon va donc permettre d’identifier le niveau d’accessibilité de ces pages mais qu’en est-il du reste du site ?
De plus, si cet échantillon est conservé entre les audits et contre-audit, cela peut créer un paradoxe du pesticide, à savoir qu’à force de passer sur les mêmes pages on améliore l’accessibilité de ces pages mais le reste du site peut voir le nombre d’anomalies augmenter.
La date de l’audit
Un résultat d’audit donne un score de conformité à une date et dans un état précis. Un site est en constante évolution, c’est à dire que chaque jour, semaine, mois, il y a des modifications de contenus ou même des évolutions (modification de styles, nouveaux développements, ajout de fonctionnalité…) qui peuvent influer sur les conformités et non conformités du site. C’est un peu comme le contrôle technique d’un véhicule, même si un contrôle ne montre aucun défaut rien n’empêche qu’en sortant de l’établissement de contrôle un clignotant ou autre soit défaillant et tombe en panne 1h après, pourtant il sera toujours valide.
Ce score est donc à prendre en compte comme un état des lieux et non une fin en soi. Il doit plutôt être utilisé comme un indicateur sur la prise en compte de l’accessibilité numérique et les efforts réalisés à ce sujet par l’organisme.
Conclusion
Comme nous venons de le voir, l’accessibilité numérique ne se limite pas à un score affiché sur une page web. C’est un pan complet d’un projet web et le score de conformité doit être utilisé pour identifier les faiblesses de ce projet (des problèmes de contributions, des développements à prévoir…).
Pour l’utilisateur ce score permet d’identifier les efforts qui sont réalisés pour l’accessibilité numérique d’un site ou d’un processus mais il ne permet pas de lui assurer qu’il pourra utiliser le site dans sa totalité. C’est pourquoi, pour les responsables de projet, ce score ne doit pas être un objectif fini, même s’il s’agit du 100%, mais un objectif d’amélioration continue qui doit se poursuivre après l’obtention d’une conformité totale.
