Gestion de la qualité microbiologique : présentation du comparateur

Revenir à la page principale

Gestion de la qualité microbiologique : présentation du comparateur

Posté le 4 octobre 2016 par FluksAqua
Posté dans infographie, Taggé benchmark, comparateur, eau potable, étude, gestion de la qualité, opendata, qualité microbiologique,

Le comparateur est destiné aux collectivités publiques et aux professionnels  des services d’eau. Il leur permet de situer la performance de leur service pour la gestion de la qualité microbiologique de l’eau distribuée.

L’évaluation proposée permet de mettre leur service d’eau en perspective par comparaison avec les performances atteintes par des services qui seraient dans un contexte similaire, et d’évaluer en conséquence leur marge de progrès dans le domaine.
qualité-microbiologique-1024x316

Ce comparateur ne doit en aucun cas être vu comme une évaluation de la qualité de l’eau qui est distribuée au consommateur, ce pour 2 raisons:

  • au plan microbiologique, la maille géographique du service est trop large. La qualité au réseau d’eau potable peut fortement varier au sein d’un service, selon les sources de production et les unités de distribution
  • par ailleurs, cette évaluation ne tient pas compte  de quantité de paramètres physico-chimiques qui peuvent être importants sur la santé à long terme (e.g: arsenic, pesticides, nitrates,  etc..). La raison est que ces paramètres ne reflètent pas la performance quotidienne du service d’eau potable dans sa gestion de la qualité. Leur maîtrise relève avant tout de politiques de long terme: choix d’infrastructure, protection de la ressource, prévention des pollutions du milieu naturel.

Ceux qui s’intéressent à la qualité de leur eau au robinet et non pas à la performance de leur service trouveront une information détaillée et récente en allant sur le site de l’autorité chargée de contrôler la qualité de l’eau potable*.

Les résultats du comparateur sont communiqués service par service dans notre page “benchmark”

Le principe général est d’attribuer un score à chaque service, allant de 1 à 5, reflétant la position relative du service par rapport à ses pairs, selon l’échelle suivante:

  • 1/5 Plus hauts risques microbiogiques du groupe de pairs
  • 2/5 Risques avérés 
  • 3/5 Risques microbiologiques ou goût de chlore
  • 4/5 Très bonne gestion
  • 5/5 Meilleures pratiques

Les données sources sont celles fournies par le Ministère de la Santé** pour les résultats des analyses, SISPEA pour la description des services et l’INSEE pour la densité de population par commune.

Les résultats globaux obtenus confortent la pertinence du comparateur comme outil pour identifier les marges de progrès:

  • la densité de population apparaît comme un facteur clef influant la qualité microbiologique, donc comme un critère pertinent pour construire les groupes de pairs
  • les résultats sont persistants d’une année sur l’autre: la tendance dégagée sur les années passées est un bon prédicteur du futur
  • il existe en outre une relation claire avec le score du service en matière de pertes en eau: en moyenne, plus la note du service est élevée dans la dimension “gestion de la qualité”, meilleure sera sa performance également en matière de gestion des pertes en eau.

Un outil pour se comparer entre pairs

Les pairs sont les 100 services les plus proches en terme de densité de population.

Cette notion de groupe de pairs est essentielle pour intégrer le fait qu’il est plus difficile de gérer un réseau en milieu rural que dans une ville. Plus le réseau pour alimenter un abonné est long, plus au niveau de l’abonné les risques de pollution de la ressource sont importants.

Cette relation est flagrante lorsqu’on regarde le lien entre densité de population et part des services ayant une proportion significative de non conformité bactériologique***.

taux-de-conformite-microbiologique

Si on s’intéresse uniquement aux services ayant plus de 0,5% de non conformité, on observe également une relation claire entre la densité de population et la distribution des taux de non conformités****.

conformite-microbiologique-vs-densite-population

Pour les services ayant un taux de conformité supérieur à 99,5%, on observe de même une relation claire entre la densité de population et la distribution du taux de chlore libre :

chlore-libre-vs-densite-population

Un classement relatif, fondé sur le résultat atteint et les moyens utilisés  

La gestion de la qualité microbiologique vise d’abord à obtenir pour le consommateur un risque nul de contamination microbiologique (peu ou pas d’analyses non conformes). Une bonne gestion est caractérisée par une utilisation optimale du chlore : surdosé, il  contribue à dégrader le goût de l’eau, sous-dosé, il peut conduire à des risques microbiologiques.

Deux paramètres interviennent donc dans l’évaluation : le taux de conformité microbiologique et le taux de chlore libre.

On distingue donc dans un premier temps deux groupes de pairs:

  • ceux qui ont un taux de non conformité nul ou négligeable. Pour ceux-là, l’évaluation se fait sur la base du taux de chlore libre utilisé pour atteindre ce bon résultat. Plus il est bas, plus la gestion est performante. 
  • ceux qui ont un taux de non conformité significatif. Pour ceux-là, le classement se fait sur la base du taux de non-conformité. Le groupe est donc divisé en trois tiers, selon le taux de non conformité mesuré

Ce principe de classement relatif doit être modulé par le fait qu’il existe des seuils sur le taux de chlore libre, indépendamment du groupe des pairs:

  • dans certains pays, il existe un taux de chlore libre minimum fixé par le législateur. Dans ce cas, être au dessous du taux minimum exigé ne peut être vu comme relevant d’une bonne gestion. Même si certains experts ou organismes (tel que l’OMS) recommandent des taux de chlore libre minimaux, nous avons choisi de ne pas mettre de minimum lorsque le législateur n’impose rien. En effet, la pratique dans des pays tel que les Pays-Bas et l’Allemagne vise un taux de chlore nul, par une gestion très rigoureuse du réseau*****.
  • il existe un taux de chlore au delà duquel la potabilité de l’eau est affectée, non en raison de risques pour la santé mais simplement de tolérance du consommateur par rapport au goût de l’eau. Ce seuil ne peut-être fixé en valeur absolu pour tous les pays: il dépend d’une certaine manière de la culture culinaire. Nous avons choisi donc pour le fixer de prendre comme seuil le 95-percentile parmi tous les services du pays ayant 100% de conformité.

En pratique, pour la France, on a CHl.Min = 0 et CHl.Max = 0,46 mg/l

Les scores des réseaux sont ainsi répartis en 5 niveaux, selon la grille suivante :

comparateur-qualite

Une vision agrégée au niveau du service d’eau potable

Les données d’analyse sont fournies pour des territoires qui ne sont pas forcément cohérents avec ceux d’un service d’eau potable.

Lorsqu’une analyse concerne plusieurs services (au sens SISPEA du terme), le nombre d’analyses est réparti au prorata des populations.

Lorsqu’un service est concerné par plusieurs territoires d’analyses, les données extensives (nombre d’analyses) sont agrégées au niveau du service, les données intensives (taux de conformité, taux de chlore libre) étant calculées au prorata du nombre d’analyses.

En ce qui concerne les infographies, les résultats sont agrégés pour des raisons de lisibilité. L’approche est similaire :

  • on commence par répartir les résultats par commune. Les données extensives (nombre d’analyses)  sont réparties au prorata des populations, les données intensives (la note, le taux de conformité et le taux de chlore) étant supposées identique sur toutes les communes du service. Si une commune est desservie par plusieurs services, on affecte les populations par note, au prorata du nombre d’analyses
  • puis on agrège sur la communauté de communes les populations par note obtenue.

Cette méthode, si elle ne permet donc pas d’apprécier la qualité de l’eau distribué au niveau d’une commune (voir supra), vise à évaluer la performance du ou des services en charge de la gestion des réseaux de la communauté de commune, en pondérant bien cette évaluation au prorata des populations concernés: un grand service urbain ne pourra pas être pénalisé par quelques analyses non conformes sur un petit service rural. En outre, en prenant un niveau agrégé large, on réduit le risque de voir l’analyse faussée par un biais lié au contexte local.

Des résultats à relativiser en fonction du contexte local

Comme tout système de comparaison, l’évaluation de la performance peut pour certains services être biaisée par des facteurs objectifs.

Le premier est bien sûr la densité de population. La méthode retenue atténue le biais, mais ne l’élimine pas complètement. La raison est qu’un service présentant un nombre significatif d’analyses non conformes ne peut objectivement pas être présenté comme ayant une bonne gestion de la qualité microbiologique. Etant donnée que la proportion de services présentant des non conformités décroît avec la densité de population, on observe logiquement une sous-représentation des meilleurs notes dans les services à basse densité****** :

notation-vs-densite

Un autre biais est le nombre d’analyses effectuées : plus il est faible, moins le résultat est fiable. Une analyse non conforme peut résulter d’une erreur de prélèvement. Ce biais n’est pas corrigé dans le benchmark : les données sources sont visibles, et l’outil s’adresse à des professionnels, capables de relativiser le résultat lorsqu’on parle d’une mauvaise analyse sur 10 prélèvements. Pour les infographies, qui peuvent toucher un public non averti, le choix fait a été de ne pas afficher les résultats s’ils reposent sur moins de 30 analyses, et pour les scores les plus bas, au moins 2 analyses non conformes.

Enfin, des biais sont possibles, liés au contexte local.  Ainsi, la qualité de la ressource n’est pas prise en compte dans la constitution des groupes de pairs, car il est impossible d’affecter avec fiabilité les ressources à tel ou tel service : ceci défavorise ceux qui n’ont par exemple accès qu’à de l’eau de surface. De même, il n’est pas toujours possible de distinguer le chlore libre mesuré en sortie d’usine de celui mesuré aux points de distribution. Dans ce cas, le taux de chlore moyen du service est décalé vers le haut.

Le taux de chlore libre, un critère de performance?

L’intégration du taux de chlore libre dans le score a suscité un débat avec des experts dans le domaine. Les principales objections avancées sont les suivantes :

  • au plan réglementaire, il ne fait pas parti des paramètres de qualité de l’eau, puisque aux doses habituelles il n’a pas d’effets connus sur la santé humaine*******
  • certains services disposant de ressources de grande qualité n’ont pas besoin de chlorer; à l’inverse, il peut être de bonne gestion d’augmenter temporairement le taux de chlore, pour prévenir une menace de contamination******** . Enfin, la mesure du chlore libre est dépendante de sa localisation – élevée au niveau de la production, faible en bout de réseau.

Il convient de rappeler en premier lieu que le score ne mesure pas la qualité de la ressource, mais plutôt la performance de l’exploitant. Pour un service ayant 100% de conformité, la performance est d’autant plus grande de le taux de chlore libre est faible au niveau du consommateur. Alors qu’avoir un taux de chlore libre élevé procure une marge de sécurité importante, un taux de chlore libre faible ou nul impose une vigilance constante sur les sources de contamination possible.

Le fait de maintenir le taux de chlore libre le plus bas possible présente un intérêt pour le consommateur: minimiser le goût ou plus précisément l’odeur de chlore*********.  L’enjeu est ici environnemental:  l’utilisation de l’eau du robinet comme eau de boisson, comme alternative à l’eau en bouteille.  L’enjeu est significatif au regard de la mise en oeuvre de la COP21: 1 m3 d’eau consommé en bouteille à un bilan carbone de 581 kgeqCO2**********, alors qu’il est proche de zéro pour l’eau du robinet.

Le taux de chlore libre est en outre en passe de devenir un enjeu en terme de santé publique, lorsqu’il induit des sous-produits de chloration. Voir sur le sujet notre article de blog Quel est le taux de chloration optimal en réseau d’eau potable?

Les objections relatives aux éléments de contexte spécifiques, explicatif du taux de chlore libre indépendamment de la performance de gestion, renvoie au caractère réducteur de tout score fondé sur un nombre limité de paramètres. Faut-il de ce fait renoncer à établir un score? Oui, si le score est utilisé pour juger. Non, dans le cas contraire: l’évaluation est source de progrès si elle permet de provoquer un dialogue entre les parties prenantes sur les priorités et les voies de progrès, en intégrant bien sûr tous les éléments  spécifiques au service.Un outil  pour faire progresser l’efficacité du service

 

Un outil  pour faire progresser l’efficacité du service

Pour un professionnel connaisseur du contexte local, ces biais peuvent être facilement pris en compte pour contextualiser le score du service. Celui-ci doit d’abord être vu comme une façon d’estimer la marge réaliste de progrès du service, par rapport à ses pairs, en tenant compte du principal facteur objectif – le caractère urbain ou rural du service.
Pour toutefois être un estimateur opérationnel des gains potentiels, cet indicateur doit être persistent: s’il fluctue aléatoirement d’une année sur l’autre, il ne peut pas guider l’action du service. Pour vérifier ce point, nous avons pris les 1155 services pour lesquels nous avons pu produire un score pour les années 2009 à 2015. Nous avons mesuré l’erreur faite en utilisant la tendance observée sur la période 2009 à 2014 pour prédire l’année 2015. Les résultats obtenus confirment sans doute possible que l’indicateur est stable: dans 90% l’erreur est négligeable ou faible; dans seulement 2% des cas, l’erreur est importante*******.

taux-derreur-projection

Progresser dans la gestion de la qualité de l’eau va non seulement permettre de mieux servir les usagers, elle va souvent aller de pair avec une amélioration de l’efficacité du service dans d’autres dimensions. On observe ainsi qu’en moyenne meilleur est le score sur la qualité, moins le gain potentiel sur le rendement de réseau est élevé (tel que mesuré par le comparateur), donc meilleure est la performance du service dans cette autre dimension. Cette relation moyenne se retrouve au niveau des services partageant la même densité de population.

efficacite-pertes-eau-vs-qualite

Ce résultat est conforme à l’intuition: tout progrès fait dans le suivi des paramètres standards de fonctionnement du réseau inclut en général le renforcement des pratiques visant à assurer une bonne qualité microbiologique, une maîtrise des taux de chlore et une surveillance des volumes journaliers et débits de nuit, et conduit aussi à l’amélioration  du rendement de réseau.

NOTES :

Pour la France le Ministère de la santé permet d’accéder en ligne aux derniers résultats de sa commune: http://social-sante.gouv.fr/sante-et-environnement/eaux/article/qualite-de-l-eau-potable

** Ministère chargé de la Santé – ARS -SISE-Eaux

*** Résultats détaillés par service SISPEA visibles ici

****Données sources accessibles ici

***** “Incidence of faecal contaminations in chlorinated and non-chlorinated distribution systems of neighbouring European countries” Beate Hambsch, Karin Bockle and J. Hein, Journal of Water and Health | 05.Suppl 1 | 2007

******Données sources accessibles ici

*******Pour la France, voir arrêté du 11 janvier 2007 relatif aux limites et références de qualité

********Voir par exemple “Partie publique du Plan gouvernemental de vigilance, de prévention et de protection face aux menaces d’actions terroristes” n° 650/SGDSN/PSN/PSE du 17 janvier 2014 63-67

*********Sabine Puget, 2010, “Chlorine flavour perception and neutralization in drinking water”

**********Adrien W, 2012, Info’Ose

***********Données sources accessibles ici

avatar

A propos de l'auteur

Notre but : faciliter l'échange de savoir-faire entre exploitants, quelque soit leur organisation et leur niveau hiérarchique. D'où ce forum, anonyme et gratuit.N'hésitez pas à partager avec nous vos attentes, remarques et conseils pour nous aider à faire évoluer ce forum dans le bon sens !!