Les associations et l’évaluation de l’action publique : subir ou pratiquer ?

p11-évaluationLe tissu associatif reste encore assez peu familiarisé avec les principes et les méthodes de la pratique évaluative. La question laisse pourtant de moins en moins indifférent le secteur. Un certain nombre d’expériences illustrent la validité et l’intérêt de l’évaluation pour toutes les parties prenantes et au final pour la qualité des services rendus à la population.

Le secteur associatif se trouve en première ligne dans la mise en œuvre de nombreux domaines de l’action publique (cohésion sociale, environnement, habitat, insertion, accès aux soins, culture…). Cette mise en œuvre repose sur une diversité de structures, depuis l’association bénévole de quartier jusqu’aux grands opérateurs professionnalisés, affiliés à des fédérations parfois influentes dans les champs politique ou social.

Les modes de financement se diversifient, la subvention globale de fonctionnement ayant été le plus souvent supplantée par des subventions sur projet, avec ou sans convention pluriannuelle, voire par l’achat de prestations, tandis que sont expérimentées, ici ou là, des modes de contractualisation liés à la notion de Service d’intérêt économique général (SIEG). Dans un contexte de raréfaction des crédits publics, ces évolutions s’accompagnent d’une plus forte exigence de lisibilité des résultats par les financeurs. Les associations se trouvent alors soumises à des pratiques diversifiées de contrôle ou d’audit de la part des financeurs, tandis que les actions qu’elles mettent en œuvre peuvent faire l’objet d’évaluations, dans un cadre plus large. Ainsi, et pour clarifier une nuance parfois délicate à appréhender, un audit aura pour objet de vérifier le bon usage des financements (conformité à l’objet de l’attribution) ou la bonne gouvernance d’une association, alors que l’évaluation aura pour objet d’apprécier, à une échelle locale, régionale ou nationale, l’efficacité d’une action publique à laquelle l’association contribue.

Une frilosité des associations, un positionnement ambigu de la puissance publique

Depuis maintenant une vingtaine d’années, cette pratique évaluative se développe dans la plupart des domaines de l’action publique. Mais elle se heurte à des obstacles particuliers dès lors que l’action ou le programme évalué est porté par des associations. La sensibilité à la question des indicateurs d’évaluation est à cet égard illustrative de cette distance, avec la fausse opposition entre des indicateurs quantitatifs, perçus comme nécessairement réducteurs et idéologiquement suspects, et des indicateurs qualitatifs plus légitimes, mais extrêmement délicats à concevoir !

Par ailleurs, la démarche évaluative fait parfois apparaître l’absence de formalisation, voire de convergence, entre les objectifs « assignés » par la puissance publique aux associations qu’elle finance et ceux « défendus » par ces mêmes associations. Or la clarté des objectifs est un préalable essentiel à la conduite de l’évaluation.

Enfin, le positionnement de la puissance publique est parfois « ambigu », oscillant entre une volonté d’associer pleinement les associations à une démarche évaluative et la tentation d’utiliser l’évaluation comme un outil de contrôle des associations, parfois dans l’intention de désigner l’opérateur associatif comme unique responsable des limites constatées de l’action. Lorsque de telles dérives se manifestent, elles révèlent une conception de l’action publique qui, reposant massivement sur une délégation des missions vers le secteur associatif, parfois pour de bonnes raisons (souplesse d’intervention, capacité d’initiative) et parfois pour de moins bon­nes (maîtrise des coûts et externalisation des conséquences de la variabilité des budgets publics) peine à co-assumer la responsabilité de l’efficacité, ou de l’inefficacité, des actions conduites.

Ne pas subir l’évaluation mais  la co-construire

Quoi qu’il en soit, on constate que cette préoccupation évaluative pénètre progressivement le secteur associatif. Que ses acteurs y soient « soumis », qu’ils en soient partie prenante, ou qu’ils pressentent devoir s’y confronter dans un avenir proche, cette question les laisse de moins en moins indifférents, ce qui en amène certains à poser comme exigence légitime d’être force de proposition pour le choix d’indicateurs pertinents, et d’autres à engager, en interne à leurs réseaux, des démarches de formation, voire d’auto-évaluation. Plusieurs cas de figure apparaissent.

Soit les associations s’accordent avec leur(s) financeur(s) sur la construction d’une démarche d’évaluation dans laquelle les critères vont être discutés : il n’est nul besoin ici de parvenir à un accord parfait, la position de chacun rendant légitimes des approches différenciées, l’intérêt étant de les confronter sans exclusive, l’évaluation n’en sera que plus riche. Si cette approche peut mettre autour de la table plusieurs financeurs concernés, c’est la cerise sur le gâteau et au final un gain espéré de cohérence !

Le second cas de figure est celui de l’auto saisine par une association ou un réseau qui souhaite éclairer son action par une meilleure connaissance et analyse de celle-ci, dans une optique d’ajustement ou, pourquoi pas, de valorisation auprès des institutions (on n’est pas toujours le meilleur là où on le croit !).

Dans tous les cas, les acteurs engagés dans une telle démarche, certes exigeante intellectuellement, expriment leur satisfaction d’avoir pu, à cette occasion, réintroduire du sens à leur action, ou le rendre plus lisible, par la confrontation des résultats à des objectifs parfois perdus de vue. Dans un contexte de pression sociale et politique où peuvent se manifester des dérives activistes, un tel apport ne peut être négligé.

On peut retenir de ces expériences quelques enseignements. De prime abord, le fait que les associations ne sauraient être considérées comme des simples prestataires pour le compte de la puissance publique (sauf dans le cas explicite du recours au marché public). De ce fait, l’efficacité de leurs actions est également la résultante de l’efficacité de la politique, ou du programme dans lequel elles s’inscrivent, notamment en termes de clarté et de cohérence des objectifs, de cadre réglementaire, de ressources mobilisées… De ce fait, prétendre évaluer une politique ou un programme en n’évaluant que les « outputs » produits par les associations, voire en « auditant » celles-ci n’a que peu de sens.

Évoquer le critère de l’utilité sociale

Ensuite, la conviction qu’en tant que coproductrices des politiques ou des programmes, les associations doivent être associées à l’évaluation et non simplement la subir. Oui mais comment et jusqu’à quel point ? En premier lieu, le devoir de la puissance publique est d’informer les associations sur les démarches évaluatives projetées qui les concernent et ce, le plus en amont possible. Ce réflexe ne peut toutefois suffire dans la perspective d’une commande à la fois précise et riche. Les associations ont donc leur mot à dire au stade de l’élaboration du « cahier des charges » pour enrichir les questions évaluatives, pour suggérer des indicateurs pertinents et apporter un point de vue éclairé sur la praticabilité de ceux retenus. Le critère d’utilité sociale, qui fait l’objet de nombreux travaux conceptuels et méthodologiques depuis quelques années, peut ainsi être utilement convoqué aux côtés de ceux, plus habituels, d’efficacité, de cohérence, d’efficience…

Mais, pour favoriser un bon usage ultérieur des résultats de l’évaluation, le plus important est la participation des associations à la mise en débat de ces résultats afin que chacun puisse se saisir des enseignements utiles à l’amélioration de sa propre pratique. Ainsi, c’est cette traduction con­crète du caractère pluraliste de l’évaluation, prôné par la charte proposée par la Société française de l’évaluation, qui permettra de différencier une approche partenariale de l’action associative, d’une approche purement instrumentale.

Reste que pour être véritablement partie prenante de ces démarches, le tissu associatif doit se familiariser avec les principes et les méthodes évaluatives, ce qui implique de sa part un effort de sensibilisation et de formation de ses acteurs, et par conséquent soulève la question des moyens de cette « acculturation ». La formation continue, la participation à des échanges, la mutualisation des pratiques, l’appui des têtes de réseau sont ici autant de voies à explorer dans cet objectif.

François Lecouturier, membre du bureau de la Société française de l’évaluation (1) gérant du cabinet Itinere Conseil

(1) www.sfe-asso.fr