Les étapes du projet

La procédure qui part de la décision d’évaluer à la mise en œuvre pratique de l’évaluation constitue une phase d’étude préalable ou projet d’évaluation. Cette élaboration nécessite la collecte, le tri et le traitement préalable de l’information disponible sur l’objet évalué. Cette phase aboutit à la rédaction d’un mandat et d’un cahier des charges, documents par lesquels le commanditaire confie la responsabilité de l’évaluation à une instance d’évaluation (dans le cadre d’un mandat) et à un spécialiste de l’évaluation (cahier des charges).
Les différentes actions pour l’élaboration du projet d’évaluation sont les suivantes :

• Définir le dispositif d’évaluation
• Faire un diagnostic préalable
• Rédiger le mandat de l’instance d’évaluation
• Élaborer le questionnement
• Élaborer un référentiel
• Rédiger le cahier des charges de l’équipe d’évaluation

Définir le dispositif d’évaluation

Outre le chef de projet, selon l’importance de l’évaluation à conduire, le commanditaire met en place le dispositif d’évaluation qui peut comprendre :

• l’instance d’évaluation,
• selon l’importance du projet l’évaluation ou l’équipe d’évaluation.

Les conditions dans lesquelles se réalise une évaluation doivent permettre de répondre à la double exigence d’une expertise indépendante, à savoir :

1- un regard extérieur porté sur l’objet de l’évaluation,

2- une prise en compte équitable des points de vue des décideurs, des acteurs et des bénéficiaires

Faire un diagnostic préalable

Cette phase permet d’affiner le projet en évitant les questions trop générales ou imprécises. Elle favorise le déroulement d’une réflexion de qualité, tant au niveau des acteurs que de l’instance d’évaluation.
Ce diagnostic préalable permet d’effectuer une première analyse et d’identifier les lacunes, mais aussi de fournir les premiers éléments de réponse quant aux causes des dysfonctionnements appréhendés ; aux solutions d’amélioration "évidente".
A partir d’une collecte des données disponibles (études déjà réalisées sur le même objet, statistiques, etc.), il consiste à :

• définir le champ de l’évaluation (reformuler la commande en termes d’objet de l’évaluation et de registre de l’évaluation - cf. Fiche technique « En lignes » N°15, §B4) ;
• vérifier s’il y a articulation avec d’autres objets ;
• préciser quelle période il faut prendre en considération ;
• retrouver les objectifs (explicites et implicites) d’origine de l’objet à évaluer et ceux qui auraient pu apparaître entre temps, ainsi que les résultats et les effets attendus ;
• recueillir la perception des acteurs concernés sur la réussite, les échecs et les dysfonctionnements.
  Ce recueil d’idées a priori ne constitue pas une anticipation sur les conclusions de l’évaluation, mais doit être considéré comme un recueil d’hypothèses à confirmer ou à infirmer ;
• définir le moment de l’évaluation (ex ante, ex post, in itinere, évaluation intermédiaire)
  L’évaluation ne doit pas être déconnectée de l’action, au risque que ses résultats n’intéressent plus personne. Il est important de trouver le moment où les résultats produits présentent de l’intérêt pour servir d’aide à la décision ou influer sur les comportements et les pratiques.

Rédiger le mandat de l’instance d’évaluation

Le mandat est le document officiel par lequel le commanditaire confie la responsabilité de l’évaluation à l’instance d’évaluation. Il insiste sur les questions qui intéressent le commanditaire, décrit le dispositif d’évaluation, fixe les délais. (Petit guide de l’évaluation - § 2.3)

Élaborer le questionnement

Il s’agit de l’étape clé de la mise au point du projet d’évaluation, car elle va structurer l’étape de recueil et de traitement de l’information, lors de la mise en œuvre du dispositif d’évaluation.
Ce travail consiste à transformer les questions générales telles que se les pose le commanditaire en hypothèses vérifiables sous forme de questions.

« Pour être efficace, une évaluation doit viser à répondre à des questions claires permettant d’aboutir dans des délais brefs à des réponses précises susceptibles de conduire à des décisions opérationnelles » (Circulaire du 28 décembre 1998).

Élaborer un référentiel

Le référentiel est constitué d’un ensemble de critères et de normes auxquels on se réfère sur lesquels on va s’appuyer pour se prononcer sur les performances de l’objet évalué.
Le référentiel de l’évaluation est indispensable pour porter un regard sur l’objet à évaluer.
Il s’appuie sur le questionnement.

Rédiger le cahier des charges de l’équipe d’évaluation

Le cahier des charges est la base contractuelle conclue entre le commanditaire et l’opérateur (évaluateur ou équipe d’évaluation).
Il contient notamment :

• Exposé des motifs : issue des études préalables, cette partie a pour objet d’exposer les raisons pour lesquelles l’évaluation a été décidée.
• Enjeux, finalités : les finalités décrivent l’utilisation prévue des résultats de l’évaluation.
• Champ de l’évaluation : décrire de manière exhaustive l’ensemble de ce qui fera l’objet de l’évaluation.
• Objectifs de l’évaluation : ils décrivent les connaissances ou résultats attendus associés au programme de l’évaluation.

Dans sa réponse au cahier des charges le(s) prestataire(s) pressenti(s) aura(auront) à définir et à proposer une approche méthodologique complète, la plus à même de réaliser les objectifs de l’évaluation.

• Questions évaluatives : questions auxquelles on demande aux évaluateurs de répondre, formulées sous forme de questions directes en termes de cohérence, de pertinence, d’efficacité, d’efficience et d’utilité finale (impact).
• Le bilan informationnel : issu du recueil d’informations effectué lors de l’étude préalable.
• Le dispositif de suivi de l’évaluation : comprenant le commanditaire, le chef de projet, l’instance d’évaluation, l’équipe d’évaluation (composition et rôle de chacun).
• Le calendrier et le phasage : la durée de l’évaluation doit être limitée dans le temps. Une durée excessive ne permet plus d’intégrer les conclusions aux processus de décision. Le cahier des charges précise les points d’arrêt donnant lieu à la rédaction de rapports intermédiaires débattus et validés par l’instance d’évaluation. Pour conclure, l’évaluateur présente un rapport final.

Pour plus de précisions : guide pour la préparation et la conduite d’évaluations régionales