Notre travail

Politique d’évaluation

Imprimer

Introduction

La Fondation Bill et Melinda Gates travaille en collaboration avec des partenaires en vue de promouvoir des solutions de long terme aidant les populations à mener des vies productives, en bonne santé. Pour atteindre nos objectifs ambitieux, il faut mener des évaluations rigoureuses de sorte que nos partenaires et nous-mêmes puissions constamment améliorer l'exécution de nos travaux.

L’évaluation est le processus qui permet de jauger, de manière systématique et objective, une intervention, un projet, une politique, un programme ou un partenariat en cours ou mené à terme. L’évaluation permet de déterminer quelles sont les actions qui permettent le mieux d’atteindre les résultats recherchés, comment et pourquoi les résultats recherchés se matérialisent ou non, quelles ont été les conséquences involontaires et quels sont les ajustements à apporter pour améliorer la mise en œuvre. Une bonne évaluation est un outil puissant d'information de la prise de décision de la fondation et des partenaires visant l’optimisation de ressources limitées pour un maximum d'impact. Elle se distingue des autres formes de mesures qui se contentent d’observer pour déterminer si un changement s’est ou non produit, et non pourquoi ou comment ce changement s’est produit.

À l’heure actuelle, nos modalités d’évaluation se caractérisent par la variation et, en l’absence d’une politique, le processus décisionnel est laissé aux équipes individuelles des programmes et aux chargés de programmes. Dans la mesure où la fondation apporte son soutien à une gamme variée de partenaires et de projets, il est nécessaire de définir clairement au niveau organisationnel comment l’évaluation doit varier de manière à informer au mieux le processus décisionnel d’un domaine à l’autre.

Objet de la politique

Notre politique d’évaluation à pour objet d’aider le personnel de la fondation et nos partenaires à harmoniser leurs attentes pour déterminer pourquoi, quand et comment utiliser l’évaluation. Plus précisément, la politique incite les équipes de la fondation à être plus transparentes, plus stratégiques et plus systématiques pour déterminer ce qui doit être évalué et comment. Notre objectif est d’intégrer l’évaluation dans la trame de nos activités, de parvenir le plus tôt possible à nous entendre avec nos partenaires quant à ce que nous évaluons et pourquoi, et de produire des éléments probants qui se révèleront utiles pour nous comme pour nos partenaires alors que nous allons de l’avant.

Contexte organisationnel

Notre politique d’évaluation est ancrée dans notre modèle de gestion, qui exige de travailler avec des partenaires en vue d’obtenir l’impact optimum. Très en amont du processus de proposition de subvention, nous travaillons avec des partenaires potentiels pour définir et convenir des résultats mesurables et des indicateurs de progrès et de réussite. Ceci permet à nos partenaires d’apprendre en faisant leur travail au lieu d’être distraits par des exigences de mesure et de préparation de rapport à tout bout de champ.

Cette approche renforce le rôle de l’évaluation en mettant l‘innovation à l’essai, en apportant des améliorations et en comprenant ce qui fonctionne et pourquoi afin de tirer rapidement les enseignements des échecs et de reproduire les succès.

De surcroît, cette politique est ancrée dans les valeurs fondamentales de la fondation : collaboration, rigueur, innovation et optimisme. Plus précisément :

  • Nous considérons l’évaluation comme un outil d’apprentissage collaboratif qui nous offre, ainsi qu’à nos partenaires, des informations de retour pour nous permettre d’apprendre, d’ajuster et de décider de la meilleure manière d’atteindre les résultats recherchés.
  • Nous appliquons à notre processus décisionnel la rigueur requise pour déterminer quand et comment faire appel à l’évaluation ainsi que les types d’évaluation à mettre en œuvre.
  • Nous estimons que l’évaluation est essentielle pour tirer les enseignements de projets novateurs et de programmes pilotes avant leur mise en œuvre à plus grande échelle.
  • Notre optimisme nous fait penser que l’évaluation peut étendre ses bénéfices à plusieurs disciplines alors que nous partageons des éléments probants utiles avec nos partenaires et d’autres.

Nos stratégies et l’évaluation

La formation organise ses ressources par stratégies, chacune dans un domaine ou dans un secteur spécifiques. Chaque stratégie a ses propres objectifs et priorités, ses propres partenaires et entités subventionnées et son affectation de ressources de la fondation. Les équipes stratégiques mettent en œuvre leurs stratégies en procédant à des investissements (dons, contrats et investissements liés à des programmes), ainsi que par un travail de plaidoyer.

Les équipes de la fondation mesurent les progrès de leurs stratégies et étudient les modalités les plus efficaces de réalisation des résultats prioritaires à l’aide de nombreux éléments probants différents. Une combinaison de résultats de l’évaluation, de surveillance des données par les partenaires, de rapports soumis par les entités subventionnées, de modélisation, de statistiques au niveau des populations et d’autres données secondaires constitue une option plus rentable et plus précise qui peut se substituer aux évaluations sommaires de grande envergure. Nous nous servons de l’ensemble de ces sources, y compris l’évaluation, le cas échéant, et le jugement pour déterminer comment peaufiner régulièrement les stratégies utilisées par la fondation.

L’évaluation est particulièrement justifiée dans les cas suivants :

  • Lorsque des éléments probants sont nécessaires pour combler une lacune de connaissance ou évaluer une décision politique d’importance. L’évaluation peut aider à dissiper les incertitudes et à déterminer la rentabilité relative de différents modèles, approches ou interventions.
  • Lorsque nos partenaires et nous-mêmes avons besoin de mieux comprendre les résultats d‘un groupe d’investissements importants ou d‘un projet ou programme spécifique.
  • Lorsqu’une organisation, un intermédiaire ou un consortium avec qui nous travaillons se trouve à un stade critique de son développement et peut tirer parti d’une évaluation indépendante de sa performance.
  • Lorsqu’une équipe de programme a besoin d’évaluer les progrès d’un nouveau modèle opérationnel ou d’une nouvelle approche opérationnelle. L’évaluation fournit une rétro-information indépendante et fiable sur ce qui doit être amélioré de manière à renforcer notre approche et nos relations avec nos partenaires.

L’évaluation est une priorité de haut niveau lorsque les résultats d’un programme sont difficiles à observer et que l’on ne dispose pas des connaissances requises pour déterminer comment obtenir des résultats au mieux – par exemple, lorsque nous travaillons en collaboration avec des partenaires qui œuvrent à l’amélioration de la prestation de services ou à la mise en œuvre de changements de comportements, à l’identification, la reproduction ou l’agrandissement de modèles novateurs ou à catalyser des changements au sein des systèmes, des politiques ou des institutions.

L’évaluation constitue une priorité de faible niveau lorsque les résultats des efforts sont aisément observables. C’est également le cas lorsque nos partenaires procèdent à une recherche scientifique de base, développent sans distribuer des produits ou des outils ou créer de nouveaux ensembles ou analyses de données. Dans ces types de scénario, les données d’avancement auto-déclarées par nos partenaires ainsi que les protocoles existants (par exemple pour les essais cliniques) fournissent suffisamment de rétro-information pour la prise de décision et l’amélioration.

Les équipes de programmes ne sont pas censées utiliser l’évaluation pour résumer les résultats des stratégies de la fondation. Il ne s’agirait pas là en effet de l’usage optimal de ressources limitées de mesures ou d’évaluation et ce pour deux raisons : (1) l’impact de nos investissements n’est pas toujours facile à distinguer de celui des efforts et des investissements de nos partenaires ; et 2) les dirigeants de la fondation souhaitent bien davantage savoir comment nos équipes peuvent utiliser de manière optimale leurs ressources et les partenariats et comment renforcer l’exécution des programmes.

Élaboration et méthodes d’évaluation

L’évaluation est une discipline contestée. Nous sommes conscients du débat animé et salutaire actuel qui cherche à déterminer le type d’éléments probants appropriés pour informer les politiques et pratiques en matière d’éducation aux États-Unis et de santé publique et développement à l’échelle internationale. Cependant, la diversité de nos partenaires et de nos axes stratégiques nous empêche de ne prôner que l’application de certains types d’éléments probants d’évaluation au processus décisionnel.

Nous évitons une approche « taille unique » à l’évaluation ; nous voulons en effet que nos efforts en la matière correspondent à un objectif et à des utilisateurs spécifiques. Cette approche de l’élaboration de l’évaluation, que nous qualifions d’adaptée à l’objectif, se compose de trois éléments :

  • Elle permet l’utilisation d’une gamme complète de méthodes, notamment la collecte et l’analyse qualitatives et quantitatives des données, les modèles rétrospectifs et prospectifs, l’expérimentation, l’évaluation fondée sur la théorie et les approches à base systémique.
  • Elle exige de nos équipes, des évaluateurs externes et de nos partenaires qu’ils soient rigoureux dans leurs déductions et explicites dans les hypothèses sur lesquelles ils se fondent pour parvenir à leurs conclusions.
  • Elle exige de nos équipes et de nos partenaires qu’ils examinent les éléments probants de l’évaluation dans le contexte de l’action afin que les efforts d’évaluation débouchent sur des conclusions pratiques et non des informations qu’il est simplement bon de connaître.

Les trois modèles suivants représentent la grande majorité des évaluations que nous appuyons.

Des évaluations visant à comprendre et à renforcer l’efficacité d’un programme

Des évaluations qui aident nos partenaires à renforcer l’exécution de projets figurent parmi les plus pertinentes pour la fondation en raison des informations de retour qu’elles fournissent sur ce qui fonctionne ou ne fonctionne pas à un emplacement donné ou d’un emplacement à l’autre.

Nous utilisons ce type d’évaluation dans les cas de figure suivants :

  • Lorsqu’un ou plusieurs partenaires procèdent à une combinaison d’interventions en vue de parvenir à des résultats combinés (par ex. une utilisation systématique et accrue des latrines, de meilleurs résultats scolaires ou universitaires, un allaitement au sein exclusif pendant les six premiers mois de la vie du nourrisson, l’utilisation d’un cultivar particulier, ou l’emploi de services financiers basés sur la téléphonie mobile par les femmes) à un endroit donné.
  • Lorsqu’un ou plusieurs de nos partenaires utilisent la même approche, le même produit ou la même solution à différents endroits.
  • Lorsque nous collaborons avec un partenaire en vue de promouvoir une affectation des ressources, une planification et une prestation de services efficaces pour un emplacement ou un secteur particulier.

Ces évaluations doivent être conçues en prenant en considération les éléments suivants :

  • Elles ne sont pas censées évaluer les relations de causalité entre les interventions et les résultats désirés.
  • Elles doivent avoir un objectif et une utilisation très spécifique. Dans la mesure où les évaluations peuvent devenir rapidement exhaustives et coûteuses, il est important que les conclusions correspondent de près aux besoins décisionnels du partenaire.
  • Nous appuyons le recours aux innovations technologiques pour la collecte et l’analyse des données afin de renforcer l’opportunité de l’obtention des données et l’accessibilité à ces dernières.
  • Les données quantitatives et qualitatives sont toutes deux pertinentes pour l’évaluation des processus, des opérations, de la rentabilité, des perceptions des principales parties prenantes et des facteurs conceptuels de facilitation.

Les évaluations peuvent inclure des estimations d’impact si celles-ci se révèlent nécessaires pour informer des décisions importantes, concernant l’intensification d’une initiative par exemple, ou le niveau de pénétration requis pour garantir un degré d’impact donné. Cependant, les estimations d’impact ne sauraient être utilisées comme preuves d’un impact au niveau macroéconomique.

Les hypothèses utilisées pour élaborer les estimations d’impact peuvent déboucher sur des marges d’erreur considérables ; c’est pourquoi il est essentiel de disposer d’une série robuste de référence pour les indicateurs clés de couverture, de même que des données expliquant l’évolution de ces indicateurs au fil du temps. L’impact au niveau démographique peut alors généralement être déterminé par modélisation ou par utilisation de données secondaires.

Dans certains cas particuliers, il peut être nécessaire de déterminer une relation de causalité entre la modification de la couverture et l’impact recherche au niveau démographique. Lorsque cela est le cas, le modèle choisi devrait comporter une analyse contrefactuelle plausible, obtenue généralement par modélisation ou par comparaison avec les tendances nationales ou sous-nationales.

Évaluations visant à tester les effets de causalité des projets pilotes, des innovations ou des modèles de prestation de services.

Les évaluations révélant une causalité peuvent être utilisées pour décider s’il convient d’intensifier ou de reproduire des projets pilotes, des innovations ou des modèles de prestation de services. De surcroît, elles peuvent fournir des connaissances essentielles à la fondation, à nos partenaires, aux décideurs politiques et aux agents de terrain.

Nous utilisons ce type d’évaluation dans les cas de figure suivants :

  • Lorsque les équipes et les partenaires de la fondation ont besoin d’éléments probants pour déterminer quelles sont les solutions les plus efficaces et les plus rentables au sein de vastes programmes.
  • Lorsque les équipes et les partenaires de la fondation investissent dans des projets pilotes et des innovations et ont besoin d’éléments probants pour persuader d’autres parties du bien-fondé d’une intensification à une zone géographique plus vaste ou d’une reproduction dans d’autres contextes.
  • Lorsque nos partenaires et nous-mêmes avons besoin de faire des compromis entre différentes tactiques de mise en œuvre, différentes approches de prestation des services et différents composants de programmes.
  • Lorsque nos partenaires et nous-mêmes avons besoin d’évaluer l’efficacité d’un plaidoyer, d’un marketing social et de tactiques de sensibilisation avant de choisir une stratégie générale visant à influencer les perceptions et les comportements.

Les évaluations de relations de causalité doivent être conçues en prenant en considération les éléments suivants :

  • Elles doivent pouvoir démontrer clairement que les effets positifs ou négatifs observés étaient le résultat de l’intervention ou de la tactique. Elles doivent également mesurer l’ampleur de l’effet causé par ladite intervention ou tactique.
  • Elles doivent pouvoir éliminer les effets de facteurs autres que l’intervention spécifique concernée, grâce à l’inclusion d’une analyse contrefactuelle plausible. Nous suggérons l’utilisation de modèles de nature expérimentale ou quasi-expérimentale dans ce contexte. S’il n‘est pas pratique ou pas plausible de créer une analyse contrefactuelle (par ex. lorsqu’une institution nationale fournit un soutien technique à un partenaire de l’État), nous suggérons alors que soit utilisé le type d’évaluation décrit ci-après.
  • Elles sont plus utiles lorsque nous testons les variations plutôt qu’une seule question (par ex. est-ce que x fonctionne ou non ?)
  • Elles doivent examiner les questions tout aussi importantes du comment et du pourquoi des modifications causées par l’intervention en examinant les processus, la performance et les coûts.

Les évaluations des relations de causalité ne devraient pas être employées lorsque les estimations existantes de l’efficacité et des résultats sont suffisantes. Il ne convient pas non plus de les utiliser pour évaluer des trains complets d’interventions avec de multiples axes de cause à effet.

Évaluations visant à améliorer la performance des institutions ou des modèles opérationnels

Les évaluations fournissant une mesure neutre de l’efficacité d’une organisation ou d’un modèle opérationnel peuvent informer le processus de prise de décision de la fondation et de ses partenaires quant au meilleur usage possible des ressources financières ou techniques, contribuer à la résolution des défis et appuyer les progrès en cours.

Nous utilisons ce type d’évaluation de manière sélective dans les cas de figure suivants :

  • Lorsque nous travaillons avec une organisation partenaire essentielle pour le succès d’une stratégie de la fondation.
  • Lorsque notre relation avec le partenaire est à un point crucial, où des informations supplémentaires détaillées sur un domaine particulier de collaboration peuvent informer les étapes suivantes, renforcer la collaboration et dépersonnaliser le processus décisionnel.
  • Lorsque nous élaborons de nouvelles modalités de travail (par ex. en établissant une présence accrue dans un pays particulier) et qu’une évaluation objective et systématique peut informer les décisions relatives à la mise en œuvre et renforcer les relations avec les principales parties prenantes.

Les évaluations de l’efficacité institutionnelle et des modèles opérationnels doivent être conçues en prenant en considération les éléments suivants :

  • Ces évaluations peuvent aisément devenir par trop exhaustives et pesantes pour le personnel de la fondation ou ses partenaires ; d’où l’importance capitale d‘une sélection rigoureuse des questions de l’évaluation et d‘un objectif clair.
  • Autant que faire se peut, ces évaluations doivent être réalisées en étroite collaboration avec d’autres bailleurs de fonds afin de tirer parti des gains d’efficacité, de parvenir à une compréhension commune du soutien dont ont besoin les principaux partenaires pour réussir et continuer à tirer les enseignements de notre expérience conjointe.

Ces évaluations sont essentiellement qualitatives et ne devraient donc pas tenter de déterminer les relations de causalité entre une organisation partenaire ou un modèle opérationnel et les résultats d’un programme.

Rôles et responsabilités de l’évaluation

Notre politique d’évaluation constitue un point de départ des efforts de renforcement de l’usage de l’évaluation dans le contexte de la fondation et avec nos partenaires. Nous la complétons par des ressources et des rôles définis au sein de la fondation qui permettent de déterminer clairement quand et comment recourir a l’évaluation et facilitons une gestion harmonisée des évaluations et de l’utilisation des conclusions. Ces ressources et rôles sont décrits de manière détaillée dans les sections ci-après.

Plans d’évaluation

Les équipes de programme de nos divisions États-Unis et mondiale qui travaillent avec des partenaires ont chacune un plan d’évaluation qu’elles partagent ouvertement avec leurs partenaires en vue de promouvoir la collaboration, les évaluations conjointes et l’apprentissage au sein de la fondation comme en-dehors de celle-ci. Le plan identifie les éléments probants existants de même que les lacunes critiques que nos partenaires et nous-mêmes devons combler pour informer le processus décisionnel et accroître les connaissances.

Les chargés de programme consultent le plan de l’équipe avant toute prise de décision concernant des évaluations particulières, afin de s’assurer que les investissements dans l’évaluation s’inscrivent bien dans un cadre stratégique global. Ils consultent également l’équipe centrale Stratégie, Mesure et Évaluation de la fondation, qui travaille avec toutes les équipes de programme de la fondation en vue d’identifier des opportunités d’investissement et de partager des évaluations qui peuvent s’appliquer à plusieurs programmes et de promouvoir l’innovation dans les méthodes d’évaluation.

Lors du processus de développement des subventions, nos chargés de programme et nos partenaires décident ensemble si une évaluation sera nécessaire, afin de garantir l’alignement sur les attentes et la disponibilité de ressources suffisantes pour produire des évaluations utiles. Au nombre des principaux facteurs figurent notamment les suivants :

  • Notre point de départ consiste à nos assurer que nos partenaires disposent de la capacité requise pour parvenir à des résultats mesurables et qu’ils peuvent utiliser les données pour procéder à des ajustements et à des améliorations.
  • Lorsqu’un partenaire perçoit le besoin d’une évaluation, nous fournissons des ressources financières et techniques afin de garantir que l’évaluation correspond à l’objectif et qu’elle peut produire des résultats dont pourra se servir le partenaire.
  • Le chargé de programme et le partenaire déterminent conjointement les utilisateurs prévus de l’évaluation, son modèle général et les ressources requises pour s’assurer que l’objectif, le moment et l’emploi des conclusions de l’évaluation correspondent.
  • Si le partenaire ne dispose pas de la capacité requise pour procéder à l’évaluation et que cette dernière est d’importance stratégique pour la fondation, l’équipe du programme pourra décider de faire appel à un évaluateur indépendant.

Toutes les évaluations financées par la fondation –qu’elles soient réalisées par des parties indépendantes ou intégrées dans le travail de nos partenaires— sont portées au registre d’évaluation de la fondation. Ceci nous permet de suivre les dépenses et les conclusions associées aux évaluations et garantit la continuité et la cohérence quels que soient les changements de personnel au sein de la fondation ou chez le partenaire.

Rôles et responsabilités

La responsabilité de l’évaluation se situe à de nombreux niveaux au sein de la fondation :

  • Les dirigeants de la fondation souscrivent pleinement aux principes sous-tendant cette politique d’évaluation, y compris l’accent placé sur une évaluation déterminée par les objectifs et l’utilisation de l’évaluation à des fins pédagogiques et décisionnelles plutôt que pour établir que les ressources de la fondation sont responsables des résultats des efforts conjoints avec les partenaires.
  • Nos directeurs de programmes et les présidents de la fondation suivent un processus rigoureux de prise de décision pour déterminer quand les équipes de la fondation doivent investir dans l’évaluation et quand ils doivent se servir des éléments probants tirés de l’évaluation dans leur propre processus de prise de décision ainsi que pour le dialogue et les activités de plaidoyer avec les partenaires et les entités subventionnées.
  • Nos chargés de programme prônent l’usage des conclusions de l’évaluation aux fins d’apprentissage au sein de la fondation et à l’extérieur. Ils se servent des plans d’évaluation de leur équipe pour orienter les décisions d’évaluation et sollicitent le soutien technique de leurs collègues chargés de la mesure, de l’apprentissage et de l’évaluation. Ils emploient également les éléments probants tirés des évaluations dans leur processus de prise de décision et leurs communications avec leurs partenaires. Ils sont responsables d’enregistrer les évaluations financées par la fondation au registre central et d’assurer une communication transparente des conclusions au sein de la fondation et à l’extérieur afin d’entretenir les connaissances institutionnelles et promouvoir la poursuite de l’apprentissage et de l’amélioration.
  • Nos équipes de programme ont intégré des spécialistes de la mesure, de l’apprentissage et de l’évaluation à l’appui de l’élaboration et de l’utilisation d’évaluations de haute qualité. Le rôle de ces spécialistes est notamment de contribuer à l’élaboration des plans d’évaluation des équipes, de diriger l’élaboration et la gestion d’évaluations de haute qualité, de fournir un soutien et une recherche techniques aux chargés de programme et aux partenaires qui élaborent des programmes ou des évaluations d’impact et de veiller à l’enregistrement des évaluations aux registre central de la fondation.
  • L’équipe centrale Stratégie, mesure et évaluation de la fondation est responsable de l’établissement et de la promotion de normes d’évaluation, de la création d’outils et de ressources pour l’usage de la fondation et des partenaires, et la promotion de l‘évaluation et de l‘apprentissage inter-programmes. Leurs responsabilités incluent notamment de veiller à l’intégration de l’évaluation au processus opérationnel de la fondation, à la tenue d’un registre d’évaluateurs indépendants, au financement d‘évaluations qui comblent des lacunes importantes en matière d’éléments probants ou répondent à des questions concernant plus d’un programme, à la fourniture au personnel de la fondation et de ses partenaires d‘une formation et d’un soutien au renforcement des capacités, et d’aider les équipes de programme et les partenaires ayant besoin de soutien ou de conseils en matière d’évaluation et de gestion.

Dans toute la mesure du possible, les équipes de la fondation recherchent des opportunités de se développer à partir du suivi et de l’évaluation des entités subventionnées au lieu de créer des systèmes parallèles, et d‘investir dans une capacité nationale d’évaluation à l’appui de nos programmes mondiaux. Nous reconnaissons que ceci peut exiger des investissements simultanés dans le renforcement des capacités d’évaluation de nos partenaires. Ce soutien est fourni directement par les équipes de programme et leurs spécialistes de la mesure, de l’apprentissage et de l’évaluation.

Conclusion

En 2008, la Fondation Bill et Melinda Gates a résolument adopté pour philosophie directrice une mesure pouvant donner lieu à des actions. Cette philosophie énonce clairement la nécessité d’une évaluation fondée sur les objectifs plutôt que l’adhésion à une méthode ou un modèle particulier. Le cas échéant, lorsque ceci correspond au type de travail que nous faisons, l’évaluation peut contribuer à dépersonnaliser le processus décisionnel et fournir des données objectives susceptibles d’informer l’action.

Ce document de politique présente dans ses grandes lignes la position de la fondation définissant pourquoi, quand et comment nous nous servons de l’évaluation pour créer des éléments probants utiles aux décideurs, améliorer l’exécution des programmes, informer nos activités de plaidoyer fondées sur des éléments probants, et développer des relations plus robustes avec nos partenaires et les entités subventionnées. Pour nous, il s’agit du point de départ d’un effort plus vaste visant à faire de l’évaluation de grande qualité une partie intégrante de la manière dont nous opérons et dont nous faisons notre travail.

Consulter notre blog