Nuestro trabajo

Política de evaluación

Imprimir

Introducción

La Fundación Bill y Melinda Gates colabora con sus asociados para brindar soluciones a largo plazo que ayudan a las personas a tener una vida más saludable y productiva. Para cumplir nuestros ambiciosos objetivos, debemos llevar a cabo una evaluación rigurosa para que, junto con nuestros asociados, podamos seguir mejorando constantemente nuestros métodos de trabajo.

Una evaluación es la valoración sistemática y objetiva de intervenciones, proyectos, políticas, programas y relaciones colaborativas, en curso o completados. Nos servimos de las evaluaciones para responder interrogantes sobre cuáles son las actuaciones que generan mejores resultados, cómo y por qué se han logrado o no ciertos resultados, qué consecuencias no deseadas se han desencadenado y qué cabe ajustar para mejorar la ejecución de estrategias. Si se realizan de forma satisfactoria, son una herramienta muy eficaz que ayuda a la Fundación y sus asociados a tomar decisiones sobre la mejor forma de invertir recursos escasos para que tengan un gran impacto. La evaluación difiere de otras formas de medida de resultados dedicadas exclusivamente a constatar si se ha dado un cambio o no, sin analizar el por qué o cómo se ha producido dicho cambio.

Nuestras prácticas actuales de evaluación se caracterizan por la diversidad de métodos, y, allí donde no hay una política definida, la toma de decisiones depende de los equipos y agentes responsables de programa individuales. Dado que la Fundación trabaja con asociados y proyectos de índole muy distinta, es fundamental conocer a la perfección su organigrama y aplicar métodos de evaluación distintos en cada caso para poder informar lo mejor posible a los responsables de tomar decisiones en las distintas áreas de trabajo.

Objetivo de la política 

Nuestra política de evaluación tiene como fin ayudar al personal de la Fundación y a nuestros asociados a unificar su criterio para determinar por qué, en qué momento y cómo deben aplicarse los métodos de evaluación. En concreto, dicha política insta a los equipos de la Fundación a actuar de forma transparente, estratégica y sistemática a la hora de decidir qué evaluar y cómo. Nuestro objetivo es integrar el aspecto evaluativo en el entramado de nuestro trabajo, lograr una pronta unificación de criterios con nuestros asociados a la hora de decidir qué evaluar y por qué, y generar una base empírica que nos ayude a avanzar, a nosotros y a nuestros asociados.

Contexto organizativo

Nuestra política de evaluación tiene su origen en nuestro modelo de negocios, que consiste en asociarnos con distintas entidades para tener el mayor impacto posible. Desde el momento en que se presenta la propuesta de subvención, trabajamos con asociados potenciales para definir y consensuar resultados medibles e indicadores de progreso y éxito. Esto permite que nuestros asociados vayan aprendiendo a medida que van desempeñando su trabajo, en vez de tener que estar pendientes de requisitos de medición de resultados y de rendición de cuentas en cada etapa del proceso.

Este enfoque refuerza el papel de la evaluación para poner a prueba la innovación, procurar mejoras e identificar lo que funciona y por qué para así aprender rápido del fracaso y reproducir las soluciones de éxito.

La política también se enraíza en los principios rectores de la Fundación: colaboración, rigor, innovación y optimismo. Para ser más concretos:

  • Creemos que la evaluación es una herramienta de aprendizaje colaborativo que nos brinda la información necesaria, tanto a nosotros como a nuestros asociados, a fin de poder mejorar, ajustar nuestras actuaciones y decidir cuál es la mejor forma de lograr resultados.
  • Tomamos decisiones rigurosas sobre cuándo y cómo llevar a cabo una evaluación, así como sobre qué método de evaluación es preciso aplicar.
  • Creemos que la evaluación es un elemento crucial para aprender de los proyectos innovadores y programas piloto antes de reproducirlos a gran escala.
  • Nuestra visión es optimista, y confiamos en que, gracias a las evaluaciones y el hecho de compartir datos útiles con nuestros asociados y otros actores, podremos expandir mejoras beneficiosas en múltiples disciplinas.

Nuestras estrategias y evaluaciones

La Fundación organiza sus recursos por estrategias, cada una de las cuales pertenece a un área o sector específico. Cada estrategia tiene sus propios objetivos y prioridades, sus asociados y subvencionados, y su asignación de fondos de la Fundación. El equipo de cada estrategia se encarga de ejecutarla mediante inversiones (subvenciones, contratos y otras inversiones relacionadas con el programa) y actividades de defensa de la causa.

Cada equipo mide el progreso de sus estrategias e investiga qué es lo que funciona mejor para lograr los objetivos prioritarios apoyándose en distintos tipos de datos empíricos. La combinación de las conclusiones de la evaluación, los datos de la supervisión de los asociados, los informes de los subvencionados, predicciones, estadísticas sobre el impacto en la población y otros datos secundarios ofrece una alternativa mucho más rentable y precisa que cualquier ambiciosa evaluación sumativa. Nos servimos de todos estos recursos, incluida la evaluación si se estima oportuna, acompañados de la opinión y el criterio de los expertos, para decidir cómo perfeccionar las estrategias de la Fundación de forma continuada.

Llevar a cabo evaluaciones es especialmente procedente en los siguientes casos:

  • Cuando se requiere una base empírica para rellenar un vacío de conocimiento o evaluar una decisión política relevante. Las evaluaciones pueden contribuir a eliminar la incertidumbre y a determinar la rentabilidad relativa de distintos modelos, intervenciones o enfoques.
  • Cuando la Fundación y nuestros asociados requieren más información sobre el rendimiento de un paquete de inversiones importante o de un proyecto o programa determinado.
  • Cuando una organización, intermediario o consorcio con el que colaboramos se encuentra en una fase crítica de crecimiento, y una evaluación independiente de su rendimiento podría beneficiarlo.
  • \
  • Cuando un equipo de programa necesita evaluar el progreso de un nuevo modelo o enfoque operacional. Las evaluaciones proporcionan información fiable e independiente sobre lo que cabría mejorar para fortalecer nuestras estrategias, así como los lazos con nuestros asociados.

Las evaluaciones devienen una prioridad principal cuando los resultados de un programa no se pueden observar fácilmente, o bien cuando no se dispone de la información suficiente para determinar cuál es la mejor manera de lograr los resultados propuestos (como cuando colaboramos con asociados que pretenden mejorar su prestación de servicios; cambiar hábitos; identificar, reproducir o ampliar modelos innovadores; o introducir cambios en un sistema, política o institución.

Sin embargo, las evaluaciones serán menos prioritarias cuando los resultados de nuestro trabajo puedan observarse fácilmente. También serán menos prioritarias en aquellas áreas en que nuestros asociados estén realizando investigaciones científicas básicas, produciendo (y no distribuyendo) artículos y herramientas, generando nuevos datos o bien analizándolos. En estos casos, los datos de progreso que brinden los mismos asociados, junto con los protocolos existentes (como los de los ensayos clínicos) proporcionan la información suficiente para tomar decisiones y aplicar mejoras.

Los equipos de programa no deben servirse de ningún método de evaluación para dar cuenta de los resultados de las estrategias de la Fundación. Esta no sería la mejor forma de aprovechar los escasos recursos dedicados a la evaluación y medición de resultados por dos razones: 1) el impacto de nuestras inversiones no se podría distinguir del de las inversiones y el trabajo de nuestros asociados; 2) los directivos de la Fundación prefieren obtener información sobre cómo pueden nuestros equipos aprovechar al máximo los recursos y relaciones asociativas y sobre cómo fortalecer la ejecución de los programas.

Métodos y diseño de las evaluaciones

La evaluación es una disciplina que genera debates. Somos conscientes de la existencia del debate vigente y tan saludable sobre qué tipo de pruebas son adecuadas para tomas decisiones sobre las políticas y prácticas educativas de los Estados Unidos, o sobre la salud pública y el desarrollo a nivel internacional. Sin embargo, debido a la diversidad de asociados y ámbitos de actuación de la Fundación, no podemos basar nuestras decisiones en un conjunto restringido de tipos de pruebas de evaluación.

No nos queremos limitar a un enfoque evaluativo universal, sino que optamos por diseñar cada método de evaluación en función de su finalidad concreta y sus usuarios previstos. Esta forma de entender el diseño de las evaluaciones, la cual denominamos diseño según la finalidad, presenta tres características básicas:

  • Permite la aplicación de una gran variedad de métodos, entre los cuales se incluyen el análisis y la recopilación de datos cualitativos y cuantitativos, los diseños retrospectivos y prospectivos, la experimentación, las evaluaciones con base teórica y los enfoques basados en sistemas.
  • Requiere que nuestros equipos, investigadores independientes y asociados hagan inferencias con rigor y describan explícitamente los supuestos en los que basan sus conclusiones.
  • Requiere que nuestros equipos y asociados entiendan la base empírica que aportan las evaluaciones dentro de un contexto de actuación, para que los métodos de evaluación generen conclusiones a partir de las cuales se pueda actuar, y no información simplemente interesante.

Los tres diseños que presentamos a continuación representan la gran mayoría de los métodos de evaluación de los que nos servimos.

Métodos de evaluación para entender y aumentar la eficacia de los programas

Las evaluaciones que ayudan a nuestros asociados a mejorar la ejecución de proyectos se encuentran entre las más relevantes para la Fundación porque proporcionan información sobre qué funciona y qué no funciona en un lugar determinado o en distintos territorios.

Aplicamos este método en los siguientes contextos:

  • Cuando uno o más asociados intervienen en un mismo ámbito de actuación a distintos niveles para lograr un paquete de resultados (tales como un uso más frecuente y sistemático de letrinas, un mejor rendimiento académico, la lactancia exclusiva durante los primeros seis meses, el uso de una variedad de cultivo determinada o el acceso de las mujeres a servicios financieros por teléfono celular) en un lugar concreto.
  • Cuando uno o más asociados aplican el mismo enfoque, producto o solución en distintos lugares.
  • Cuando colaboramos con un asociado en la asignación efectiva de fondos, en materia de planificación o en la prestación de servicios en un lugar o sector determinados.

Este método de evaluación debe diseñarse teniendo en cuenta las siguientes consideraciones:

  • Su objetivo no es evaluar relaciones causales entre las intervenciones y los resultados deseados.
  • Debe tener una finalidad y una aplicación específicas. A la luz del peligro de que las evaluaciones se conviertan rápidamente en análisis integrales y de un costo elevado, no se debe perder de vista que sus conclusiones deben limitarse a satisfacer las necesidades de los asociados en materia de toma de decisiones.
  • Apoyamos la aplicación de las nuevas tecnologías en el proceso de recopilación y análisis de datos para garantizar la posterior accesibilidad inmediata a dichos datos.
  • Tanto los datos cuantitativos como los cualitativos son relevantes a la hora de evaluar procesos, operaciones, el rendimiento de una iniciativa, las percepciones de las partes interesadas clave y factores contextuales habilitantes.

Las evaluaciones pueden incluir estimaciones sobre el impacto en caso de que se estimen necesarias para tomar decisiones importantes, ya sea sobre la ampliación de una iniciativa, por ejemplo, o sobre el nivel de penetración que debe tener una iniciativa para garantizar el impacto deseado. Sin embargo, dichas estimaciones sobre el impacto no deben emplearse para demostrar el impacto de cierta iniciativa a nivel macrosocial.

Dado que los supuestos sobre los que se basan las estimaciones sobre el impacto pueden conducir a elevados márgenes de error, será esencial partir de una línea base sólida de indicadores de cobertura clave y de los datos sobre la variación de dichos indicadores en el tiempo. En general, el impacto en la población se puede determinar mediante modelos de predicción o análisis de datos secundarios.

En alguna ocasión, podría ser necesario determinar una relación causal entre la variación del nivel de cobertura de una iniciativa y el impacto deseado en la población. En estos casos, el diseño de la evaluación deberá incluir una hipótesis de contraste plausible, que en general se podrá obtener a partir de la elaboración de modelos o haciendo comparaciones entre tendencias nacionales o subnacionales.

Métodos de evaluación para medir los efectos causales de proyectos piloto, innovaciones o modelos de prestación de servicios

Las evaluaciones que demuestran una relación causal pueden emplearse para decidir si es procedente o no ampliar o reproducir proyectos piloto, innovaciones o modelos de prestación de servicios. También pueden proporcionar información esencial a la Fundación, a nuestros asociados, a los responsables de formular políticas públicas y a los profesionales de distintos campos.

Aplicamos este método en los siguientes contextos:

  • Cuando los equipos de la Fundación y nuestros asociados necesitan servirse de una base empírica para determinar cuáles son las soluciones más eficaces y rentables en el marco de programas de gran alcance.
  • Cuando los equipos de la Fundación y nuestros asociados invierten en proyectos piloto e innovaciones y necesitan disponer de datos empíricos para convencer a otros agentes de la necesidad de ampliar el alcance geográfico de un proyecto determinado o de reproducirlo en otros contextos.
  • Cuando la Fundación y nuestros asociados necesitan información empírica para sopesar si es preciso cambiar las tácticas de implementación empleadas, aplicar un nuevo enfoque de prestación de servicios o sacrificar algún componente del programa en beneficio de otro.
  • Cuando la Fundación y nuestros asociados necesitan evaluar la eficacia de las campañas de defensa de la causa, de comercialización social y de concientización, antes de tomar decisiones acerca de una estrategia integral para influir en las percepciones y hábitos de la población.

Este método de evaluación debería diseñarse teniendo en cuenta las siguientes consideraciones:

  • Debe poder demostrar claramente que la causa de los efectos positivos o negativos observados es la intervención o estrategia analizada. También debe poder medir la magnitud del efecto causado por dicha intervención o estrategia.
  • Debe poder descartar cualquier efecto o factor que no haya sido causado específicamente por la intervención analizada. Con este fin, deberá incluir una hipótesis de contraste plausible. En estos contextos, recomendamos la aplicación de diseños experimentales o semiexperimentales. Si la formulación de una hipótesis de contraste no procede o es poco plausible (por ejemplo, cuando una institución nacional brinda apoyo técnico a un asociado gubernamental), recomendamos emplear el método de evaluación descrito en el apartado siguiente.
  • Este tipo de evaluaciones son especialmente adecuadas para medir variaciones, y no para dar respuesta a una pregunta cerrada (como, por ejemplo, ¿x funciona o no?)
  • Su objetivo es dar respuesta a otro tipo de preguntas, de igual importancia: ¿cómo y por qué causó la intervención los efectos observados? Para ello, deberán analizarse los procesos, el rendimiento y los costos.

Los métodos de evaluación de relaciones causales no deberían emplearse en caso de que los indicadores de efectividad y resultados ya sean suficientes. Tampoco son adecuados para evaluar paquetes de intervenciones con múltiples vectores de causa-efecto.

Métodos de evaluación para mejorar el rendimiento de instituciones o modelos operativos

Las evaluaciones que proporcionan una valoración neutral de la eficacia de una organización o modelo operativo brindan información esencial para la toma de decisiones de la Fundación y sus asociados sobre cómo aprovechar al máximo los recursos técnicos y financieros, cómo superar desafíos y cómo promover un progreso constante.

Aplicamos este método, de forma selectiva, en los siguientes contextos:

  • Cuando trabajamos con una organización indispensable para el buen desempeño de la estrategia de la Fundación.
  • Cuando la relación con uno de nuestros asociados se encuentra en una coyuntura crítica, y la información suplementaria y detallada sobre un ámbito de actuación específico de una operación puede guiar los siguientes pasos a seguir, fortalecer la relación colaborativa y despersonalizar el proceso de toma de decisiones.
  • Cuando introducimos un cambio en nuestros patrones de trabajo (al establecer, por ejemplo, una presencia más palpable en un país determinado), y una evaluación objetiva y sistemática puede orientar las decisiones sobre la aplicación de dicho cambio, así como fortalecer nuestras relaciones con las partes interesadas clave.

Este método de evaluación debería diseñarse teniendo en cuenta las siguientes consideraciones:

  • Es fácil que las evaluaciones de la eficacia de una institución o modelo operativo se conviertan en análisis integrales que representen una carga para el personal de la Fundación o nuestros asociados. Es por ello que es fundamental llevar a cabo una selección rigurosa de los aspectos que se desean evaluar, así como definir de forma clara el objetivo de la evaluación.
  • Siempre que sea posible, este tipo de evaluaciones deberían llevarse a cabo en estrecha colaboración con otros donantes, para así ganar en eficacia, entender mejor el apoyo que necesitan los asociados clave para lograr su cometido y seguir aprendiendo de la experiencia compartida.

Estos métodos de evaluación son básicamente cualitativos y no deberían aspirar a analizar la relación causal entre la organización asociada o el modelo operativo y los resultados del programa.

Funciones y responsabilidades de las evaluaciones

Nuestra política de evaluación es un punto de partida para afianzar la forma en que la Fundación y nuestros asociados nos servimos de las evaluaciones. Complementamos dicha política de evaluación con otros recursos y funciones específicamente designadas en el seno de la Fundación para poder tomar decisiones informadas sobre cómo y cuándo aplicar un método de evaluación y llevar a cabo una gestión sistemática de las evaluaciones y sus conclusiones. En los siguientes apartados, presentamos una descripción de estos recursos y funciones.

Planes de evaluación

Los equipos de programa tanto de la división estadounidense como de las divisiones internacionales que colaboran con asociados disponen de un plan de evaluación, que comparten abiertamente con los asociados para promover la colaboración, la evaluación en equipo y el aprendizaje dentro y fuera de la Fundación. El plan identifica la base empírica disponible y los vacíos de información críticos que la Fundación o nuestros asociados necesitan rellenar para tomar decisiones informadas y ganar conocimiento sobre un aspecto determinado.

Los agentes responsables de programa consultan el plan de equipo antes de tomar ninguna decisión en materia de evaluación, a fin de garantizar que las inversiones en evaluaciones sean pertinentes dentro de un marco estratégico integral. También se comunican con el equipo central de la Fundación de Estrategia, Medida de Resultados y Evaluación, que colabora con los equipos de programa para encontrar oportunidades para invertir en evaluaciones de relevancia transversal y para desarrollar métodos de evaluación innovadores.

Durante el proceso de idear la subvención, los responsables de programa debaten y deciden con nuestros asociados si la evaluación será necesaria para garantizar el cumplimiento de las expectativas, y si cabe reservar los recursos suficientes para llevar a cabo una evaluación útil. Algunos de los factores clave son los siguientes:

  • El punto de partida es garantizar que nuestros asociados tengan la capacidad de lograr resultados medibles y de servirse de datos empíricos para poder hacer los ajustes y mejoras necesarios.
  • Cuando uno de nuestros asociados detecta la necesidad de llevar a cabo una evaluación, le brindamos recursos técnicos y financieros para garantizar que el diseño de la evaluación se adapte a su finalidad y proporcione conclusiones a partir de la cuales dicho asociado pueda actuar.
  • El responsable de programa, junto con el asociado, determinará cuáles son los usuarios previstos de la evaluación, el diseño general del método y los recursos necesarios para garantizar una perfecta sincronización entre la finalidad de la evaluación, el calendario y sus conclusiones.
  • Si un asociado no tiene la capacidad de llevar a cabo una evaluación de importancia estratégica para la Fundación, el equipo de programa puede contratar a un evaluador independiente.

Todas las evaluaciones financiadas por la Fundación —ya sean impulsadas por una entidad independiente o por parte de uno de nuestros asociados— se hacen constar en el registro de evaluaciones de la Fundación. Esta práctica nos permite dar seguimiento a los gastos y resultados en materia de evaluaciones, con el fin de garantizar su continuidad y regularidad con independencia de cualquier rotación de personal en la misma Fundación o en la entidad asociada.

Funciones y responsabilidades

La responsabilidad de las evaluaciones recae en distintos niveles de la Fundación:

  • Los dirigentes de la Fundación se rigen por los principios de la presente política de evaluación, que incluyen diseñar las evaluaciones con una finalidad específica y emplearlas para la obtención de información y la toma de decisiones, en vez de para demostrar el logro de resultados a partir de los recursos de la Fundación y del trabajo colaborativo con los asociados.
  • Los directores de programa y los presidentes de la Fundación se esfuerzan para tomar decisiones rigurosas sobre cuándo procede invertir en evaluaciones, y se sirven de las conclusiones empíricas que brindan dichas evaluaciones para tomar decisiones, dialogar con asociados y subvencionados, y organizar actividades en defensa de la causa.
  • Los agentes responsables de programa fomentan el aprendizaje a partir de los resultados de las evaluaciones tanto dentro como fuera de la Fundación. Basan sus decisiones en materia de evaluación en los planes de evaluación de equipo, y acuden a los responsables de medida de resultados, aprendizaje y evaluación para recibir apoyo técnico. También se sirven de las conclusiones empíricas de las evaluaciones para tomar decisiones y comunicarse con asociados. Tienen la responsabilidad de introducir los datos de las evaluaciones financiadas por la Fundación en el registro central y de compartir los resultados de forma transparente tanto dentro como fuera de la Fundación para difundir el saber institucional y fomentar un continuo proceso de aprendizaje y mejora.
  • Los equipos de programa cuentan con el apoyo del personal de medida de resultados, aprendizaje y evaluación para el diseño y uso de evaluaciones de calidad. La tarea de estos colaboradores consiste en asistir en el diseño de los planes de evaluación de equipo, dirigir el diseño y la gestión de evaluaciones de interés prioritario, brindar apoyo técnico y de investigación a los agentes responsables de programa y asociados que trabajan en el diseño de programas de evaluación o de estimaciones sobre el impacto, y garantizar que todas las evaluaciones se introduzcan en el registro de la Fundación.
  • La tarea del equipo central de la Fundación de Estrategia, Medida de Resultados y Evaluación consiste en establecer y difundir los estándares de calidad de las evaluaciones, proporcionar herramientas y recursos a la Fundación y nuestros asociados, y fomentar las evaluaciones y el aprendizaje transversales. Sus responsabilidades incluyen garantizar la integración de las evaluaciones en el modelo de negocios de la Fundación, disponer de un elenco de evaluadores independientes, financiar las evaluaciones que proporcionen información empírica esencial para responder preguntas relevantes para más de un programa, ofrecer programas de capacitación al personal de la Fundación y nuestros asociados, apoyar a aquellos equipos de programa y asociados que requieran su asistencia y asesorar a dichos equipos en materia de diseño y gestión de evaluaciones.

Los equipos de la Fundación hacen lo posible para aprovechar las estrategias de supervisión y evaluación de subvencionados ya existentes, en vez de crear sistemas paralelos. Una de sus prioridades es invertir en la capacitación nacional en materia de evaluación como apoyo a nuestros programas internacionales. Somos conscientes de que este proceso puede conllevar inversiones simultáneas en la capacitación de nuestros asociados. Esta asistencia se les brinda directamente por parte de los equipos de programa y sus colaboradores expertos en medida de resultados, aprendizaje y evaluación.

Conclusiones

En el año 2008, la Fundación Bill y Melinda Gates asumió con convicción la filosofía de apostar por mediciones de resultados sobre las que se pueda actuar. Este principio refleja claramente la preferencia por diseñar cada evaluación según su finalidad específica, en vez de regirse por un único método o diseño particular. Las evaluaciones, si son relevantes y se adaptan al tipo de trabajo que realizamos, pueden contribuir a la despersonalización de la toma de decisiones y brindar datos objetivos que sirvan de guía para nuestras actuaciones.

La política de evaluación expuesta en esta sección plasma una idea general sobre cómo, cuándo y por qué nos servimos de las evaluaciones para generar datos empíricos a partir de los cuales se tomarán decisiones, se mejorará la ejecución de nuestros programas, se afinarán nuestras actividades de defensa de la causa y se fortalecerán los lazos con nuestros subvencionados y asociados. Entendemos esta política como el punto de partida de una iniciativa de gran alcance para conseguir que las evaluaciones de calidad constituyan una parte esencial de nuestra forma de operar y nuestros métodos de trabajo.

Viste nuestro blog