Los programas y las políticas están diseñados para alcanzar una meta (o una serie de metas). Por ejemplo, un programa para la distribución de cloro puede ser implementado específicamente para combatir la alta incidencia de enfermedades transmitidas por el agua en una región. Podríamos preguntarnos si el programa está resultando exitoso en lograr esta meta. Esto no es lo mismo que preguntar “¿El cloro mata la bacteria?” o “¿El consumo de cloro es perjudicial?”. Estas preguntas pueden responderse en un laboratorio real. Para que nuestro programa alcance su meta de detener las enfermedades, se debe asignar el dinero, se deben comprar las tabletas de cloro, se deben acomodar los mecanismos de distribución, los hogares deben recibir las tabletas, deben usarlas, y no deben consumir agua no tratada. Una evaluación de programa nos ayuda a determinar si todos estos requisitos se están cumpliendo, y si nuestro objetivo se está logrando según lo previsto.

Como parte normal de la operación, ej. contabilidad básica, cierta información es producida, como cuantas cajas de tabletas de cloro han sido enviadas. Esto puede ser usado para la evaluación de procesos. Pero no nos puede decir si hemos reducido exitosamente la incidencia de diarrea. Para medir el impacto, debemos utilizar indicadores más directos, tales como el número de personas que declaró sufrir de diarrea en los últimos dos meses.

Las evaluaciones de impacto miden el éxito de un programa – donde el éxito puede ser una definición amplia o estrecha. Nos ayuda a eliminar las intervenciones menos eficaces de todas las intervenciones exitosas y mejorar los programas existentes.

Evaluación de Impacto

El principal propósito de una evaluación de impacto es la determinar si un programa tiene impacto (en unos cuantos resultados clave), y más específicamente, cuantificar cuán grande es el impacto. ¿Qué es impacto? En nuestro ejemplo del cloro, impacto es cuánto más saludable están las personas gracias al programa de lo que podrían haber estado sin el mismo. O más específicamente, cuanto más disminuyo la incidencia de diarrea con el programa que sin éste.

Conseguir esta cifra correcta es más difícil de lo que parece. Es posible medir la incidencia de la diarrea en una población que recibe el programa, pero es imposible medir directamente “¿Cómo estarían si no hubiesen recibido el programa?” – así como es imposible medir cómo estaría la economía Estadounidense hoy si los Nazis hubiesen ganado la Segunda Guerra Mundial, o cual sería la enfermedad más mortal hoy en día si no se hubiese descubierto la penicilina en el sucio laboratorio de Alexander Fleming en 1928 en Londres. Es posible que Alemania se hubiese convertido en la economía dominante del mundo, o alternativamente, que los Nazis hubiesen caído unos años después. Es posible que pequeñas heridas siguieran siendo causantes de muchas muertes, o alternativamente, algo parecido a la penicilina hubiese sido descubierto en un laboratorio diferente en otra parte del mundo. En nuestro ejemplo de las tabletas de cloro, es posible que sin el cloro, las personas se hubiesen mantenido enfermas como lo estaban antes, o es posible que hubiesen empezado a hervir el agua – y que las tabletas de cloro sólo iban a servir como sustituto de una tecnología por otra – sugiriendo que las personas no están más saludables gracias a las tabletas de cloro.

Las evaluaciones de impacto, usualmente, estiman la efectividad de un programa al comparar los resultados de aquellos (individuos, comunidades, escuelas, etc.) que participaron en el programa frente a los que no lo hicieron. El desafío clave en una evaluación de impacto es el encontrar un grupo de personas que no participaron, pero que son lo suficientemente parecidas como para medir “cómo estarían los participantes si no hubiesen recibido el programa”. Hay varios métodos para hacer esto y cada método viene acompañado de sus propios supuestos.

Una tabla comparando las diferentes metodologías se puede encontrar en la sección ¿Por qué aleatorizar?