¿Qué es impacto? En nuestro ejemplo del cloro, impacto es cuánto más saludables están las personas gracias al programa, de lo que estarían si no se hubiese aplicado el mismo. O más específicamente, en cuánto disminuyó la incidencia de diarrea de lo que lo hubiese hecho si no se hubiera aplicado el programa.

Obtener este número correctamente es más difícil de lo que parece. Es posible medir la incidencia de la diarrea en una población que recibe el programa, pero  el “¿Qué hubiese pasado sin éste?” (denominado, el contrafactual) es imposible de medir directamente, sólo puede ser inferido.

Construyendo el grupo de Comparación

Las evaluaciones de impacto estiman la efectividad del programa usualmente al comparar los resultados de aquellos (individuos, comunidades, escuelas, etc.) que participaron en el programa frente a aquellos que no lo hicieron. El desafío clave en la evaluación de impacto es encontrar un grupo de personas que no participaran, pero con características lo suficientemente cercanas a la de los participantes, y en particular, a los participantes si no hubiesen recibido el programa. Medir los resultados en este grupo de comparación es lo más cercano que podemos estar de medir “cómo estarían los participantes si no hubiesen recibido el programa”. Es por esto, que nuestra estimación del impacto es tan buena como nuestro grupo de comparación es equivalente.

Hay muchos métodos para crear grupos de comparación. Algunos métodos funcionan mejor que otros. Con todo lo demás igual, las evaluaciones aleatorias son las que funcionan mejor. Generan grupos de comparación estadísticamente idénticos, y por ende producen los resultados más precisos (sin sesgo). O dicho de otra forma: otros métodos, a menudo, producen resultados engañosos – resultados que llevarían a los responsables de la creación de políticas públicas a tomar las decisiones opuestas a lo que la verdad les hubiese mostrado.

Estos otro métodos no siempre nos dan la respuesta errónea, pero descansan sobre más supuestos. Cuando los supuestos se mantienen, las respuestas no tienen sesgo. Pero es normalmente imposible, y siempre difícil, asegurar que los supuestos son verdaderos. De hecho, es probable que la mayoría de los debates acerca de la validez de una evaluación giran en torno a los desacuerdos sobre la racionalidad de los supuestos.

Más allá de evitar debates acerca de los supuestos, las evaluaciones aleatorias producen resultados que son muy fáciles de explicar. Aquí se muestra una tabla de comparación de los métodos de evaluación comúnmente usados.