Las Evaluaciones Aleatorias pueden no ser apropiadas:

1.   Cuando se evalúan políticas macro.

Ningún evaluador tiene el poder político para conducir una evaluación aleatoria de distintas políticas monetarias. No se puede asignar aleatoriamente un tipo de cambio flotante al Japón y otras naciones, y un tipo de cambio fijo a los Estados Unidos y otro grupo de naciones.

2.   Cuando es poco ético o políticamente imposible negarle el programa al grupo de control.

No sería ético negar un medicamento con beneficios ya comprobados a un grupo de pacientes si es que se tienen los recursos para darlo.

3.   Si el programa cambia durante el curso del experimento.

Si a la mitad de un experimento el programa cambia de ofrecer solución de tratamiento de aguas a ofrecer tratamiento de aguas y una letrina, se vuelve difícil interpretar qué parte del programa causó los resultados observados.

4.   Cuando el programa en su fase experimental es significativamente diferente a como se espera que sea el programa en condiciones normales.

Durante un experimento es más probable que los participantes usen la solución de tratamiento de agua si se les da incentivos. En condiciones normales, sin incentivos será menor el número de personas que realmente usen la solución de tratamiento de agua, incluso si ya la tienen y saben como usarla.

A modo de advertencia, este tipo de evaluación puede servir como Prueba de Concepto. Sencillamente trataría de responder la pregunta “¿puede este programa o política ser efectivo?”. No se esperaría que arroje resultados generalizados.

5.   Cuando una EA consume demasiado tiempo o es muy costosa, por lo tanto no es costo-efectiva.

Por ejemplo, debido a una política de gobierno, una organización puede no tener suficiente tiempo para hacer un programa piloto y evaluarlo antes de su implementación.

6.   Cuando la atrición o el efecto de las externalidades son demasiado difíciles de controlar y esto daña la integridad del experimento.

Una organización puede decidir evaluar el impacto de un medicamento para eliminar parásitos sobre la asistencia a clases en un colegio particular. Debido a que los medicamentos de desparasitación tienen un efecto de externalidad (la salud de un estudiante afecta en la salud de otros), será difícil medir adecuadamente el impacto del medicamento. En este caso, una solución podría ser la aplicación del programa a nivel de escuela y no a nivel de alumno.

7.   Cuando el tamaño de la muestra es muy pequeño.

Si hay demasiado pocos sujetos participando en el programa piloto, incluso si el programa fue exitoso, no hay suficientes observaciones como para estadísticamente detectar un impacto.