Una vez que se ha finalizado el diseño de la evaluación, el evaluador debe seguir participando en el monitoreo de la recolección de datos, así como en la implementación de la intervención que se está evaluando. Si los encuestados desaparecen durante la fase de recolección de datos, los resultados son susceptibles a un sesgo de atrición, comprometiendo su validez. La atrición se cubre en esta sección. Otras amenazas durante la fase de recopilación de datos como: instrumentos de medición pobres, sesgos de reporte, etc. son igualmente importantes, pero no se cubren aquí. Para aprender sobre las mejores prácticas en la recolección de datos, vea:

• Deaton, A. (1997): The Analysis of Household Surveys. World Bank, International Bank for Reconstruction and Development

En la ejecución de la intervención, la integridad de la aleatorización debe permanecer intacta. A menos que sean deliberadamente incorporados en el diseño del estudio, los efectos de externalidades y cruce, debe reducirse al mínimo, o por lo menos, deberían ser documentados a fondo. (Ver como antecedente "Las amenazas al diseño”) 

1.   Amenazas a la recolección de datos

a)    Atrición

La atrición se produce cuando los evaluadores no reúnen información sobre las personas que fueron seleccionadas como parte de la muestra original. Nótese, que el grupo tratamiento y el grupo control, a través de la asignación aleatoria, se construyen para ser estadísticamente iguales al principio. El grupo de control tiene la intención de parecerse al contrafactual -lo que habría pasado al grupo de tratamiento si el tratamiento no hubiera sido ofrecido. (Ver: ¿Por qué Aleatorizar?). Si las personas que abandonan el estudio son "idénticos" en ambos grupos de tratamiento y de control, es decir, si el grupo de control con menos personas aún representa un contrafactual válido para el grupo de tratamiento con menos personas, esto reduciría el tamaño de nuestra muestra, y podría truncar la población objetivo a la que nuestros resultados se pueden generalizar, pero no pondría en peligro la "verdad" de los resultados (al menos tal como se aplica a la población restringida).

Por ejemplo, supongamos que nuestra área de estudio es rural, y que muchos miembros del hogar pasan una parte significativa del año trabajando en zonas urbanas. Supongamos, además, que hemos creado nuestra muestra y recogido datos de línea base cuando los miembros del hogar que migran estaban en casa durante las cosechas e incidentalmente para nuestro estudio. Si recogemos nuestros datos de medición final durante la temporada baja, los miembros de la familia que emigran habrán regresado a la ciudad y por tanto no estarán disponibles para nuestro estudio. Asumiendo que estos son los mismos individuos en los grupos de tratamiento y de control, nuestro estudio ahora se limita únicamente a los no migrantes. Si la población de no migrantes en el grupo control representa un buen contrafactual de la población no migrante en el grupo de tratamiento, nuestras estimaciones de impacto será perfectamente válidas, pero sólo aplicables a la población no migrante.

Sin embargo, si esa disminución tiene una forma distinta en los dos grupos, y los individuos restantes del grupo de control ya no sirven como un buen contrafactual, esto podría influir en nuestros resultados. Utilizando el ejemplo de las enfermedades transmitidas por el agua, supongamos que en el grupo de control más hijos y madres están enfermos. Como resultado, los jóvenes que suelen emigrar a las ciudades durante la temporada baja, se quedan en casa para ayudar a su familia. Los hogares que fueron asignados al grupo control contienen más inmigrantes en nuestra encuesta final. Los datos demográficos de los grupos de tratamiento y de control son ahora diferentes (mientras que en un principio, estaban equilibrados). Es factible que estos migrantes jóvenes sean típicamente más saludables. Ahora, a pesar de que nuestro tratamiento tuvo éxito en mejorar la salud de los niños y las madres, en promedio, nuestro grupo de control contiene a los trabajadores migrantes más saludables. Cuando se mide la incidencia de diarrea, los resultados de los inmigrantes sanos del grupo control podrían compensar por los resultados de sus familiares enfermos. Luego, al comparar los grupos de tratamiento y de control, no veríamos ningún efecto en absoluto y podríamos concluir que el tratamiento fue ineficaz. Este resultado sería falso y engañoso.

En este ejemplo simplificado, podríamos reintroducir el equilibrio mediante la eliminación de nuestra muestra de todos los migrantes. Con frecuencia, sin embargo, las características que podrían identificar de forma fiable a aquellos individuos que desaparecen, tanto reales como futuros, no han sido medidas, o son imposibles de observar. La predicción de atrición puede ser tan difícil como predecir la participación en los experimentos no aleatorios. Similarmente, el sesgo de atrición puede ser tan perjudicial como el sesgo de selección al hacer inferencias causales.

2.   Externalidades y Efecto Control-Tratado

Las externalidades ocurren cuando individuos en el grupo de control son de alguna manera u otra afectados por el tratamiento. Por ejemplo, si ciertos niños están en el grupo de control de un estudio de entrega de pastillas de cloro, pero juegan con niños que están en el grupo de tratamiento, ahora tendrán amigos que tienen menos probabilidades de estar enfermos y por tanto tienen menos probabilidades de ellos mismos estar enfermos. En este caso, están indirectamente afectados por el programa, aunque hubieran sido asignados al grupo de control. Los individuos que “cruzan” son aquellos controles que encuentran la manera de ser directamente tratados. Por ejemplo, si la madre de un niño del grupo control lo lleva a beber agua del tanque de abastecimiento de un hogar en el grupo tratamiento, ella se está infiltrando en el grupo de tratamiento. Cumplimiento imparcial es un término más amplio, que comprende a aquellos que “cruzan” y también aquellos individuos tratados que deliberadamente deciden no participar (o poner cloro en el agua, en este ejemplo).

Cuando un estudio sufre de  externalidades y efecto control-tratado, en muchos casos todavía es posible usar técnicas estadísticas para producir resultados válidos. Sin embargo, estos vienen con ciertos supuestos, muchos de los cuales estábamos tratando de evitar cuando optamos por una aleatorización en primer lugar. Por ejemplo, si las externalidades se pueden predecir con el uso de variables observadas, pueden ser controladas. Con el cumplimiento imparcial, si suponemos que los que no cumplieron no se vieron afectados por la intervención, y por la misma razón, las personas que “cruzaron”  se vieron afectadas en la misma forma que los miembros del grupo de tratamiento, podemos inferir el impacto de nuestro programa. Pero como se explica en la sección ¿Por qué  Aleatorizar?, al hacer mas supuestos, el terreno en el que nos encontramos es menos firme a la hora de declarar que la intervención causo los resultados medidos.