Cómo diseñar una encuesta de línea de base que la evaluación final pueda realmente utilizar

Introducción

El diseño de la encuesta de línea de base es una de las primeras decisiones técnicas que una unidad de ejecución de proyectos (UEP) debe acertar, y una de las más fáciles de errar. En África, Asia y Asia Central, la encuesta de línea de base de un proyecto de empoderamiento económico de las mujeres suele encargarse durante el primer año de ejecución y, por lo general, con prisas. El marco de resultados ya contiene indicadores, el convenio de financiación exige valores de referencia y la UEP necesita cifras antes del primer informe de avance.

Lo que sigue es previsible. Se contrata a un consultor, se realiza una encuesta, se presenta un informe y las cifras pasan al marco de resultados. Tres o cuatro años después, en la línea final, el proyecto descubre que la encuesta de línea de base no puede respaldar la afirmación que ahora necesita hacer. El indicador se midió a nivel de hogar, mientras que el proyecto trabajaba con mujeres a título individual. No es posible volver a localizar la muestra. Las definiciones cambiaron. No hay grupo de comparación. Nunca se entregó el conjunto de datos, solo el informe.

Estos fallos no se deben a empresas de encuestas poco capaces. Son fallos de diseño de la encuesta de línea de base, cometidos en las primeras semanas por personas que gestionan muchas otras cosas al mismo tiempo.

Esta guía expone cuáles son esas decisiones, desde la perspectiva de una UEP que tiene que encargar la encuesta, supervisarla y defender después sus resultados. Se aplica a los proyectos de empoderamiento económico de las mujeres en agricultura, desarrollo empresarial, inclusión financiera, competencias y empleo, así como a los componentes de mano de obra y medios de vida de operaciones más amplias de infraestructura y desarrollo rural.

Para qué sirve realmente una encuesta de línea de base

Una encuesta de línea de base cumple tres propósitos distintos, y los problemas surgen cuando un proyecto persigue uno y da por hecho que ha logrado los demás.

Información. Establece los valores iniciales de los indicadores del marco de resultados. Es el propósito que tienen en mente la mayoría de las UEP y el menos exigente de los tres.

Focalización y diseño. Describe la situación de las participantes previstas: lo que ganan, lo que poseen, las limitaciones a las que se enfrentan y los servicios que ya utilizan. Una buena encuesta de línea de base modifica el diseño del proyecto, porque suele demostrar que los supuestos formulados durante la preparación eran en parte erróneos.

Evaluación. Sienta las bases para medir el cambio y, cuando existe un grupo de comparación, para atribuir ese cambio al proyecto y no a todo lo demás que ocurre en la economía.

El tercer propósito impone requisitos que el primero no exige. Si el proyecto solo va a informar de valores de antes y después, basta con una encuesta descriptiva de los participantes. Si más adelante alguien va a preguntar si el proyecto causó el cambio, el grupo de comparación debe diseñarse y encuestarse en la línea de base. Es la decisión más trascendental de todo el ejercicio y, por lo general, se toma por omisión y no de forma deliberada.

La pregunta que una UEP debe resolver antes de redactar los términos de referencia es sencilla: al finalizar, ¿se nos preguntará qué cambió o se nos preguntará qué causamos? La respuesta determina el diseño y el presupuesto.

Diseño de la encuesta de línea de base: elegir indicadores que lleguen a la línea final

El empoderamiento económico no es una magnitud única. Abarca lo que una mujer gana, lo que posee, lo que controla, lo que puede decidir y lo que puede hacer sin permiso de nadie. Los proyectos que lo reducen a una sola cifra cómoda suelen medir la parte que menos cambia.

Hay dos errores habituales. El primero es medir a nivel de hogar: ingresos del hogar, activos del hogar, seguridad alimentaria del hogar. Son datos más fáciles de recopilar y los que suelen publicar las encuestas nacionales, pero un proyecto puede aumentar los ingresos del hogar sin cambiar nada para las mujeres a las que se dirigía. El segundo es elegir en la línea de base medidas sofisticadas que el proyecto no podrá permitirse repetir en la línea final, lo que deja el indicador en el aire.

Antes de diseñar preguntas desde cero, conviene examinar los instrumentos ya establecidos. El Índice de Empoderamiento de las Mujeres en la Agricultura y sus versiones posteriores, entre ellas el pro-WEAI, ofrecen módulos probados sobre toma de decisiones, control de los ingresos, uso del tiempo, pertenencia a grupos y movilidad, con cuestionarios publicados y orientaciones de cálculo. Incluso los proyectos ajenos a la agricultura pueden adaptar módulos concretos en lugar de inventar los suyos. Para el contexto nacional y los valores de comparación, el Portal de Datos de Género del Banco Mundial ofrece indicadores desglosados por sexo en más de mil series. El equipo DIME Analytics del Banco Mundial mantiene además una guía práctica sobre diseño de cuestionarios que conviene leer antes de redactar los términos de referencia.

Siete decisiones de medición explican la mayor parte de la diferencia entre una encuesta de línea de base sólida y otra que no lo es.

La columna de la derecha consume tiempo de entrevista. El recuerdo estructurado de los ingresos, el desempeño de las empresas y el uso del tiempo son los tres módulos costosos, y un cuestionario no puede incluirlos todos junto con todo lo demás que el proyecto quiere saber. Es una elección que debe hacerse de forma deliberada en la fase de diseño, no un atajo que la empresa encuestadora tome sobre el terreno.

Un ámbito requiere un tratamiento aparte. Las preguntas sobre violencia o seguridad no deben añadirse a una encuesta económica general como unos pocos elementos más. Requieren protocolos especializados, una formación específica de los encuestadores, unas condiciones de privacidad que una entrevista rutinaria en el hogar no puede garantizar y una vía de derivación para las encuestadas que revelen situaciones de violencia. Si el proyecto necesita realmente estos datos, debe encargarlos como corresponde. Si no, es mejor no incluirlos que recopilarlos mal.

A cada indicador finalmente seleccionado debe aplicarse una prueba antes de emitir los términos de referencia: ¿puede recopilarse de nuevo en la línea final, con la misma formulación, por otra empresa y con un presupuesto comparable? Si no es así, sustitúyalo.

Muestreo cuando la población destinataria no figura en ninguna lista

El muestreo es donde el diseño de la encuesta de línea de base falla sin hacer ruido. La mayoría de las encuestas nacionales toman la muestra de un marco censal. Los proyectos rara vez disponen de esa opción, porque la población de interés son las mujeres que cumplen los criterios del proyecto, y no existe ninguna lista de ellas antes de que este comience.

En la práctica se utilizan tres enfoques, y cada uno tiene consecuencias que la UEP debe comprender.

Listado dentro de los conglomerados seleccionados. Primero se seleccionan aldeas o manzanas urbanas, a menudo con probabilidad proporcional al tamaño, y un breve ejercicio de listado en cada una identifica a las mujeres que cumplen los requisitos. Así se obtiene una muestra defendible, pero se añaden una etapa de campo y un coste.

Muestreo a partir de listas de solicitudes o inscripciones del proyecto. Más barato y rápido, pero las personas que presentaron una solicitud difieren sistemáticamente de las que no lo hicieron. Los resultados describen a las solicitantes, no a la población en general, y esto debe indicarse con claridad en el informe en lugar de descubrirse en la evaluación.

Muestreo a partir de registros administrativos. Listas de socios de cooperativas, registros mercantiles, padrones de protección social. Útil cuando la cobertura es realmente alta, pero engañoso cuando predomina la actividad informal, que es precisamente la situación de la mayoría de estos proyectos.

El tamaño de la muestra debe derivarse de lo que el proyecto necesitará detectar, no de una cifra redonda. Una encuesta dimensionada para describir una población es más pequeña que otra dimensionada para detectar un cambio plausible a lo largo del tiempo, que a su vez es más pequeña que una dimensionada para comparar grupos tratados y no tratados. Decida cuál de las tres está contratando.

Dos aspectos se omiten habitualmente en los términos de referencia y causan conflictos más adelante: la regla de sustitución cuando no se encuentra a una encuestada seleccionada y la tasa máxima aceptable de falta de respuesta. Especifique ambos y exija que el informe final indique las tasas alcanzadas.

El diseño de campo determina la calidad de los datos

El diseño de la encuesta de línea de base no termina cuando se aprueba el cuestionario. Cuatro decisiones de campo determinan si los datos obtenidos son utilizables.

Quién realiza la entrevista

En muchos contextos de Asia y África, una mujer entrevistada por un encuestador varón, o en presencia de su marido o de su suegra, responde sobre ingresos, control y toma de decisiones de forma distinta a como lo haría en privado. No se trata de una sutileza cultural, sino de un error de medición que se desvía en una dirección previsible y que puede ser mayor que el efecto que el proyecto espera demostrar.

Exija encuestadoras para las encuestadas cuando el contexto lo requiera, y que la entrevista se realice a solas con la encuestada. Haga que el encuestador registre quién más estaba presente: esa variable resulta muy útil en la fase de análisis.

Idioma y traducción

Los instrumentos redactados en inglés y traducidos una sola vez, sin retrotraducción ni prueba piloto en el dialecto que realmente se habla sobre el terreno, generan preguntas que los encuestadores parafrasean de forma distinta en cada distrito. Exija la traducción a cada idioma de administración, la retrotraducción y una prueba piloto de al menos 30 a 50 entrevistas con un informe escrito de conclusiones. Términos como «ingresos», «activo», «decidir» y «poseer» rara vez tienen equivalentes exactos de una sola palabra, y las opciones elegidas en la traducción deben documentarse para que la línea final utilice las mismas.

Formación y supervisión de los encuestadores

Una formación de una semana o más, con entrevistas de práctica y prueba piloto sobre el terreno, marca la diferencia entre datos utilizables y ruido. Las disposiciones de supervisión deben figurar explícitamente en el contrato: proporción de supervisores por encuestador, porcentaje de entrevistas verificadas posteriormente y qué ocurre cuando las verificaciones fallan. La recopilación digital de datos con plataformas estándar permite reglas de validación, marcas GPS, registros de la duración de las entrevistas y auditorías de audio, que hacen que la supervisión sea real y no nominal.

Momento del calendario

La estacionalidad no es un detalle menor. Los ingresos agrícolas, la seguridad alimentaria, el uso del tiempo e incluso la composición del hogar varían a lo largo del año. En las zonas con una elevada migración laboral estacional, quienes están en casa en marzo y quienes están en septiembre son poblaciones distintas. Los calendarios religiosos, las épocas de cosecha y los periodos escolares influyen en la disponibilidad y en las respuestas.

La consecuencia práctica es que la encuesta de línea final debe realizarse en la misma estación que la de línea de base. Registre de forma visible las fechas del trabajo de campo, porque quien encargue la línea final tres años después las necesitará.

Ética y salvaguardia en una encuesta de línea de base

Las encuestas que preguntan a las mujeres por sus ingresos, el control del dinero y las decisiones del hogar pueden poner en riesgo a la encuestada, sobre todo cuando sus respuestas contradicen lo que diría otro miembro del hogar. Se aplican unas normas mínimas sea cual sea el país:

• Consentimiento informado en el idioma de la encuestada, incluido el derecho a interrumpir la entrevista en cualquier momento y a no responder preguntas
• Ninguna promesa implícita de que la participación influya en la selección para los beneficios del proyecto, lo que también protege la calidad de los datos
• Condiciones de entrevista en privado y un protocolo para aplazar una entrevista que no pueda realizarse en privado
• Una vía de derivación a los servicios disponibles si una encuestada revela haber sufrido daños, con encuestadores formados para saber cómo responder
• Protección de los datos personales, con los identificadores almacenados por separado de las respuestas y acceso restringido
• Cualquier autorización ética nacional o aprobación de la oficina de estadística necesaria para realizar encuestas en el país, confirmada antes del trabajo de campo y no durante este

Cuando alguna parte de la encuesta aborda la seguridad o la violencia, las recomendaciones éticas y de seguridad para la investigación sobre la violencia contra las mujeres de la Organización Mundial de la Salud establecen la norma que esperan los donantes y los comités de ética, y deben citarse en los términos de referencia en lugar de dejarse a criterio de la empresa.

Estos requisitos deben figurar en los términos de referencia. Las empresas presupuestan lo que está escrito; los compromisos planteados después de la firma del contrato rara vez se cumplen del todo.

Programar la encuesta de línea de base en relación con el inicio del proyecto

Una encuesta de línea de base mide la situación anterior a la exposición al proyecto. Cuando la contratación se alarga y las actividades comienzan antes, la encuesta deja de cumplir esa función, y lo honesto es dejar constancia de ello en lugar de ocultarlo.

Si la línea de base se retrasa, anote qué zonas de la muestra habían recibido ya actividades del proyecto y durante cuánto tiempo. Una exposición parcial documentada en la línea de base todavía puede analizarse; una exposición no documentada invalida silenciosamente la comparación más adelante.

Cuando la encuesta de línea de base puede secuenciarse correctamente, la vía práctica consiste en preparar los términos de referencia durante la preparación del proyecto, iniciar la contratación inmediatamente después de la entrada en vigor y aplazar el primer desembolso para actividades de campo en las zonas de la muestra hasta que haya concluido la encuesta. Esto exige que las funciones de SyE y de contratación estén coordinadas desde el principio, lo cual es un arreglo institucional y no técnico.

Lograr que la línea final sea comparable

La mayoría de las encuestas de línea de base se encargan como trabajos independientes y se entregan como informes. La comparabilidad es un requisito del diseño de la encuesta de línea de base, no un problema de la línea final. La línea final se contrata años después, a menudo con otra empresa y con otro personal en la UEP. La comparabilidad debe construirse de forma deliberada.

Exija lo siguiente como entregables contractuales, no como anexos opcionales:

• El instrumento final en cada idioma de administración, tal como se aplicó
• El conjunto de datos depurado en un formato estándar, con etiquetas de variables y de valores
• Un libro de códigos que documente cada variable y cómo se construyeron las variables derivadas
• La sintaxis o los scripts de análisis que generaron las cifras notificadas
• Documentación completa del muestreo: el marco, el procedimiento de selección, las ponderaciones y su método de cálculo
• Documentación del trabajo de campo: fechas, muestra efectiva, tasas de falta de respuesta y de sustitución, y resultados del control de calidad
• Cuando se prevea un panel, información de seguimiento con el consentimiento de las encuestadas y un protocolo de protección de datos

El seguimiento de las mismas encuestadas en la línea final es lo que permite medir el cambio a nivel individual, y es también donde el desgaste de la muestra amenaza todo el diseño. Hay que planificarlo en la línea de base: recopilar los datos de contacto y ubicación necesarios para volver a localizar a las personas, prever un presupuesto de seguimiento y contar con que el desgaste será mayor entre las personas móviles, jóvenes y pobres, es decir, precisamente aquellas cuyos resultados más importan.

Errores habituales de las UEP en el diseño de encuestas de línea de base

Tratar la encuesta de línea de base como un entregable de cumplimiento. Se contrata para rellenar una columna del marco de resultados, de modo que nadie se pregunta si el diseño puede respaldar las afirmaciones que el proyecto necesitará hacer al finalizar.

Medir el hogar cuando el proyecto se dirige a la mujer. Es el error aislado más común y suele ser irreversible cuando llega la línea final.

Esperar atribución sin grupo de comparación. Los proyectos informan de que «los ingresos de los beneficiarios aumentaron un 22 %» y no pueden decir si los ingresos también aumentaron para todos los demás.

Seleccionar indicadores que no pueden repetirse. Una línea de base exhaustiva seguida de una línea final barata da lugar a dos encuestas que no pueden compararse.

Realizar la encuesta después de que comiencen las actividades. Y luego notificar los valores como si fueran anteriores a la exposición.

Omitir la prueba piloto. Los problemas de formulación de las preguntas, de traducción y de duración de las entrevistas son baratos de corregir antes del trabajo de campo y caros después.

Instrumentos demasiado largos. Las entrevistas de más de 60 a 75 minutos provocan fatiga, y los últimos módulos, a menudo los de empoderamiento, recogen los peores datos.

Aceptar un informe sin el conjunto de datos. La UEP se queda con unas conclusiones que no puede volver a analizar, verificar ni comparar.

Ignorar la estacionalidad y la migración. Trabajo de campo programado según la conveniencia de la contratación y no según el calendario de la población encuestada.

Ningún plan para volver a localizar a las encuestadas. El seguimiento del panel se decide en la línea final, cuando ya es demasiado tarde.

Qué deben comprobar las UEP antes de aceptar el informe de una encuesta de línea de base

Diseño

• ¿Se miden los indicadores a nivel individual cuando el proyecto se dirige a mujeres a título individual?
• ¿Recoge realmente el instrumento todos los indicadores del marco de resultados?
• ¿Se describe el marco muestral y se indican sus limitaciones de cobertura?
• ¿Están justificados el tamaño de la muestra y la precisión en función del uso previsto de los datos por el proyecto?
• Si se espera atribución, ¿se encuestó a un grupo de comparación con el mismo instrumento y al mismo tiempo?

Trabajo de campo

• ¿Quién realizó las entrevistas y, cuando era necesario, fueron entrevistadas las encuestadas por encuestadoras?
• ¿Se realizaron las entrevistas en privado y se registra la presencia de otras personas?
• ¿Se tradujo el instrumento, se retrotradujo y se sometió a prueba piloto, y se actuó en función de los resultados del piloto?
• ¿Cuáles fueron las tasas efectivas de muestra, falta de respuesta y sustitución?
• ¿Qué control de calidad se aplicó y qué mostraron las verificaciones posteriores y las auditorías de audio?
• ¿Cuándo se realizó el trabajo de campo y en qué momento del calendario agrícola y migratorio?

Entregables

• ¿Se ha entregado el conjunto de datos depurado, con etiquetas, libro de códigos y sintaxis de análisis?
• ¿Pueden reproducirse las cifras notificadas a partir del conjunto de datos facilitado?
• ¿Están documentadas las ponderaciones muestrales y se aplican correctamente en las estimaciones notificadas?
• ¿Están documentados los procedimientos de consentimiento, las aprobaciones éticas y las medidas de protección de datos?
• ¿Se dispone de información de seguimiento para una futura línea final, con el consentimiento obtenido?
• ¿Indica el informe sus propias limitaciones, o presenta todas las cifras con el mismo grado de certeza?

Preguntas clave que deberían plantearse los líderes de proyectos

• Al finalizar, ¿se nos preguntará qué cambió o qué causamos, y está diseñada la encuesta de línea de base para dar esa respuesta?
• ¿Podrán recopilarse de nuevo dentro de tres años todos los indicadores de nuestro marco de resultados, con un coste que podamos asumir?
• ¿Quién conservará el conjunto de datos, el libro de códigos y la información de seguimiento cuando el personal actual de la UEP se haya marchado?
• ¿Estará terminada la línea de base antes de que las actividades del proyecto lleguen a las zonas de la muestra?
• ¿Están nuestros requisitos para la encuesta recogidos en los términos de referencia, o confiamos en que los proponga la empresa?
• ¿Hay en la UEP alguien capaz de revisar la metodología, o aceptamos el informe por confianza?
• ¿Qué haremos de forma diferente en el diseño del proyecto cuando lleguen los resultados de la línea de base?

Crear capacidad interna para el diseño de encuestas de línea de base

La calidad de una encuesta de línea de base depende en gran medida de los términos de referencia y de la supervisión aplicada durante el trabajo de campo. Ambas cosas corresponden al cliente, no al consultor. Una UEP capaz de especificar los requisitos de muestreo, insistir en la prueba piloto, leer con espíritu crítico un apartado metodológico y rechazar un entregable de datos incompleto obtiene mejores encuestas del mismo mercado de empresas que una UEP que no lo es.

Por eso la capacidad en materia de encuestas debe residir en el organismo ejecutor en lugar de externalizarse por completo. Los ministerios y organismos que gestionan operaciones sucesivas se benefician de unos términos de referencia estándar, una lista estándar de entregables de datos, una lista de verificación para la revisión y un lugar donde realmente se conserven los conjuntos de datos de proyectos anteriores. Así, la medición mejora en toda la cartera en lugar de empezar de cero con cada proyecto.

La misma lógica se aplica al uso posterior de los resultados. Una encuesta de línea de base que se lee, se cuestiona y permite modificar la focalización vale más que una técnicamente impecable que se archiva nada más recibirse. Para profundizar en la medición de resultados, y no de actividades, en contextos de desplazamiento, consulte nuestra guía sobre la restauración de los medios de vida según la EAS5 del Banco Mundial, donde la misma disciplina de medición determina si puede demostrarse la restauración.

Conclusión

La encuesta de línea de base de un proyecto de empoderamiento económico de las mujeres es un sistema de medición, no un documento. El diseño de la encuesta de línea de base fija qué se contará, a qué nivel, para quién y frente a qué comparación. Esas decisiones se toman pronto, normalmente con rapidez, y es difícil revisarlas una vez concluido el trabajo de campo.

Los proyectos que pueden demostrar resultados al finalizar rara vez son los que tienen las líneas de base más elaboradas. Son los que midieron a las mujeres individualmente y no a los hogares, eligieron indicadores que podían permitirse repetir, diseñaron la comparación que necesitarían después, realizaron la encuesta antes de que comenzaran las actividades y conservaron el conjunto de datos, el libro de códigos y los medios para volver a localizar a las encuestadas.

Para las UEP, la conclusión práctica es que el trabajo decisivo se realiza antes de la contratación. Los términos de referencia son el lugar donde se determina la calidad de la línea final, con tres o cuatro años de antelación.

¿Prepara una encuesta de línea de base, de línea final o de beneficiarios? Risalat Consultants International apoya a instituciones gubernamentales, UEP y equipos de proyecto con un desarrollo práctico de capacidades en diseño de encuestas de línea de base, métodos de investigación y análisis de datos, seguimiento y evaluación, e igualdad de género e inclusión social.

Descubra nuestros programas de formación en investigación y estadística o hable con nuestro equipo sobre un apoyo a medida para el equipo de su proyecto.