Concevoir une enquête de référence réellement exploitable pour l'enquête finale

Introduction

La conception de l'enquête de référence est l'une des premières décisions techniques qu'une unité de gestion de projet (UGP) doit réussir, et l'une des plus faciles à manquer. En Afrique, en Asie et en Asie centrale, l'enquête de référence d'un projet d'autonomisation économique des femmes est généralement commandée au cours de la première année de mise en œuvre, et généralement dans l'urgence. Le cadre de résultats contient déjà des indicateurs, l'accord de financement exige des valeurs de référence, et l'UGP a besoin de chiffres avant le premier rapport d'avancement.

La suite est prévisible. Un consultant est recruté, une enquête est menée, un rapport est remis, et les chiffres intègrent le cadre de résultats. Trois ou quatre ans plus tard, au moment de l'enquête finale, le projet découvre que l'enquête de référence ne peut pas étayer l'affirmation qu'il doit désormais faire. L'indicateur a été mesuré au niveau du ménage alors que le projet travaillait avec des femmes individuellement. L'échantillon est introuvable. Les définitions ont changé. Il n'y a pas de groupe de comparaison. Le jeu de données n'a jamais été remis, seulement le rapport.

Ces échecs ne sont pas imputables à des cabinets d'enquête défaillants. Ce sont des échecs de conception de l'enquête de référence, commis au cours des premières semaines par des personnes qui gèrent beaucoup d'autres choses en même temps.

Ce guide présente ces décisions du point de vue d'une UGP qui doit commander l'enquête, la superviser et en défendre ensuite les résultats. Il s'applique aux projets d'autonomisation économique des femmes dans l'agriculture, le développement des entreprises, l'inclusion financière, les compétences et l'emploi, ainsi qu'aux composantes main-d'œuvre et moyens de subsistance d'opérations plus vastes d'infrastructures et de développement rural.

À quoi sert réellement une enquête de référence

Une enquête de référence répond à trois objectifs distincts, et les problèmes surviennent lorsqu'un projet en poursuit un et suppose avoir atteint les autres.

Reporting. Elle établit les valeurs de départ des indicateurs du cadre de résultats. C'est l'objectif que la plupart des UGP ont en tête, et c'est le moins exigeant des trois.

Ciblage et conception. Elle décrit la situation des participantes visées : ce qu'elles gagnent, ce qu'elles possèdent, les contraintes auxquelles elles font face, les services qu'elles utilisent déjà. Une bonne enquête de référence modifie la conception du projet, car elle montre généralement que les hypothèses formulées pendant la préparation étaient en partie erronées.

Évaluation. Elle crée la base permettant de mesurer le changement et, lorsqu'un groupe de comparaison existe, d'attribuer ce changement au projet plutôt qu'à tout ce qui se passe par ailleurs dans l'économie.

Le troisième objectif impose des exigences que le premier n'impose pas. Si le projet ne présente jamais que des valeurs avant-après, une enquête descriptive auprès des participants suffit. Si quelqu'un doit demander plus tard si le changement est dû au projet, le groupe de comparaison doit être conçu et enquêté dès la situation de référence. C'est la décision la plus lourde de conséquences de tout l'exercice, et elle est généralement prise par défaut plutôt que de manière délibérée.

La question qu'une UGP doit trancher avant de rédiger les termes de référence est simple : à l'achèvement, nous demandera-t-on ce qui a changé, ou ce que nous avons provoqué ? La réponse détermine la conception et le budget.

Conception de l'enquête de référence : choisir des indicateurs qui tiendront jusqu'à l'enquête finale

L'autonomisation économique ne se résume pas à une seule grandeur. Elle recouvre ce qu'une femme gagne, ce qu'elle possède, ce qu'elle maîtrise, ce qu'elle peut décider et ce qu'elle peut faire sans l'autorisation de quelqu'un. Les projets qui la réduisent à un chiffre commode mesurent généralement la dimension qui évolue le moins.

Deux erreurs sont fréquentes. La première consiste à mesurer au niveau du ménage : revenu du ménage, actifs du ménage, sécurité alimentaire du ménage. Ces données sont plus faciles à collecter et ce sont souvent celles que publient les enquêtes nationales, mais un projet peut accroître le revenu d'un ménage sans rien changer pour les femmes qu'il ciblait. La seconde consiste à choisir dès la situation de référence des mesures sophistiquées que le projet ne pourra pas se permettre de reproduire lors de l'enquête finale, ce qui laisse l'indicateur sans suite.

Les instruments existants méritent d'être examinés avant de concevoir des questions à partir de zéro. L'indice d'autonomisation des femmes dans l'agriculture (WEAI) et ses versions ultérieures, dont le pro-WEAI, proposent des modules éprouvés sur la prise de décision, la maîtrise des revenus, l'emploi du temps, l'appartenance à des groupes et la mobilité, avec des questionnaires publiés et des guides de calcul. Même les projets hors agriculture peuvent adapter certains modules plutôt que d'inventer les leurs. Pour le contexte national et des valeurs de comparaison, le portail de données sur le genre de la Banque mondiale fournit des indicateurs ventilés par sexe sur plus d'un millier de séries. L'équipe DIME Analytics de la Banque mondiale tient également à jour des conseils pratiques sur la conception des questionnaires, qu'il est utile de lire avant de rédiger des termes de référence.

Sept choix de mesure expliquent l'essentiel de la différence entre une enquête de référence solide et une enquête qui ne l'est pas.

La colonne de droite coûte du temps d'entretien. Le rappel structuré des revenus, la performance des entreprises et l'emploi du temps sont les trois modules les plus coûteux, et un questionnaire ne peut pas tous les intégrer en plus de tout ce que le projet souhaite savoir. C'est un choix à faire délibérément au stade de la conception, et non un raccourci laissé au cabinet d'enquête sur le terrain.

Un domaine exige un traitement à part. Les questions sur la violence ou la sécurité ne doivent pas être ajoutées à une enquête économique générale sous la forme de quelques questions supplémentaires. Elles exigent des protocoles spécialisés, une formation dédiée des enquêteurs, des conditions de confidentialité qu'un entretien ordinaire auprès des ménages ne peut garantir et un circuit d'orientation pour les répondantes qui font des révélations. Si le projet a réellement besoin de ces données, commandez-les dans les règles. Sinon, mieux vaut y renoncer que de les collecter mal.

Pour chaque indicateur finalement retenu, un test doit être appliqué avant la publication des termes de référence : pourra-t-il être collecté à nouveau lors de l'enquête finale, avec la même formulation, par un autre cabinet, pour un budget comparable ? Sinon, remplacez-le.

Échantillonner quand la population cible ne figure sur aucune liste

C'est dans l'échantillonnage que la conception d'une enquête de référence dérape sans bruit. La plupart des enquêtes nationales s'appuient sur une base de sondage issue du recensement. Les projets ont rarement cette option, car la population d'intérêt est constituée de femmes qui remplissent les critères du projet, et aucune liste de ces femmes n'existe avant le démarrage du projet.

Trois approches sont utilisées dans la pratique, et chacune a des conséquences que l'UGP doit comprendre.

Dénombrement au sein de grappes sélectionnées. Des villages ou des îlots urbains sont d'abord sélectionnés, souvent avec une probabilité proportionnelle à la taille, puis un dénombrement rapide dans chacun permet d'identifier les femmes éligibles. Cette méthode produit un échantillon défendable, mais ajoute une étape de terrain et un coût.

Échantillonnage à partir des listes de candidature ou d'inscription au projet. Moins coûteux et plus rapide, mais les personnes qui ont postulé diffèrent systématiquement de celles qui ne l'ont pas fait. Les résultats décrivent les candidates, et non la population dans son ensemble, ce qui doit être indiqué clairement dans le rapport plutôt que découvert lors de l'évaluation.

Échantillonnage à partir de registres administratifs. Listes de membres de coopératives, registres des entreprises, listes de bénéficiaires de la protection sociale. Utile lorsque la couverture est réellement élevée, trompeur lorsque l'activité informelle domine, ce qui est précisément le cas dans la plupart de ces projets.

La taille de l'échantillon doit découler de ce que le projet devra détecter, et non d'un chiffre rond. Une enquête dimensionnée pour décrire une population est plus petite qu'une enquête dimensionnée pour détecter un changement plausible dans le temps, elle-même plus petite qu'une enquête dimensionnée pour comparer des groupes traités et non traités. Déterminez laquelle des trois vous achetez.

Deux points sont régulièrement omis des termes de référence et sont source de litiges par la suite : la règle de remplacement lorsqu'une répondante sélectionnée est introuvable, et le taux de non-réponse maximal acceptable. Précisez les deux et exigez que le rapport final indique les taux obtenus.

La conception du terrain détermine la qualité des données

La conception de l'enquête de référence ne s'arrête pas à la validation du questionnaire. Quatre décisions de terrain déterminent si les données recueillies seront exploitables.

Qui mène l'entretien

Dans de nombreux contextes en Asie et en Afrique, une femme interrogée par un enquêteur masculin, ou en présence de son mari ou de sa belle-mère, ne donne pas les mêmes réponses sur ses revenus, sa maîtrise des ressources et la prise de décision qu'en privé. Il ne s'agit pas d'une simple question de convenance culturelle, mais d'une erreur de mesure qui va dans un sens prévisible et peut dépasser l'effet que le projet espère démontrer.

Exigez des enquêtrices pour les répondantes lorsque le contexte l'impose, et exigez que l'entretien se déroule avec la répondante seule. Faites consigner par l'enquêteur les autres personnes présentes. Cette variable est précieuse au stade de l'analyse.

Langue et traduction

Des questionnaires rédigés en anglais et traduits une seule fois, sans rétrotraduction ni prétest dans le dialecte réellement utilisé sur le terrain, produisent des questions que les enquêteurs reformulent ensuite différemment dans chaque district. Exigez une traduction dans chaque langue d'administration, une rétrotraduction et un prétest d'au moins 30 à 50 entretiens avec un compte rendu écrit. Des termes comme « revenu », « actif », « décider » et « posséder » ont rarement un équivalent net en un seul mot, et les choix de traduction doivent être documentés pour que l'enquête finale utilise les mêmes.

Formation et supervision des enquêteurs

Une formation d'une semaine ou plus, comprenant des entretiens d'entraînement et un prétest sur le terrain, fait la différence entre des données exploitables et du bruit. Les modalités de supervision doivent être explicites dans le contrat : ratio superviseurs/enquêteurs, proportion d'entretiens contre-vérifiés et mesures prises en cas d'échec des contre-vérifications. La collecte numérique sur des plateformes standard permet des règles de validation, l'horodatage GPS, l'enregistrement de la durée des entretiens et des audits audio, autant d'éléments qui rendent la supervision réelle plutôt que théorique.

Le calendrier

La saisonnalité n'est pas un détail. Les revenus agricoles, la sécurité alimentaire, l'emploi du temps et même la composition des ménages varient au cours de l'année. Dans les zones à forte migration de travail saisonnière, les personnes présentes au foyer en mars et en septembre ne forment pas la même population. Les calendriers religieux, les périodes de récolte et les calendriers scolaires influent tous sur la disponibilité et sur les réponses.

Concrètement, l'enquête finale doit être réalisée à la même saison que l'enquête de référence. Consignez bien en évidence les dates du travail de terrain, car la personne qui commandera l'enquête finale trois ans plus tard en aura besoin.

Éthique et protection dans une enquête de référence

Les enquêtes qui interrogent les femmes sur leurs revenus, leur maîtrise de l'argent et les décisions du ménage peuvent exposer la répondante à des risques, en particulier lorsque ses réponses contredisent ce que dirait un membre du ménage. Des normes minimales s'appliquent quel que soit le pays :

• Un consentement éclairé dans la langue de la répondante, incluant le droit d'arrêter à tout moment et de ne pas répondre à certaines questions
• Aucune promesse implicite que la participation influe sur la sélection pour les avantages du projet, ce qui protège aussi la qualité des données
• Des conditions d'entretien confidentielles, et un protocole permettant de reporter un entretien qui ne peut être mené en privé
• Un circuit d'orientation vers les services disponibles si une répondante fait état de violences ou de préjudices, avec des enquêteurs formés à la manière de réagir
• Protection des données personnelles, avec des identifiants conservés séparément des réponses et un accès restreint
• Toute autorisation éthique nationale ou approbation de l'institut statistique requise pour les enquêtes dans le pays, confirmée avant le travail de terrain et non pendant

Lorsqu'une partie de l'enquête porte sur la sécurité ou la violence, les recommandations éthiques et de sécurité de l'Organisation mondiale de la Santé pour la recherche sur la violence à l'égard des femmes constituent la norme attendue par les bailleurs et les comités d'éthique ; elles doivent être citées dans les termes de référence plutôt que laissées à l'appréciation du cabinet.

Ces exigences doivent figurer dans les termes de référence. Les cabinets chiffrent ce qui est écrit ; les engagements formulés après la signature du contrat sont rarement tenus intégralement.

Caler l'enquête de référence sur le lancement du projet

Une enquête de référence mesure la situation avant l'exposition au projet. Lorsque la passation du marché traîne et que les activités démarrent en premier, l'enquête ne remplit plus ce rôle, et la réponse honnête consiste à le consigner plutôt qu'à le masquer.

Si l'enquête de référence est tardive, indiquez quelles zones échantillonnées avaient déjà bénéficié d'activités du projet et depuis combien de temps. Une exposition partielle documentée dans la situation de référence peut encore être analysée. Une exposition non documentée invalide discrètement la comparaison par la suite.

Lorsque l'enquête de référence peut être correctement séquencée, la voie pratique consiste à préparer les termes de référence pendant la préparation du projet, à lancer la passation du marché dès l'entrée en vigueur et à différer le premier décaissement des activités de terrain dans les zones échantillonnées jusqu'à la fin de la collecte. Cela suppose une coordination dès le départ entre la fonction S&E et la fonction passation des marchés, ce qui relève d'un arrangement institutionnel plutôt que technique.

Rendre l'enquête finale comparable

La plupart des enquêtes de référence sont commandées comme des missions autonomes et livrées sous forme de rapports. La comparabilité est une exigence de conception de l'enquête de référence, et non un problème de l'enquête finale. Celle-ci est commandée des années plus tard, souvent auprès d'un autre cabinet et souvent avec une autre équipe à l'UGP. La comparabilité doit être construite délibérément.

Exigez les éléments suivants en tant que livrables contractuels, et non en tant qu'annexes facultatives :

• Le questionnaire final dans chaque langue d'administration, tel qu'utilisé sur le terrain
• Le jeu de données apuré dans un format standard, avec les étiquettes des variables et des valeurs
• Un dictionnaire des variables documentant chaque variable et la construction des variables dérivées
• La syntaxe d'analyse ou les scripts ayant produit les chiffres présentés
• Une documentation complète de l'échantillonnage : base de sondage, procédure de sélection, pondérations et mode de calcul
• Documentation du travail de terrain : dates, échantillon obtenu, taux de non-réponse et de remplacement, et résultats du contrôle qualité
• Lorsqu'un panel est prévu, des informations de suivi recueillies avec le consentement des répondantes et un protocole de protection des données

Suivre les mêmes répondantes lors de l'enquête finale permet de mesurer le changement au niveau individuel, mais c'est aussi là que l'attrition menace l'ensemble du dispositif. Anticipez-la dès la situation de référence : recueillez les coordonnées et les informations de localisation nécessaires pour retrouver les personnes, prévoyez un budget de suivi et attendez-vous à une attrition plus forte parmi les personnes mobiles, les jeunes et les plus pauvres, c'est-à-dire parmi celles dont les résultats comptent le plus.

Erreurs courantes des UGP dans la conception des enquêtes de référence

Traiter l'enquête de référence comme un livrable de conformité. Elle est commandée pour remplir une colonne du cadre de résultats, si bien que personne ne se demande si sa conception permettra d'étayer les affirmations que le projet devra faire à son achèvement.

Mesurer le ménage alors que le projet cible la femme. C'est l'erreur la plus fréquente, et elle est généralement irréversible au moment de l'enquête finale.

Attendre une attribution sans groupe de comparaison. Les projets annoncent que « les revenus des bénéficiaires ont augmenté de 22 % » sans pouvoir dire si les revenus de tous les autres ont aussi augmenté.

Choisir des indicateurs impossibles à reproduire. Une enquête de référence riche suivie d'une enquête finale bon marché produit deux enquêtes impossibles à comparer.

Réaliser l'enquête après le début des activités. Puis présenter les valeurs comme si elles étaient antérieures à l'exposition.

Faire l'impasse sur le prétest. Les problèmes de questions, de traduction et de durée d'entretien coûtent peu à corriger avant le terrain et cher après.

Des questionnaires trop longs. Au-delà d'environ 60 à 75 minutes, les entretiens provoquent de la fatigue, et les derniers modules, souvent ceux consacrés à l'autonomisation, recueillent les données les moins fiables.

Accepter un rapport sans le jeu de données. L'UGP se retrouve avec des conclusions qu'elle ne peut ni réanalyser, ni vérifier, ni comparer.

Ignorer la saisonnalité et les migrations. Un travail de terrain planifié selon les contraintes de la passation des marchés plutôt que selon le calendrier de la population enquêtée.

Aucun plan pour retrouver les répondantes. Le suivi du panel est décidé au moment de l'enquête finale, alors qu'il est déjà trop tard.

Ce que les UGP doivent vérifier avant d'accepter un rapport d'enquête de référence

Conception

• Les indicateurs sont-ils mesurés au niveau individuel lorsque le projet cible des femmes individuellement ?
• Chaque indicateur du cadre de résultats est-il effectivement couvert par le questionnaire ?
• La base de sondage est-elle décrite, avec ses limites de couverture ?
• La taille de l'échantillon et la précision sont-elles justifiées au regard de l'usage prévu des données par le projet ?
• Si une attribution est attendue, un groupe de comparaison a-t-il été enquêté avec le même questionnaire au même moment ?

Travail de terrain

• Qui a mené les entretiens, et les répondantes ont-elles été interrogées par des enquêtrices lorsque cela était nécessaire ?
• Les entretiens ont-ils été menés en privé, et la présence d'autres personnes est-elle consignée ?
• Le questionnaire a-t-il été traduit, rétrotraduit et prétesté, et les résultats du prétest ont-ils été pris en compte ?
• Quels ont été l'échantillon obtenu, le taux de non-réponse et le taux de remplacement ?
• Quel contrôle qualité a été appliqué, et qu'ont révélé les contre-vérifications et les audits audio ?
• Quand le travail de terrain a-t-il eu lieu, et à quel moment du calendrier agricole et migratoire cela correspond-il ?

Livrables

• Le jeu de données apuré a-t-il été livré, avec les étiquettes, le dictionnaire des variables et la syntaxe d'analyse ?
• Les chiffres présentés peuvent-ils être reproduits à partir du jeu de données fourni ?
• Les pondérations d'échantillonnage sont-elles documentées et correctement appliquées dans les estimations présentées ?
• Les procédures de consentement, les approbations éthiques et les dispositifs de protection des données sont-ils documentés ?
• Les informations de suivi sont-elles disponibles pour une future enquête finale, avec le consentement obtenu ?
• Le rapport expose-t-il ses propres limites, ou présente-t-il chaque chiffre avec le même degré de confiance ?

Les questions essentielles que les chefs de projet devraient se poser

• À l'achèvement, nous demandera-t-on ce qui a changé ou ce que nous avons provoqué, et l'enquête de référence est-elle conçue pour y répondre ?
• Chaque indicateur de notre cadre de résultats pourra-t-il être collecté à nouveau dans trois ans, pour un coût que nous pourrons assumer ?
• Qui conservera le jeu de données, le dictionnaire des variables et les informations de suivi lorsque l'équipe actuelle de l'UGP sera partie ?
• L'enquête de référence sera-t-elle terminée avant que les activités du projet n'atteignent les zones échantillonnées ?
• Nos exigences en matière d'enquête sont-elles inscrites dans les termes de référence, ou comptons-nous sur le cabinet pour les proposer ?
• Quelqu'un à l'UGP a-t-il les compétences pour examiner la méthodologie, ou acceptons-nous le rapport de confiance ?
• Que changerons-nous dans la conception du projet lorsque les résultats de l'enquête de référence seront disponibles ?

Développer en interne les capacités de conception des enquêtes de référence

La qualité d'une enquête de référence dépend largement des termes de référence et de la supervision exercée pendant le travail de terrain. Ces deux leviers relèvent du client, et non du consultant. Une UGP capable de préciser les exigences d'échantillonnage, d'imposer un prétest, de lire d'un œil critique une section méthodologique et de refuser un livrable de données incomplet obtient de meilleures enquêtes, auprès des mêmes cabinets, qu'une UGP qui en est incapable.

C'est pourquoi les capacités d'enquête doivent se trouver au sein de l'organisme d'exécution plutôt que d'être entièrement externalisées. Les ministères et agences qui conduisent des opérations successives gagnent à disposer de termes de référence types, d'une liste type des livrables de données, d'une grille de revue et d'un lieu où les jeux de données des projets précédents sont réellement conservés. La mesure s'améliore alors à l'échelle d'un portefeuille au lieu de repartir de zéro à chaque projet.

La même logique s'applique à l'utilisation ultérieure des résultats. Une enquête de référence lue, discutée et autorisée à modifier le ciblage vaut davantage qu'une enquête techniquement irréprochable classée dès sa réception. Pour en savoir plus sur la mesure des résultats plutôt que des activités dans les contextes de déplacement, consultez notre guide sur la restauration des moyens de subsistance au titre de la NES 5 de la Banque mondiale, où la même rigueur de mesure détermine si la restauration peut être démontrée.

Conclusion

L'enquête de référence d'un projet d'autonomisation économique des femmes est un système de mesure, et non un document. Sa conception fixe ce qui sera compté, à quel niveau, pour qui et par rapport à quelle comparaison. Ces choix sont faits tôt, généralement rapidement, et il est difficile d'y revenir une fois le travail de terrain achevé.

Les projets capables de démontrer des résultats à leur achèvement sont rarement ceux qui disposent des enquêtes de référence les plus élaborées. Ce sont ceux qui ont mesuré les femmes individuellement plutôt que les ménages, choisi des indicateurs qu'ils pouvaient se permettre de reproduire, conçu la comparaison dont ils auraient besoin plus tard, réalisé l'enquête avant le début des activités et conservé le jeu de données, le dictionnaire des variables et les moyens de retrouver les répondantes.

Pour les UGP, l'enseignement pratique est que le travail décisif se fait avant la passation du marché. C'est dans les termes de référence que se joue la qualité de l'enquête finale, trois ou quatre ans à l'avance.

Vous préparez une enquête de référence, une enquête finale ou une enquête auprès des bénéficiaires ? Risalat Consultants International accompagne les institutions publiques, les UGP et les équipes de projet par un renforcement pratique des capacités en conception d'enquêtes de référence, en méthodes de recherche et analyse de données, en suivi et évaluation, et en égalité des genres et inclusion sociale.

Découvrez nos programmes de formation en recherche et statistiques ou contactez notre équipe pour un accompagnement sur mesure de votre équipe de projet.