Conceber um estudo de base que o estudo final possa realmente utilizar

Introdução

A conceção do estudo de base é uma das primeiras decisões técnicas que uma Unidade de Gestão do Projeto (UGP) tem de acertar, e uma das mais fáceis de errar. Em África, na Ásia e na Ásia Central, o estudo de base de um projeto de capacitação económica das mulheres é normalmente encomendado no primeiro ano de execução e quase sempre sob pressão de tempo. O quadro de resultados já contém indicadores, o acordo de financiamento exige valores de referência e a UGP precisa de números antes do primeiro relatório de progresso.

O que se segue é previsível. É contratado um consultor, é realizado um inquérito, é entregue um relatório e os números entram no quadro de resultados. Três ou quatro anos depois, no estudo final, o projeto descobre que o estudo de base não sustenta a afirmação que agora precisa de fazer. O indicador foi medido ao nível do agregado familiar, quando o projeto trabalhou com mulheres individuais. A amostra não pode ser reencontrada. As definições mudaram. Não há grupo de comparação. A base de dados nunca foi entregue, apenas o relatório.

Estas falhas não se devem a empresas de inquéritos fracas. São falhas de conceção do estudo de base, cometidas nas primeiras semanas por pessoas que gerem muitas outras coisas ao mesmo tempo.

Este guia expõe essas decisões do ponto de vista de uma UGP que tem de encomendar o inquérito, supervisioná-lo e, mais tarde, defender os resultados. Aplica-se a projetos de capacitação económica das mulheres na agricultura, no desenvolvimento empresarial, na inclusão financeira, nas competências e no emprego, bem como às componentes de mão de obra e de meios de subsistência de operações maiores de infraestruturas e desenvolvimento rural.

Para que serve realmente um estudo de base

Um estudo de base serve três objetivos distintos, e os problemas surgem quando um projeto persegue um deles e parte do princípio de que alcançou os outros.

Reporte. Estabelece os valores de partida dos indicadores do quadro de resultados. É o objetivo que a maioria das UGP tem em mente, e o menos exigente dos três.

Definição dos beneficiários e conceção. Descreve a situação dos participantes previstos: o que ganham, o que possuem, que constrangimentos enfrentam, que serviços já utilizam. Um bom estudo de base altera a conceção do projeto, porque costuma mostrar que os pressupostos assumidos na preparação estavam parcialmente errados.

Avaliação. Cria a base para medir a mudança e, quando existe um grupo de comparação, para atribuir essa mudança ao projeto e não a tudo o resto que acontece na economia.

O terceiro objetivo impõe exigências que o primeiro não impõe. Se o projeto se limitar a reportar valores de antes e depois, basta um inquérito descritivo aos participantes. Se alguém vier a perguntar se foi o projeto que causou a mudança, o grupo de comparação tem de ser concebido e inquirido no estudo de base. É a decisão com mais consequências de todo o exercício, e costuma ser tomada por omissão e não de forma deliberada.

A pergunta que uma UGP deve resolver antes de redigir os termos de referência é simples: no final, vão perguntar-nos o que mudou, ou vão perguntar-nos o que causámos? A resposta determina a conceção e o orçamento.

Conceção do estudo de base: escolher indicadores que resistam até ao estudo final

A capacitação económica não é uma quantidade única. Abrange o que uma mulher ganha, o que possui, o que controla, o que pode decidir e o que pode fazer sem a autorização de alguém. Os projetos que a reduzem a um único número conveniente medem geralmente a parte que menos se altera.

Há dois erros comuns. O primeiro é medir ao nível do agregado familiar: rendimento do agregado, bens do agregado, segurança alimentar do agregado. São dados mais fáceis de recolher e são os que os inquéritos nacionais costumam apresentar, mas um projeto pode aumentar o rendimento do agregado sem mudar nada para as mulheres a que se dirigia. O segundo é escolher, no estudo de base, medidas sofisticadas que o projeto não pode pagar para repetir no estudo final, o que deixa o indicador sem seguimento.

Vale a pena examinar os instrumentos já existentes antes de conceber perguntas de raiz. O Índice de Capacitação das Mulheres na Agricultura e as suas versões posteriores, incluindo o pro-WEAI, oferecem módulos testados sobre tomada de decisões, controlo dos rendimentos, uso do tempo, pertença a grupos e mobilidade, com questionários publicados e orientações de cálculo. Mesmo projetos fora da agricultura podem adaptar módulos específicos em vez de inventarem os seus. Para o contexto nacional e valores de comparação, o Portal de Dados de Género do Banco Mundial disponibiliza indicadores desagregados por sexo em mais de mil séries. A equipa DIME Analytics do Banco Mundial mantém também orientações práticas sobre conceção de questionários que vale a pena ler antes de redigir uns termos de referência.

Sete escolhas de medição explicam a maior parte da diferença entre um estudo de base que resiste ao tempo e um que não resiste.

A coluna da direita custa tempo de entrevista. A recolha estruturada dos rendimentos, o desempenho das empresas e o uso do tempo são os três módulos mais dispendiosos, e um questionário não consegue incluí-los todos a par de tudo o resto que o projeto quer saber. É uma escolha a fazer deliberadamente na fase de conceção, e não um atalho a tomar pela empresa de inquéritos no terreno.

Um domínio exige um tratamento à parte. As perguntas sobre violência ou segurança não devem ser acrescentadas a um inquérito económico geral como meia dúzia de perguntas extra. Exigem protocolos especializados, formação específica dos inquiridores, condições de privacidade que uma entrevista de rotina ao agregado familiar não consegue garantir e um circuito de encaminhamento para as inquiridas que revelem situações de violência. Se o projeto precisa realmente destes dados, encomende-os como deve ser. Se não precisa, deixe-os de fora em vez de os recolher mal.

Para cada indicador finalmente escolhido, deve aplicar-se um teste antes de emitir os termos de referência: pode ser recolhido de novo no estudo final, com a mesma formulação, por outra empresa e com um orçamento comparável? Se não puder, substitua-o.

Amostragem quando a população-alvo não consta de nenhuma lista

É na amostragem que a conceção do estudo de base falha de forma silenciosa. A maioria dos inquéritos nacionais utiliza uma base de sondagem censitária. Os projetos raramente têm essa opção, porque a população de interesse são as mulheres que cumprem os critérios do projeto, e não existe qualquer lista delas antes de o projeto começar.

Na prática, utilizam-se três abordagens, e cada uma tem consequências que a UGP deve compreender.

Listagem em agrupamentos selecionados. Selecionam-se primeiro aldeias ou quarteirões urbanos, muitas vezes com probabilidade proporcional à dimensão, e um rápido exercício de listagem em cada um identifica as mulheres elegíveis. Obtém-se assim uma amostra defensável, mas com uma etapa de campo e um custo adicionais.

Amostragem a partir das listas de candidatura ou de inscrição no projeto. Mais barata e rápida, mas as pessoas que se candidataram diferem sistematicamente das que não o fizeram. Os resultados descrevem os candidatos, não a população em geral, e isso deve ser dito claramente no relatório, em vez de ser descoberto na avaliação.

Amostragem a partir de registos administrativos. Listas de membros de cooperativas, registos comerciais, cadastros da proteção social. Úteis quando a cobertura é realmente elevada, enganadores quando predomina a atividade informal, que é precisamente a situação da maioria destes projetos.

A dimensão da amostra deve decorrer daquilo que o projeto vai precisar de detetar, e não de um número redondo. Um inquérito dimensionado para descrever uma população é menor do que um dimensionado para detetar uma mudança plausível ao longo do tempo, que por sua vez é menor do que um dimensionado para comparar grupos tratados e não tratados. Decida qual dos três está a comprar.

Há dois pormenores que costumam ficar de fora dos termos de referência e que mais tarde geram litígios: a regra de substituição quando não é possível encontrar uma inquirida selecionada e a taxa máxima aceitável de não resposta. Especifique ambos e exija que o relatório final indique as taxas alcançadas.

O trabalho de campo decide a qualidade dos dados

A conceção do estudo de base não termina quando o questionário é aprovado. Quatro decisões de campo determinam se os dados recolhidos são utilizáveis.

Quem realiza a entrevista

Em muitos contextos da Ásia e de África, uma mulher entrevistada por um inquiridor do sexo masculino, ou na presença do marido ou da sogra, dá respostas diferentes sobre rendimentos, controlo e tomada de decisões das que daria em privado. Não se trata de uma subtileza cultural. É um erro de medição que segue uma direção previsível e pode ser maior do que o efeito que o projeto pretende demonstrar.

Exija inquiridoras para as inquiridas quando o contexto o justifique, e exija que a entrevista seja realizada apenas com a inquirida. Peça ao inquiridor que registe quem mais estava presente. Esta variável é valiosa na fase de análise.

Língua e tradução

Os instrumentos redigidos em inglês e traduzidos uma única vez, sem retrotradução e sem teste-piloto no dialeto efetivamente utilizado no terreno, produzem perguntas que os inquiridores parafraseiam de forma diferente em cada distrito. Exija a tradução para cada língua de aplicação, a retrotradução e um teste-piloto de, pelo menos, 30 a 50 entrevistas, com um relatório escrito. Termos como “rendimento”, “ativo”, “decidir” e “possuir” raramente têm equivalentes exatos numa só palavra, e as opções de tradução devem ser documentadas para que o estudo final utilize as mesmas.

Formação e supervisão dos inquiridores

Uma formação de uma semana ou mais, com entrevistas de treino e teste-piloto no terreno, distingue os dados utilizáveis do ruído. As regras de supervisão devem estar explícitas no contrato: o rácio entre supervisores e inquiridores, a proporção de entrevistas verificadas e o que acontece quando as verificações falham. A recolha digital de dados em plataformas normalizadas permite regras de validação, registos GPS, registos da duração das entrevistas e auditorias de áudio, que tornam a supervisão real e não apenas nominal.

Momento do calendário

A sazonalidade não é um pormenor. Os rendimentos agrícolas, a segurança alimentar, o uso do tempo e até a composição do agregado familiar variam ao longo do ano. Nas zonas com elevada migração laboral sazonal, quem está em casa em março e quem está em casa em setembro são populações diferentes. Os calendários religiosos, os períodos de colheita e os períodos escolares afetam a disponibilidade e as respostas.

A implicação prática é que o estudo final deve ser realizado na mesma estação do ano que o estudo de base. Registe as datas do trabalho de campo de forma bem visível, porque quem encomendar o estudo final três anos depois vai precisar delas.

Ética e salvaguarda num estudo de base

Os inquéritos que perguntam às mulheres sobre rendimentos, controlo do dinheiro e decisões do agregado familiar podem criar riscos para a inquirida, sobretudo quando as respostas contradizem o que diria outro membro do agregado. Aplicam-se normas mínimas, seja qual for o país:

• Consentimento informado na língua da inquirida, incluindo o direito de parar a qualquer momento e de não responder a perguntas
• Nenhuma promessa implícita de que a participação influencia a seleção para os benefícios do projeto, o que protege também a qualidade dos dados
• Condições de entrevista em privado e um protocolo para adiar uma entrevista que não possa ser realizada em privado
• Um circuito de encaminhamento para os serviços disponíveis caso uma inquirida revele ter sofrido danos, com inquiridores formados sobre como reagir
• Proteção dos dados pessoais, com os identificadores guardados separadamente das respostas e acesso restrito
• Qualquer autorização ética nacional ou aprovação do instituto de estatística exigida para inquéritos nesse país, confirmada antes do trabalho de campo e não durante

Quando alguma parte do inquérito aborda a segurança ou a violência, as recomendações éticas e de segurança para a investigação sobre a violência contra as mulheres da Organização Mundial da Saúde definem a norma que os doadores e as comissões de ética esperam, e devem ser referidas nos termos de referência em vez de ficarem ao critério da empresa.

Estes requisitos devem constar dos termos de referência. As empresas orçamentam o que está escrito; os compromissos levantados depois da assinatura do contrato raramente são cumpridos na íntegra.

O calendário do estudo de base face ao arranque do projeto

Um estudo de base mede a situação antes da exposição ao projeto. Quando a contratação se arrasta e as atividades começam primeiro, o estudo deixa de o fazer, e a resposta honesta é registá-lo, em vez de o esconder.

Quando o estudo de base chega tarde, registe que zonas da amostra já tinham recebido atividades do projeto e durante quanto tempo. Uma exposição parcial documentada no estudo de base ainda pode ser analisada. Uma exposição não documentada invalida silenciosamente a comparação mais tarde.

Quando o estudo de base pode ser devidamente sequenciado, o caminho prático é preparar os termos de referência durante a preparação do projeto, lançar a contratação logo na entrada em vigor e suspender o primeiro desembolso para atividades de campo nas zonas da amostra até à conclusão do inquérito. Isto exige que a função de monitorização e avaliação e a função de contratação estejam coordenadas desde o início, o que é uma questão de organização institucional e não técnica.

Tornar o estudo final comparável

A maioria dos estudos de base é encomendada como trabalho autónomo e entregue sob a forma de relatório. A comparabilidade é um requisito da conceção do estudo de base, não um problema do estudo final. O estudo final é contratado anos depois, muitas vezes a outra empresa e com outra equipa na UGP. A comparabilidade tem de ser construída de forma deliberada.

Exija os seguintes elementos como produtos contratuais, e não como anexos opcionais:

• O instrumento final em todas as línguas de aplicação, tal como foi utilizado no terreno
• A base de dados limpa num formato normalizado, com rótulos de variáveis e de valores
• Um livro de códigos que documente cada variável e a forma como foram construídas as variáveis derivadas
• A sintaxe ou os scripts de análise que produziram os valores apresentados
• Documentação completa da amostragem: a base de sondagem, o procedimento de seleção, os ponderadores e a forma como foram calculados
• Documentação do trabalho de campo: datas, amostra alcançada, taxas de não resposta e de substituição, e resultados do controlo de qualidade
• Quando se prevê um painel, informação de seguimento com o consentimento das inquiridas e um protocolo de proteção de dados

Seguir as mesmas inquiridas no estudo final é o que torna a mudança mensurável a nível individual, e é também aí que o abandono ameaça toda a conceção. Planeie-o desde o estudo de base: recolha os contactos e a localização necessários para voltar a encontrar as pessoas, preveja um orçamento para o seguimento e conte com um abandono mais elevado entre as pessoas com mais mobilidade, as mais jovens e as mais pobres, ou seja, entre aquelas cujos resultados mais importam.

Erros comuns das UGP na conceção de estudos de base

Tratar o estudo de base como um produto de conformidade. É contratado para preencher uma coluna do quadro de resultados, pelo que ninguém pergunta se a conceção sustenta as afirmações que o projeto terá de fazer no final.

Medir o agregado familiar quando o projeto se dirige à mulher. É o erro isolado mais comum e, em geral, irreversível quando chega o estudo final.

Esperar atribuição sem grupo de comparação. Os projetos reportam que “os rendimentos dos beneficiários aumentaram 22 por cento” e não conseguem dizer se os rendimentos de todos os outros também aumentaram.

Escolher indicadores que não podem ser repetidos. Um estudo de base rico seguido de um estudo final barato produz dois inquéritos que não podem ser comparados.

Realizar o inquérito depois do início das atividades. E depois apresentar os valores como se fossem anteriores à exposição.

Saltar o teste-piloto. Os problemas das perguntas, da tradução e da duração das entrevistas são baratos de corrigir antes do trabalho de campo e caros depois.

Instrumentos demasiado longos. As entrevistas com mais de 60 a 75 minutos geram cansaço, e os últimos módulos, muitas vezes os de capacitação, ficam com os piores dados.

Aceitar um relatório sem a base de dados. A UGP fica com conclusões que não pode reanalisar, verificar nem comparar.

Ignorar a sazonalidade e a migração. Trabalho de campo calendarizado em função da conveniência da contratação e não do calendário da população inquirida.

Nenhum plano para voltar a encontrar as inquiridas. O seguimento do painel é decidido no estudo final, quando já é tarde demais.

O que as UGP devem verificar antes de aceitar o relatório de um estudo de base

Conceção

• Os indicadores são medidos ao nível individual quando o projeto se dirige a mulheres individuais?
• Todos os indicadores do quadro de resultados estão efetivamente cobertos pelo instrumento?
• A base de sondagem está descrita, com indicação das suas limitações de cobertura?
• A dimensão da amostra e a precisão estão justificadas face à utilização que o projeto pretende dar aos dados?
• Se se espera atribuição, foi inquirido um grupo de comparação com o mesmo instrumento e ao mesmo tempo?

Trabalho de campo

• Quem realizou as entrevistas, e as inquiridas foram entrevistadas por mulheres inquiridoras quando necessário?
• As entrevistas foram realizadas em privado, e a presença de outras pessoas está registada?
• O instrumento foi traduzido, retrotraduzido e testado, e os resultados do teste-piloto foram tidos em conta?
• Quais foram as taxas alcançadas de amostra, de não resposta e de substituição?
• Que controlo de qualidade foi aplicado, e o que revelaram as verificações posteriores e as auditorias de áudio?
• Quando decorreu o trabalho de campo e em que momento do calendário agrícola e migratório se situa?

Resultados a entregar

• A base de dados limpa foi entregue, com rótulos, livro de códigos e sintaxe de análise?
• Os valores apresentados podem ser reproduzidos a partir da base de dados fornecida?
• Os ponderadores amostrais estão documentados e corretamente aplicados nas estimativas apresentadas?
• Os procedimentos de consentimento, as aprovações éticas e as medidas de proteção de dados estão documentados?
• Existe informação de seguimento para um futuro estudo final, com o consentimento obtido?
• O relatório indica as suas próprias limitações, ou apresenta todos os valores com o mesmo grau de confiança?

Perguntas essenciais que os líderes de projeto devem fazer

• No final, vão perguntar-nos o que mudou, ou o que causámos, e o estudo de base está concebido para essa resposta?
• Cada indicador do nosso quadro de resultados pode ser recolhido de novo daqui a três anos, a um custo que poderemos suportar?
• Quem vai guardar a base de dados, o livro de códigos e a informação de seguimento quando a atual equipa da UGP tiver saído?
• O estudo de base estará concluído antes de as atividades do projeto chegarem às zonas da amostra?
• Os requisitos do inquérito estão escritos nos termos de referência, ou estamos a contar que seja a empresa a propô-los?
• Alguém na UGP tem capacidade para analisar a metodologia, ou estamos a aceitar o relatório de boa-fé?
• O que faremos de diferente na conceção do projeto quando chegarem os resultados do estudo de base?

Desenvolver capacidade interna de conceção de estudos de base

A qualidade de um estudo de base é determinada sobretudo pelos termos de referência e pela supervisão exercida durante o trabalho de campo. Ambos dependem do cliente, não do consultor. Uma UGP capaz de especificar requisitos de amostragem, insistir no teste-piloto, ler criticamente uma secção de metodologia e recusar uma entrega de dados incompleta obtém melhores inquéritos do mesmo mercado de empresas do que uma UGP que não o consegue fazer.

É por isso que a capacidade de realizar inquéritos deve estar dentro da agência executora, em vez de ser totalmente subcontratada. Os ministérios e agências que executam operações sucessivas beneficiam de termos de referência normalizados, de uma lista normalizada de produtos de dados, de uma lista de verificação para a revisão e de um local onde as bases de dados de projetos anteriores são efetivamente guardadas. A medição melhora então em toda a carteira, em vez de recomeçar a cada projeto.

A mesma lógica aplica-se à forma como os resultados são utilizados depois. Um estudo de base que é lido, questionado e que pode alterar a definição dos beneficiários vale mais do que um tecnicamente impecável que é arquivado logo que chega. Para saber mais sobre a medição de resultados, e não de atividades, em contextos de deslocação, consulte o nosso guia sobre a recuperação dos meios de subsistência ao abrigo da NAS5 do Banco Mundial, onde a mesma disciplina de medição determina se a recuperação pode ser demonstrada.

Conclusão

O estudo de base de um projeto de capacitação económica das mulheres é um sistema de medição, não um documento. A conceção do estudo de base fixa o que vai ser contado, a que nível, para quem e face a que comparação. Essas escolhas fazem-se cedo, geralmente depressa, e são difíceis de rever depois de concluído o trabalho de campo.

Os projetos que conseguem demonstrar resultados no final raramente são os que têm os estudos de base mais elaborados. São os que mediram mulheres individuais e não agregados familiares, escolheram indicadores que podiam repetir, conceberam a comparação de que viriam a precisar, realizaram o inquérito antes do início das atividades e guardaram a base de dados, o livro de códigos e os meios para voltar a encontrar as inquiridas.

Para as UGP, a lição prática é que o trabalho decisivo acontece antes da contratação. É nos termos de referência que se determina a qualidade do estudo final, com três ou quatro anos de antecedência.

Está a planear um estudo de base, um estudo final ou um inquérito aos beneficiários? A Risalat Consultants International apoia instituições governamentais, UGP e equipas de projeto com desenvolvimento prático de capacidades na conceção de estudos de base, em métodos de investigação e análise de dados, em monitorização e avaliação e em igualdade de género e inclusão social.

Conheça os nossos programas de formação em investigação e estatística ou fale com a nossa equipa sobre um apoio à medida para a equipa do seu projeto.