设计终期调查真正能用的基线调查

引言

基线调查设计是项目实施单位（PIU）必须做对的首批技术决策之一，也是最容易出错的决策之一。在非洲、亚洲和中亚，妇女经济赋权项目的基线调查通常在实施第一年内委托开展，而且往往时间紧迫。成果框架中已列有指标，融资协议要求提供基线值，项目实施单位需要在提交第一份进展报告前拿到数据。

接下来发生的事情是可以预见的：聘请咨询方，开展调查，提交报告，数据录入成果框架。三四年后，在终期调查时，项目才发现基线调查无法支撑它现在需要提出的结论。项目针对的是女性个体，指标却是在家庭层面测量的；样本无法再次找到；定义发生了变化；没有对照组；数据集从未移交，移交的只有报告。

这些失误并非由于调查公司能力不足，而是基线调查设计上的失误，往往在最初几周内由同时忙于许多其他事务的人员造成。

本指南从需要委托开展调查、督导调查并在日后为结果辩护的项目实施单位的角度，阐述这些决策是什么。它适用于农业、企业发展、普惠金融、技能与就业领域的妇女经济赋权项目，以及大型基础设施和农村发展项目中的劳动力与生计部分。

基线调查的真正用途

基线调查有三个不同的目的，当项目只追求其中一个、却以为已实现其他目的时，问题就会出现。

报告。它确定成果框架中各项指标的初始值。这是大多数项目实施单位所考虑的目的，也是三者中要求最低的一个。

瞄准与设计。它描述目标参与者的状况：她们的收入、拥有的资产、面临的制约以及已在使用的服务。一份好的基线调查会改变项目设计，因为它通常表明准备阶段所作的假设部分有误。

评估。它为衡量变化奠定基础；在设有对照组的情况下，还能将这种变化归因于项目，而非经济中发生的其他各种因素。

第三个目的提出了第一个目的所没有的要求。如果项目只需报告前后对比值，对参与者开展描述性调查就足够了。如果日后有人会问变化是否由项目引起，就必须在基线阶段设计对照组并对其开展调查。这是整个工作中影响最深远的一项决定，而它通常是默认形成的，而非经过深思熟虑。

项目实施单位在起草工作大纲之前应明确的问题很简单：在完工时，我们会被问到发生了什么变化，还是会被问到我们促成了什么变化？答案决定了设计和预算。

基线调查设计：选择能够延续到终期调查的指标

经济赋权并非单一的数量。它涵盖女性的收入、拥有的资产、掌控的资源、能够作出的决定，以及无需他人许可即可做的事情。将其简化为一个方便数字的项目，往往测量的是变化最小的那部分。

有两种错误很常见。第一种是在家庭层面进行测量：家庭收入、家庭资产、家庭粮食安全。这些数据更容易收集，也往往是全国性调查所报告的内容，但项目可能提高了家庭收入，而其针对的女性却毫无改变。第二种是在基线阶段选择项目无力在终期调查中重复采用的复杂测量方法，使该指标无法延续。

在从零开始设计问题之前，值得先研究现有的成熟工具。农业领域妇女赋权指数及其后续版本（包括pro-WEAI），提供了有关决策、收入控制、时间利用、团体成员身份和出行自由的经过检验的模块，并附有已发布的问卷和计算指南。即使是农业以外的项目，也可以借鉴其中的个别模块，而不必自行设计。如需国家层面的背景信息和比较值，世界银行性别数据门户提供涵盖1000多个系列的按性别分列指标。世界银行DIME Analytics团队还提供了有关问卷设计的实用指南，值得在起草工作大纲之前阅读。

基线调查经得起检验与否，差别主要取决于七项测量选择。

右栏的内容会占用访谈时间。结构化收入回忆、企业经营绩效和时间利用是三个成本高昂的模块，一份问卷无法在涵盖项目希望了解的所有其他内容的同时，将这三个模块全部纳入。这是需要在设计阶段审慎作出的选择，而不是留给调查公司在实地偷工减料的环节。

有一个领域需要单独处理。有关暴力或人身安全的问题，不应作为几个附加题目加入一般经济调查。这类问题需要专门的规程、专门的调查员培训、常规入户访谈无法保证的隐私条件，以及针对披露情况的受访者的转介渠道。如果项目确实需要这类数据，就应当正式委托开展；如果不需要，宁可不收集，也不要收集得一塌糊涂。

对于最终选定的每项指标，都应在发布工作大纲之前进行一项检验：能否在终期调查中，以相同的措辞、由另一家公司、在可比的预算内再次采集？如果不能，就应替换该指标。

目标人群不在任何名单上时如何抽样

抽样是基线调查设计悄然出错的环节。大多数全国性调查从普查框中抽样。项目很少有这样的条件，因为目标人群是符合项目标准的女性，而在项目启动前并不存在她们的名单。

实践中采用三种方法，每种方法都会带来项目实施单位应当了解的影响。

在选定群组内进行名单登记。首先选取村庄或城市街区，通常采用与规模成比例的概率抽样，然后在每个地点快速开展名单登记，识别符合条件的女性。这样得出的样本经得起推敲，但会增加一个实地环节和相应成本。

从项目申请或登记名单中抽样。成本更低、速度更快，但申请者与未申请者之间存在系统性差异。调查结果描述的是申请者而非更广泛的人群，这一点必须在报告中明确说明，而不是等到评估时才被发现。

从行政登记册中抽样。如合作社成员名册、企业登记、社会保障名册等。在覆盖面确实很高的情况下有用，但在非正规活动占主导地位时则会产生误导，而这恰恰是大多数此类项目所处的情况。

样本量应根据项目需要检测的内容确定，而不是取一个整数。用于描述人群的调查样本量，小于用于检测随时间发生的合理变化的调查，而后者又小于用于比较干预组和非干预组的调查。请确定您要采购的是这三者中的哪一种。

有两个细节在工作大纲中经常被遗漏，并在日后引发争议：选定的受访者无法找到时的替换规则，以及可接受的最高无应答率。应对这两项作出规定，并要求最终报告说明实际达到的比率。

实地设计决定数据质量

调查问卷定稿并不意味着基线调查设计的结束。四项实地决策决定了收回的数据是否可用。

由谁开展访谈

在亚洲和非洲的许多地方，一名女性由男性调查员访谈，或在丈夫、婆婆在场的情况下接受访谈时，她对收入、控制权和决策的回答，会与私下作答时不同。这并非文化上的细枝末节，而是一种朝可预测方向偏移的测量误差，其幅度可能大于项目希望证明的效果。

在情境需要时，应要求由女性调查员访谈女性受访者，并要求在只有受访者本人在场的情况下进行访谈。请调查员记录其他在场人员，这一变量在分析阶段很有价值。

语言与翻译

用英语起草、只翻译一次、未经回译、也未在实地实际使用的方言中试调查的调查工具，会导致调查员在每个地区以不同方式转述问题。应要求将工具翻译成每种实施语言并进行回译，开展至少30至50次访谈的试调查并提交书面总结。“收入”、“资产”、“决定”和“拥有”等术语很少有完全对应的单个词语，翻译中所作的选择应予以记录，以便终期调查沿用相同的译法。

调查员培训与督导

为期一周或以上、包括模拟访谈和实地试调查的培训，能够将可用数据与噪声区分开来。督导安排应在合同中明确规定：督导员与调查员的比例、接受回访核查的访谈比例，以及回访核查不合格时的处理方式。使用标准平台进行数字化数据采集，可以设置验证规则、GPS标记、访谈时长记录和录音审核，从而使督导落到实处，而不是流于形式。

在年度周期中的时间安排

季节性并非细枝末节。农业收入、粮食安全、时间利用乃至家庭构成都会随季节变化。在季节性劳动力迁移频繁的地区，3月在家的人和9月在家的人是不同的人群。宗教节期、收获季节和学校学期都会影响受访者能否接受访谈及其回答。

其实际意义在于，终期调查应与基线调查在同一季节开展。请醒目地记录实地调查日期，因为三年后委托开展终期调查的人会需要这些信息。

基线调查中的伦理与保障

询问女性收入、资金控制和家庭决策的调查可能给受访者带来风险，尤其是在其回答与家庭成员的说法相矛盾时。无论在哪个国家，都适用以下最低标准：

• 以受访者的语言获得知情同意，包括可随时终止访谈和跳过问题的权利
• 不暗示参与调查会影响项目受益资格的遴选，这也有助于保护数据质量
• 私密的访谈条件，以及无法私下进行访谈时推迟访谈的规程
• 如果受访者披露受到伤害，应提供通往现有服务的转介渠道，并对调查员进行如何应对的培训
• 保护个人数据，将身份标识与答卷分开存储，并限制访问权限
• 在实地调查开始之前（而非调查期间）确认该国开展调查所需的任何国家伦理审查或统计部门批准

如果调查的任何部分涉及人身安全或暴力，世界卫生组织的针对妇女暴力问题研究的伦理与安全建议即为捐助方和伦理委员会所期望的标准，应在工作大纲中予以引用，而不是交由调查公司自行决定。

这些要求应写入工作大纲。调查公司按书面要求报价；合同签署后才提出的要求很少能得到完全落实。

根据项目启动安排基线调查的时间

基线调查衡量的是项目介入之前的状况。如果采购耗时过长、活动先行启动，调查就无法再做到这一点，此时诚实的做法是如实记录，而不是加以掩盖。

如果基线调查滞后，应记录哪些抽样地区已开展项目活动以及开展了多长时间。在基线阶段记录在案的部分介入仍可进行分析，而未记录的介入会在日后悄然使比较失效。

如果能够合理安排基线调查的顺序，可行的做法是：在项目准备阶段编制工作大纲，项目生效后立即启动采购，并在调查登记完成之前暂缓在抽样地区发放首批实地活动资金。这就要求监测与评估职能和采购职能从一开始就协调配合，这属于机构安排而非技术问题。

使终期调查具有可比性

大多数基线调查作为独立任务委托开展，并以报告形式交付。可比性是基线调查设计的要求，而不是终期调查的问题。终期调查往往在数年后才采购，通常由另一家公司承担，项目实施单位的人员也常已更换。可比性必须有意识地加以构建。

将以下内容列为合同规定的交付物，而非可选附件：

• 实地使用的各实施语言版本的最终调查工具
• 采用标准格式、带有变量标签和值标签的清洁数据集
• 一份记录每个变量及衍生变量构建方式的编码手册
• 生成报告数据的分析语法或脚本
• 完整的抽样文件：抽样框、抽选程序、权重及其计算方法
• 实地调查文件：日期、实际样本量、无应答率和替换率，以及质量控制结果
• 如计划开展追踪调查，应在征得受访者同意的情况下保留追踪信息，并制定数据保护规程

在终期调查中追踪同一批受访者，才能在个体层面衡量变化，而这也正是样本流失威胁整个设计的环节。应在基线阶段就做好规划：收集再次找到受访者所需的联系方式和位置信息，预留追踪预算，并预计流动人口、年轻人和贫困人口的流失率会更高，而他们恰恰是成果最为重要的人群。

项目实施单位在基线调查设计中的常见错误

把基线调查当作合规交付物。采购基线调查只是为了填写成果框架中的一栏，因此没有人追问其设计能否支撑项目在完工时需要提出的结论。

项目针对女性，却以家庭为单位进行测量。这是最常见的单一错误，而且到了终期调查时通常已无法挽回。

没有对照组却期望进行归因。项目报告称“受益人收入增长了22%”，却无法说明其他所有人的收入是否也同样增长。

选择无法重复测量的指标。内容丰富的基线调查配上低成本的终期调查，得到的是两份无法比较的调查。

在活动开始后才开展调查。却仍将所得数值当作介入前的数值进行报告。

跳过试调查。问题措辞、翻译和访谈时长方面的问题，在实地调查前解决成本很低，事后解决则代价高昂。

调查工具过长。访谈超过约60至75分钟就会令人疲劳，而最后几个模块（往往是赋权模块）的数据质量最差。

只接收报告而不接收数据集。项目实施单位手中只剩下无法重新分析、核实或比较的结论。

忽视季节性和人口迁移。实地调查的时间安排以采购便利为准，而不是依据被调查人群的生产生活周期。

没有再次找到受访者的计划。到终期调查时才决定开展追踪调查，为时已晚。

项目实施单位在验收基线调查报告前应核查的内容

设计

• 在项目针对个体女性的情况下，指标是否在个体层面进行测量？
• 成果框架中的每项指标是否都确实被调查工具覆盖？
• 是否描述了抽样框，并说明了其覆盖范围的局限？
• 样本量和精度是否根据项目对数据的预期用途进行了论证？
• 如果期望进行归因，是否在同一时间使用同一工具对对照组进行了调查？

实地调查

• 访谈由谁开展？在需要时，女性受访者是否由女性调查员访谈？
• 访谈是否私下进行？是否记录了其他在场人员？
• 调查工具是否经过翻译、回译和试调查？试调查的发现是否得到落实？
• 实际达到的样本量、无应答率和替换率是多少？
• 采用了哪些质量控制措施？回访核查和录音审核的结果如何？
• 实地调查于何时开展？处于农业和迁徙周期的什么阶段？

交付成果

• 是否已交付带有标签、编码手册和分析语法的清洁数据集？
• 报告中的数据能否根据所提供的数据集复现？
• 抽样权重是否有书面记录，并在报告的估计值中正确应用？
• 知情同意程序、伦理审批和数据保护安排是否有书面记录？
• 是否已在征得同意的情况下，为未来的终期调查保留追踪信息？
• 报告是否说明了自身的局限性，还是以同等的确定性呈现每一个数据？

项目负责人应当提出的关键问题

• 在完工时，我们会被问到发生了什么变化，还是我们促成了什么变化？基线调查的设计能否回答这一问题？
• 我们成果框架中的每项指标，能否在三年后以我们届时可承担的成本再次采集？
• 当前项目实施单位的工作人员调离后，由谁保管数据集、编码手册和追踪信息？
• 基线调查能否在项目活动覆盖抽样地区之前完成？
• 我们的调查要求是否已写入工作大纲，还是依赖调查公司自行提出？
• 项目实施单位中是否有人有能力审查方法，还是我们只是凭信任接收报告？
• 基线调查结果出来后，我们在项目设计上会作出哪些调整？

培养内部基线调查设计能力

基线调查的质量在很大程度上取决于工作大纲和实地调查期间的督导，而这两者都由委托方而非咨询方负责。能够明确抽样要求、坚持开展试调查、批判性地审阅方法部分并拒收不完整数据交付物的项目实施单位，即使面对同样的调查公司市场，也能比做不到这些的项目实施单位获得更好的调查。

正因如此，调查能力应当建立在执行机构内部，而不是完全外包。开展连续项目的部委和机构，可受益于标准的工作大纲、标准的数据交付物清单、审查核对清单，以及一个真正保存以往项目数据集的地方。这样，测量工作就能在整个项目组合中不断改进，而不是每个项目都从头开始。

同样的逻辑也适用于事后如何使用调查结果。一份被认真阅读、受到质询并据以调整瞄准方式的基线调查，比一份技术上无懈可击却收到即归档的调查更有价值。如需进一步了解在移民安置情境中如何衡量成果而非活动，请参阅我们关于世界银行ESS5下的生计恢复的指南，同样的测量规范决定了能否证明生计已得到恢复。

结论

妇女经济赋权项目的基线调查是一套测量体系，而不是一份文件。基线调查设计确定了要统计什么、在什么层面统计、针对谁统计以及与什么进行比较。这些选择在早期作出，通常很仓促，而一旦实地调查完成就很难再修改。

能够在完工时证明成果的项目，很少是那些基线调查最为复杂的项目，而是那些以个体女性而非家庭为单位进行测量、选择了有能力重复测量的指标、设计了日后所需的对照组、在活动开始前开展调查，并保存了数据集、编码手册以及再次找到受访者的方法的项目。

对于项目实施单位而言，实际的启示是：决定性的工作发生在采购之前。工作大纲提前三四年就决定了终期调查的质量。

正在规划基线调查、终期调查或受益人调查？ Risalat Consultants International为政府机构、项目实施单位和项目团队提供实用的能力建设支持，内容涵盖基线调查设计、研究方法与数据分析、监测与评估，以及性别平等与社会包容。

欢迎了解我们的研究与统计培训项目，或联系我们的团队，为您的项目团队获取定制支持。