Как спроектировать базовое исследование, которое действительно пригодится для итогового

Введение

Разработка базового исследования относится к первым техническим решениям, которые группа реализации проекта (ГРП) должна принять правильно, и к тем, в которых ошибиться легче всего. В Африке, Азии и Центральной Азии базовое исследование для проекта по расширению экономических возможностей женщин обычно заказывают в первый год реализации и, как правило, в условиях нехватки времени. В системе результатов уже есть показатели, соглашение о финансировании требует базовых значений, а ГРП нужны цифры до первого отчета о ходе работ.

Дальнейшее предсказуемо. Нанимается консультант, проводится опрос, сдается отчет, и цифры попадают в систему результатов. Через три-четыре года, на этапе итогового исследования, проект обнаруживает, что базовое исследование не может подкрепить утверждение, которое теперь нужно сделать. Показатель измерялся на уровне домохозяйства, тогда как проект работал с отдельными женщинами. Выборку невозможно найти повторно. Определения изменились. Контрольной группы нет. Набор данных так и не был передан, только отчет.

Эти провалы вызваны не слабыми исследовательскими фирмами. Это ошибки дизайна базового исследования, допущенные в первые несколько недель людьми, которые одновременно управляют множеством других дел.

В этом руководстве изложено, в чем состоят эти решения, с точки зрения ГРП, которой предстоит заказать исследование, контролировать его и затем отстаивать результаты. Оно применимо к проектам по расширению экономических возможностей женщин в сельском хозяйстве, развитии предпринимательства, финансовой доступности, развитии навыков и занятости, а также к компонентам, связанным с рабочей силой и средствами к существованию, в составе более крупных операций в области инфраструктуры и развития сельских территорий.

Для чего на самом деле нужно базовое исследование

Базовое исследование служит трем разным целям, и проблемы возникают, когда проект преследует одну из них и предполагает, что достиг и остальных.

Отчетность. Исследование устанавливает исходные значения показателей системы результатов. Именно эту цель имеет в виду большинство ГРП, и она наименее требовательна из трех.

Адресность и дизайн. Исследование описывает положение предполагаемых участников: сколько они зарабатывают, чем владеют, с какими ограничениями сталкиваются, какими услугами уже пользуются. Хорошее базовое исследование меняет дизайн проекта, потому что обычно показывает, что допущения, сделанные при подготовке, были отчасти неверными.

Оценка. Исследование создает основу для измерения изменений, а при наличии контрольной группы и для того, чтобы связать эти изменения именно с проектом, а не со всем остальным, что происходит в экономике.

Третья цель предъявляет требования, которых нет у первой. Если проект будет лишь отчитываться значениями «до» и «после», достаточно описательного обследования участников. Если же кто-то позднее спросит, вызвал ли изменения именно проект, контрольную группу необходимо спроектировать и обследовать уже на этапе базового исследования. Это самое важное по последствиям решение во всей работе, и обычно его принимают по умолчанию, а не осознанно.

Вопрос, который ГРП следует решить до составления технического задания, прост: по завершении нас спросят, что изменилось, или спросят, что мы вызвали? От ответа зависят дизайн и бюджет.

Разработка базового исследования: выбор показателей, которые доживут до итогового исследования

Расширение экономических возможностей не сводится к одной величине. Оно охватывает то, сколько женщина зарабатывает, чем владеет, что контролирует, что может решать и что может делать без чьего-либо разрешения. Проекты, сводящие его к одному удобному числу, обычно измеряют ту часть, которая меняется меньше всего.

Распространены две ошибки. Первая заключается в измерении на уровне домохозяйства: доход домохозяйства, активы домохозяйства, продовольственная безопасность домохозяйства. Такие данные проще собрать, и именно их часто приводят национальные обследования, но проект может повысить доход домохозяйства, ничего не изменив для женщин, на которых он был нацелен. Вторая ошибка состоит в выборе в базовом исследовании сложных показателей, которые проект не сможет позволить себе повторить в итоговом, и показатель остается без продолжения.

Прежде чем разрабатывать вопросы с нуля, стоит изучить уже существующие инструменты. Индекс расширения прав и возможностей женщин в сельском хозяйстве (WEAI) и его более поздние версии, включая pro-WEAI, предлагают проверенные модули по принятию решений, контролю над доходами, использованию времени, членству в группах и мобильности, с опубликованными вопросниками и руководствами по расчету. Даже проекты за пределами сельского хозяйства могут адаптировать отдельные модули вместо того, чтобы изобретать собственные. Для контекста на уровне страны и сравнительных значений Портал гендерных данных Всемирного банка предоставляет показатели в разбивке по полу более чем по тысяче рядов данных. Группа DIME Analytics Всемирного банка также ведет практическое руководство по разработке вопросников, с которым стоит ознакомиться до составления технического задания.

Семь решений в области измерения объясняют большую часть разницы между надежным базовым исследованием и ненадежным.

Правая колонка требует времени интервью. Структурированный опрос о заработках, результаты деятельности предприятия и использование времени являются тремя дорогостоящими модулями, и вопросник не может вместить их все наряду со всем остальным, что хочет знать проект. Этот выбор нужно делать осознанно на этапе разработки, а не оставлять исследовательской фирме возможность сэкономить в поле.

Одна область требует отдельного подхода. Вопросы о насилии или безопасности не следует добавлять в общее экономическое обследование в виде нескольких дополнительных пунктов. Они требуют специальных протоколов, отдельного обучения интервьюеров, условий конфиденциальности, которые обычное интервью в домохозяйстве гарантировать не может, и механизма перенаправления для респонденток, сообщивших о насилии. Если проекту действительно нужны эти данные, закажите их сбор надлежащим образом. Если нет, лучше не собирать их вовсе, чем собирать плохо.

Перед выпуском технического задания к каждому окончательно отобранному показателю следует применить один тест: можно ли будет собрать его снова в итоговом исследовании, с той же формулировкой, силами другой фирмы и при сопоставимом бюджете? Если нет, замените его.

Формирование выборки, когда целевой совокупности нет ни в одном списке

Именно на этапе формирования выборки дизайн базового исследования незаметно дает сбой. Большинство национальных обследований формируют выборку на основе переписной основы. У проектов такой возможности обычно нет, поскольку целевая совокупность состоит из женщин, отвечающих критериям проекта, а их списка до начала проекта не существует.

На практике используются три подхода, и у каждого есть последствия, которые ГРП следует понимать.

Составление списков в отобранных кластерах. Сначала отбираются деревни или городские кварталы, часто с вероятностью, пропорциональной размеру, а затем в каждом из них проводится быстрое составление списка, позволяющее выявить подходящих женщин. Такой подход дает обоснованную выборку, но добавляет полевой этап и расходы.

Выборка из списков заявок или регистрации в проекте. Дешевле и быстрее, но подавшие заявку систематически отличаются от тех, кто ее не подал. Результаты описывают заявителей, а не более широкую совокупность, и об этом нужно прямо сказать в отчете, а не обнаружить на этапе оценки.

Выборка из административных реестров. Списки членов кооперативов, регистрация предприятий, реестры получателей социальной защиты. Полезна там, где охват действительно высок, и вводит в заблуждение там, где преобладает неформальная деятельность, а именно так обстоит дело в большинстве подобных проектов.

Размер выборки должен вытекать из того, что проекту нужно будет выявить, а не из круглого числа. Исследование, рассчитанное на описание совокупности, меньше исследования, рассчитанного на выявление правдоподобного изменения во времени, а оно, в свою очередь, меньше исследования для сравнения групп, охваченных и не охваченных проектом. Решите, какое из трех вы заказываете.

Две детали обычно упускают в техническом задании, и позднее они становятся причиной споров: правило замены, когда отобранного респондента невозможно найти, и максимально допустимый уровень неответов. Укажите оба параметра и требуйте, чтобы в итоговом отчете были приведены фактически достигнутые показатели.

Полевой дизайн определяет качество данных

Разработка базового исследования не заканчивается утверждением вопросника. От четырех полевых решений зависит, будут ли полученные данные пригодны для использования.

Кто проводит интервью

Во многих странах Азии и Африки женщина, которую опрашивает интервьюер-мужчина или которая отвечает в присутствии мужа или свекрови, дает иные ответы о доходах, контроле и принятии решений, чем наедине. Это не вопрос культурных тонкостей. Это ошибка измерения, которая смещает результаты в предсказуемом направлении и может превышать эффект, который проект надеется продемонстрировать.

Требуйте, чтобы с респондентками работали женщины-интервьюеры, когда этого требует контекст, и чтобы интервью проводилось с респонденткой наедине. Обяжите интервьюера фиксировать, кто еще присутствовал. Эта переменная пригодится на этапе анализа.

Язык и перевод

Инструменты, составленные на английском языке и переведенные один раз, без обратного перевода и апробации на том диалекте, который реально используется в поле, порождают вопросы, которые интервьюеры затем в каждом районе пересказывают по-своему. Требуйте перевода на каждый язык проведения опроса, обратного перевода и апробации не менее чем на 30–50 интервью с письменным разбором итогов. Такие слова, как «доход», «актив», «решать» и «владеть», редко имеют однозначные эквиваленты из одного слова, поэтому выбор, сделанный при переводе, следует документировать, чтобы в итоговом исследовании использовались те же формулировки.

Обучение интервьюеров и контроль их работы

Обучение продолжительностью неделю и более, включая пробные интервью и полевую апробацию, отделяет пригодные данные от шума. Порядок контроля следует четко прописать в контракте: соотношение супервайзеров и интервьюеров, долю интервью, проходящих повторную проверку, и действия в случае неудачных проверок. Цифровой сбор данных на стандартных платформах позволяет применять правила валидации, GPS-метки, учет продолжительности интервью и аудиоаудит, благодаря чему контроль становится реальным, а не номинальным.

Сроки в календаре

Сезонность не мелочь. Сельскохозяйственные доходы, продовольственная безопасность, использование времени и даже состав домохозяйства меняются в течение года. В районах с высокой сезонной трудовой миграцией те, кто находится дома в марте, и те, кто дома в сентябре, представляют собой разные совокупности. Религиозный календарь, периоды сбора урожая и школьные четверти влияют на доступность респондентов и их ответы.

Практический вывод: итоговое исследование следует проводить в тот же сезон, что и базовое. Четко зафиксируйте даты полевых работ, потому что они понадобятся тому, кто через три года будет заказывать итоговое исследование.

Этика и защита респондентов при проведении базового исследования

Опросы, в которых женщин спрашивают о заработках, контроле над деньгами и решениях в домохозяйстве, могут создавать риск для респондентки, особенно если ее ответы противоречат тому, что сказал бы другой член домохозяйства. Минимальные стандарты действуют независимо от страны:

• Информированное согласие на языке респондентки, включая право прекратить интервью в любой момент и пропускать вопросы
• Отсутствие скрытых обещаний, что участие повлияет на отбор для получения выгод от проекта, что также защищает качество данных
• Условия для конфиденциального интервью и порядок переноса интервью, которое невозможно провести наедине
• Механизм перенаправления к доступным службам, если респондентка сообщает о причиненном ей вреде, и обучение интервьюеров тому, как реагировать
• Защита персональных данных: идентификаторы хранятся отдельно от ответов, доступ ограничен
• Любое национальное этическое разрешение или одобрение статистического ведомства, необходимое для проведения обследований в данной стране, подтвержденное до начала полевых работ, а не в ходе них

Если какая-либо часть исследования затрагивает вопросы безопасности или насилия, стандарт, которого ожидают доноры и этические комитеты, задают этические рекомендации и рекомендации по безопасности при исследованиях насилия в отношении женщин Всемирной организации здравоохранения; на них следует ссылаться в техническом задании, а не оставлять это на усмотрение фирмы.

Эти требования должны быть прописаны в техническом задании. Фирмы оценивают стоимость того, что написано; обязательства, появившиеся после подписания контракта, редко выполняются в полном объеме.

Сроки базового исследования относительно запуска проекта

Базовое исследование измеряет ситуацию до воздействия проекта. Когда закупки затягиваются и мероприятия начинаются раньше, исследование уже не выполняет эту задачу, и честнее зафиксировать это, а не скрывать.

Если базовое исследование проводится с опозданием, отметьте, в каких районах выборки уже проводились мероприятия проекта и как долго. Частичное воздействие, задокументированное в базовом исследовании, все еще можно проанализировать. Незадокументированное воздействие впоследствии незаметно лишает сравнение достоверности.

Если базовое исследование можно правильно встроить в график, практический путь таков: подготовить техническое задание на этапе подготовки проекта, начать закупку сразу после вступления соглашения в силу и отложить первое финансирование полевых мероприятий в районах выборки до завершения опроса. Для этого функции мониторинга и оценки и закупок должны быть скоординированы с самого начала, а это вопрос институционального устройства, а не технический.

Как обеспечить сопоставимость итогового исследования

Большинство базовых исследований заказываются как отдельные задания и сдаются в виде отчетов. Сопоставимость является требованием к дизайну базового исследования, а не проблемой итогового. Итоговое исследование закупается спустя годы, часто у другой фирмы и нередко при другом составе ГРП. Сопоставимость нужно закладывать осознанно.

Требуйте следующее в качестве договорных результатов работы, а не необязательных приложений:

• Окончательный вариант инструмента на каждом языке проведения опроса в том виде, в каком он применялся в поле
• Очищенный набор данных в стандартном формате с метками переменных и значений
• Кодовая книга с описанием каждой переменной и того, как были построены производные переменные
• Синтаксис или скрипты анализа, с помощью которых получены представленные цифры
• Полная документация по выборке: основа выборки, процедура отбора, весовые коэффициенты и порядок их расчета
• Документация по полевым работам: даты, достигнутая выборка, уровень неответов и доля замен, результаты контроля качества
• Если предполагается панель, информация для повторного поиска респондентов, полученная с их согласия, и протокол защиты данных

Повторный опрос тех же респондентов в итоговом исследовании позволяет измерять изменения на индивидуальном уровне, и именно здесь выбывание респондентов угрожает всему дизайну. Планируйте это уже на этапе базового исследования: собирайте контактные данные и сведения о местонахождении, необходимые для повторного поиска людей, предусмотрите бюджет на отслеживание и учитывайте, что выбывание будет выше среди мобильных, молодых и бедных, то есть среди тех, чьи результаты важнее всего.

Типичные ошибки ГРП при разработке базового исследования

Отношение к базовому исследованию как к формальному результату для соблюдения требований. Его заказывают, чтобы заполнить столбец в системе результатов, поэтому никто не спрашивает, позволяет ли дизайн подкрепить утверждения, которые проекту придется делать по завершении.

Измерение показателей домохозяйства, когда проект нацелен на женщину. Самая распространенная ошибка, которую, как правило, уже невозможно исправить к моменту итогового исследования.

Ожидание атрибуции без контрольной группы. Проекты сообщают, что «доходы бенефициаров выросли на 22 процента», но не могут сказать, выросли ли доходы и у всех остальных.

Выбор показателей, которые невозможно повторить. Богатое базовое исследование и дешевое итоговое дают два исследования, которые нельзя сравнить.

Проведение исследования после начала мероприятий. А затем представление полученных значений так, словно они измерены до воздействия.

Отказ от апробации. Проблемы с вопросами, переводом и продолжительностью интервью дешево исправить до полевых работ и дорого после них.

Слишком длинные инструменты. Интервью продолжительностью более 60–75 минут утомляют респондентов, и в последних модулях, часто именно посвященных расширению возможностей, данные оказываются худшими.

Приемка отчета без набора данных. У ГРП остаются выводы, которые она не может повторно проанализировать, проверить или сравнить.

Игнорирование сезонности и миграции. Полевые работы планируются исходя из удобства закупок, а не календаря обследуемого населения.

Нет плана повторного поиска респондентов. Решение о панельном отслеживании принимается на этапе итогового исследования, когда уже слишком поздно.

Что ГРП следует проверить, прежде чем принимать отчет о базовом исследовании

Проектирование

• Измеряются ли показатели на индивидуальном уровне там, где проект нацелен на отдельных женщин?
• Действительно ли каждый показатель системы результатов охвачен инструментом?
• Описана ли основа выборки с указанием ограничений ее охвата?
• Обоснованы ли размер выборки и точность с учетом того, как проект намерен использовать данные?
• Если ожидается атрибуция, обследовалась ли контрольная группа с помощью того же инструмента и в то же время?

Полевые работы

• Кто проводил интервью и опрашивали ли респонденток женщины-интервьюеры там, где это требовалось?
• Проводились ли интервью наедине и зафиксировано ли присутствие других лиц?
• Был ли инструмент переведен, проверен обратным переводом и апробирован и были ли учтены результаты апробации?
• Каковы фактически достигнутые объем выборки, уровень неответов и доля замен?
• Какой контроль качества применялся и что показали повторные проверки и аудиоаудит?
• Когда проходили полевые работы и на какой период сельскохозяйственного и миграционного календаря они пришлись?

Результаты работы

• Передан ли очищенный набор данных с метками, кодовой книгой и синтаксисом анализа?
• Можно ли воспроизвести представленные цифры на основе предоставленного набора данных?
• Задокументированы ли весовые коэффициенты выборки и правильно ли они применены в представленных оценках?
• Задокументированы ли процедуры получения согласия, этические разрешения и меры по защите данных?
• Имеется ли информация для повторного поиска респондентов в будущем итоговом исследовании и получено ли на это согласие?
• Указывает ли отчет на собственные ограничения или представляет все цифры с одинаковой уверенностью?

Ключевые вопросы, которые должны задавать руководители проектов

• По завершении нас спросят, что изменилось или что мы вызвали, и рассчитан ли дизайн базового исследования на такой ответ?
• Можно ли будет через три года повторно собрать данные по каждому показателю нашей системы результатов при тех средствах, которые у нас будут?
• У кого будут храниться набор данных, кодовая книга и информация для повторного поиска респондентов, когда нынешние сотрудники ГРП перейдут на другую работу?
• Будет ли базовое исследование завершено до того, как мероприятия проекта охватят районы выборки?
• Прописаны ли наши требования к исследованию в техническом задании, или мы рассчитываем, что их предложит фирма?
• Есть ли в ГРП специалисты, способные проверить методологию, или мы принимаем отчет на веру?
• Что мы изменим в дизайне проекта, когда получим результаты базового исследования?

Развитие собственного потенциала по разработке базовых исследований

Качество базового исследования во многом определяется техническим заданием и контролем во время полевых работ. И то и другое находится в ведении заказчика, а не консультанта. ГРП, способная сформулировать требования к выборке, настоять на апробации, критически прочитать раздел о методологии и отказаться принимать неполный набор данных, получает от того же рынка фирм более качественные исследования, чем ГРП, которая на это не способна.

Именно поэтому потенциал для проведения исследований должен находиться внутри организации-исполнителя, а не полностью передаваться на аутсорсинг. Министерствам и ведомствам, реализующим последовательные операции, полезно иметь типовое техническое задание, стандартный перечень результатов работы с данными, контрольный список для проверки и место, где действительно хранятся наборы данных предыдущих проектов. Тогда качество измерений улучшается по всему портфелю, а не начинается с нуля в каждом проекте.

Та же логика применима к последующему использованию результатов. Базовое исследование, которое читают, обсуждают и по итогам которого корректируют адресность, ценнее технически безупречного, которое сразу отправляют в архив. Подробнее об измерении результатов, а не мероприятий, в условиях вынужденного переселения читайте в нашем руководстве по восстановлению средств к существованию в соответствии с ESS5 Всемирного банка, где та же дисциплина измерения определяет, удастся ли продемонстрировать восстановление.

Заключение

Базовое исследование для проекта по расширению экономических возможностей женщин представляет собой систему измерения, а не документ. Дизайн базового исследования определяет, что будет подсчитываться, на каком уровне, для кого и по сравнению с чем. Эти решения принимаются рано, обычно быстро, и их трудно пересмотреть после завершения полевых работ.

Продемонстрировать результаты по завершении редко удается проектам с самыми сложными базовыми исследованиями. Это удается тем, кто измерял положение отдельных женщин, а не домохозяйств, выбрал показатели, которые может позволить себе повторить, заложил контрольную группу, которая понадобится позже, провел исследование до начала мероприятий и сохранил набор данных, кодовую книгу и средства для повторного поиска респондентов.

Практический вывод для ГРП состоит в том, что решающая работа происходит до начала закупок. Именно в техническом задании качество итогового исследования определяется за три-четыре года вперед.

Планируете базовое, итоговое исследование или опрос бенефициаров? Risalat Consultants International поддерживает государственные учреждения, группы реализации проектов и проектные команды, обеспечивая практическое развитие потенциала в области разработки базовых исследований, методов исследования и анализа данных, мониторинга и оценки, а также гендерного равенства и социальной инклюзии.

Ознакомьтесь с нашими учебными программами по исследованиям и статистике или свяжитесь с нашей командой, чтобы обсудить индивидуальную поддержку для вашей проектной команды.