1. Точность и процессы измерения (операционная валидность)

1.1. При соблюдении операционной валидности собираемые данные позволяют измерить то, что планировалось измерить (для количественных данных) или отражают понятия и явления, которые планировалось изучить (для качественных данных).

1.2. Возможные проблемы операционной валидности:

1) проблема некорректной операционализации возникает в ситуации недостаточности знаний об интересующей характеристике предмета, когда данная характеристика не поддается измерению, или это измерение затруднено (например, ввиду того, что издержки измерения высоки). В этих случаях могут использовать так называемые прокси-показатели, которые служат показателем-заменителем, наилучшей альтернативой для измерения. Например, показатель ВВП на душу населения является прокси-показателем экономического благосостояния и качества жизни;

2) проблема преднамеренного введения в заблуждение возникает, когда представитель источника информации (например, автор ответа на запрос Счетной палаты или респондент) намеренно искажает факты, чтобы скрыть проблему или защитить себя;

3) проблема непреднамеренного введения в заблуждение возникает в результате ошибки воспоминаний (например, при прошествии длительного периода времени после того, как произошло исследуемое событие) или несвоевременного обновления данных;

4) проблема стремления к социальной приемлемости и дискомфорта при оценке при передаче данных о себе в случае, когда это является некомфортным или даже неприемлемым для определенных групп;

5) проблема отложенного эффекта возникает в ситуации, когда эффекты реализуются позднее момента их измерения (то есть тогда, когда измерение проводится преждевременно);

6) изменение определений и методик расчета. Переопределение понятий или способов расчета показателей делает данные, собранные в различные периоды времени или на различных территориях, несопоставимыми;

7) искажение, связанное с использованием одного метода - использование только одного метода для сбора данных о явлении (например, самооценка);

8) отсутствие понимания культурного контекста - невозможность корректной интерпретации понятий и результатов измерений без учета точек зрения участников программы;

9) проблема возможности неоднозначного восприятия возникает, когда вопросы слишком сильно зависят от субъективных оценок значения вариантов ответа. Вопросы, в которых респондентам предлагается провести различие между прилагательными, которые могут интерпретироваться по-разному, приводят к несопоставимым ответам;

10) ресурсное ограничение возможности сбора и ввода данных. Высокая рабочая нагрузка и (или) отсутствие технических возможностей могут привести к разрозненности практик сбора и ввода данных у разных сотрудников (например, сотрудников объекта аудита (контроля), в разных местах;

11) недостаточная профессиональная подготовка сборщиков данных. Недостаточная подготовка сборщиков данных, интервьюеров, наблюдателей и (или) кодировщиков может сделать сбор и ввод данных недостаточно надежными.