3. Возможность обобщения (внешняя валидность)

3.1. Внешняя валидность определяет, в какой степени можно распространить полученные результаты на объекты (группы участников, контексты или обстоятельства), выходящие за рамки анализируемых.

Возможные проблемы внешней валидности:

1) последствия отбора. Результаты оценки меры могут быть применимы только к анализируемым участникам или контексту.

Смещение при отборе по превосходству или по тяжести проблем.

Смещение при отборе по превосходству возникает при анализе успешных практик реализации меры, так как характеристики этих практик могут повышать шансы на получение более высокого целевого результата меры. Смещение при отборе по тяжести проблем возникает при анализе проблемных аспектов реализации меры, когда отбор проводится на основе факторов тяжести проявления проблемы.

Пример нарушения внешней валидности

Проблема отбора по превосходству может возникнуть в ситуации, когда при оценке результатов цифровизации обучения школьников в выборку попадают только школы, которые специализируются на изучении компьютерных технологий, гимназии и лицеи, где есть доступный интернет, компьютеры, а также где педагоги регулярно повышают квалификацию в сфере информационных технологий, активно в образовательном процессе пользуются специальным программным обеспечением. При этом другие школы могут выстраивать процесс цифрового образования с нуля, иначе видеть и приоритизировать задачи цифрового образования. Для таких школ программы цифровизации обучения школьников могут показывать другие результаты, их проблемы и риски реализации могут быть иными.

Проблема отбора по тяжести проблемы может возникнуть в ситуации оценки экологического мониторинга в Российской Федерации при выборе регионов для анализа на основе степени распространенности и тяжести проблем при осуществлении мониторинга

Смещение при отборе по доступности возникает при анализе практик реализации меры на основе доступности для анализа (например, территориальной близости, готовности респондентов к взаимодействию и т.д.).

Пример нарушения внешней валидности

Использование опросов, проведенных через Российский союз промышленников и предпринимателей (РСПП), приводит к обращению к смещенной выборке предприятий с точки зрения представительства различных федеральных округов Российской Федерации

Отбор по объемам финансирования, по охвату выгодоприобретателей также может приводить к смещенным результатам, так как из фокуса внимания выпадают объекты с отсутствием финансирования в данной области (низким/высоким охватом получателей), что может оказывать влияние на результаты анализа;

2) временные эффекты. Смещение может возникать при использовании данных, которые относятся к периоду, нерелевантному исследуемой проблеме;

Пример нарушения внешней валидности

Оценки результативности программы снижения ДТП, полученные с использованием данных за летние месяцы, могут в значительной степени отличаться от оценок за зимние месяцы

3) географические эффекты. Смещение может возникать при проведении оценки в определенном регионе или в определенном контексте, из-за чего результаты оценки не могут быть распространены на другие условия.

Пример нарушения внешней валидности

Результаты оценки эффективности программы субсидирования малого бизнеса в городской местности одного региона могут быть непригодны для прогнозирования результатов аналогичной программы в сельской местности другого региона

2. Утверждения о причинно-следственных связях (внутренняя валидность) 4. Валидность статистических выводов