Возможные проблемы валидности статистических выводов:
1) нерепрезентативность выборки. В случае отсутствия репрезентативности результаты, полученные с использованием выборки (например, выборки объектов аудита (контроля), регионов, муниципалитетов, проектов, отдельных документов и т.д.), не могут быть использованы для общих выводов для генеральной совокупности;
Пример нарушения статистической валидности
Выводы о причинах бедности, полученные на основе анализа бедности в одном регионе, не могут быть распространены на остальные регионы, поскольку между регионами имеются значительные различия в структуре экономики, населения, занятости и т.п. Определенные меры государственной политики, которые были результативны в одном регионе, могут не дать аналогичного результата в других регионах
2) слишком малый объем выборки. Следствием слишком малого объема выборки может быть статистическая незначимость эффекта, несмотря на его наличие. Кроме того, для малых объемов выборки добавление или исключение даже одного наблюдения может приводить к значительным изменениям в количественных оценках;
Пример нарушения статистической валидности
Использование для регрессионного анализа 5 - 7 наблюдений может приводить к сформулированным выше проблемам. Например, оценка взаимосвязи уровня бедности и экономического роста за период 1996 - 2019 гг. будет отличаться от оценки за период 2001 - 2007 гг. или 2012 - 2019 гг. Для анализа подобных взаимосвязей, когда выборка содержит только несколько наблюдений, необходимо использовать иные методы (например, качественные методы) или изменить дизайн, чтобы рассматривать другие прокси-показатели, для которых есть достаточное количество наблюдений
3) применение статистических методов, непригодных для имеющихся данных (в частности, для имеющегося типа данных). Применение методов, не пригодных для определенного типа данных, может приводить к некорректным результатам;
Пример нарушения статистической валидности
Использование метода линейной регрессии для анализа успеваемости, если оценки выражены по 5-балльной шкале (даже по 4-балльной - как правило, они меняются от 2 до 5), также может дать предсказанные значения оценок либо меньше 1 (в том числе отрицательные), либо больше 5, что не имеет смысла.
Применение метода линейной регрессии с использованием выборки показателей по регионам за один год для анализа влияния меры государственной политики некорректно, поскольку не происходит сравнения показателей в одном и том же регионе до и после реализации данной меры, а вместо этого происходит сравнение показателей в разных регионах. В то же время регионы обладают значительными различиями в структуре экономики, населения, занятости и т.п., обусловленными различной предысторией развития этих регионов, а результаты реализации мер государственной политики могут зависеть от этой предыстории. Кроме того, меры госполитики, давшие какой-то результат в одном регионе, могут не дать результата в других регионах.
Метод линейной регрессии в общем случае, равно как вычисление корреляций между показателями, не является способом выявления причинно-следственных взаимосвязей между этими показателями. Другими словами, коэффициенты регрессионной модели в общем случае не могут быть интерпретированы как выводы о причинно-следственной связи.
Для количественной оценки величины причинно-следственной связи требуется специальный дизайн (например, метод разность разностей или другие квазиэкспериментальные методы)
4) нарушение условий применения статистического метода. Применение статистического метода с нарушением его предположений может быть причиной неверных или незначимых результатов;
Пример нарушения статистической валидности
Простая линейная регрессия неприменима при явных нелинейных эффектах. Например, если требуется оценить взаимосвязи между инвестициями в очистные сооружения и снижением выбросов вредных веществ, следует иметь в виду, что количество выбросов при применении все более современных технологий не может быть уменьшено до нуля, так что будет наблюдаться "эффект насыщения", когда произойдет приближение к технологическому пределу снижения выбросов, и эффект от дальнейших инвестиций будет все меньше и меньше, а дальнейшее снижение выбросов будет все дороже и дороже. В такой ситуации требуется применение других методов (например, нелинейного метода наименьших квадратов или иных методов, учитывающих нелинейность эффектов).
Использование метода линейной регрессии для нестационарных временных рядов может дать некорректные оценки для взаимосвязи между этими рядами, поскольку значимая корреляция между ними может быть обусловлена исключительно их нестационарностью (так называемый эффект "мнимой регрессии" или "мнимой корреляции"). В этом случае следует использовать специальные методы анализа временных рядов (проверка стационарности, проверка коинтеграции, преобразование временных рядов к стационарному виду, выделение тренда и сезонности и т.д.).
Использование метода линейной регрессии может дать некорректные результаты в том случае, когда имеется взаимное влияние между зависимым и объясняющим показателями, например, между ВВП и доходами населения (это частный случай эндогенности в регрессионных моделях). В этом случае для оценки взаимосвязи между зависимым и объясняющим показателями требуется использовать специальные методы (например, метод инструментальных переменных)
5) проблемы измерений. Проблемы измерений могут включать в себя ошибки при измерениях, ненадежность прокси-показателей, ограниченность пределов измерения;
Примеры нарушения статистической валидности
Если возраст - важный фактор модели, но в выборке присутствуют только люди в возрасте от 21 года до 28 лет, то результаты могут оказаться смещенными и не могут быть распространены на другие возрастные категории.
Если шкала ответов представлена вариантами "хорошо", "прекрасно", "замечательно", то у разных респондентов эти слова могут означать разную степень удовлетворенности
6) ошибки спецификации. Невключение важных показателей в модель, либо включение неважных.
Пример нарушения статистической валидности
Если регрессионная модель не включает в число объясняющих показателей важный, значимый фактор, то все остальные регрессионные коэффициенты, вообще говоря, будут смещенными и несостоятельными, то есть модель даст некорректные результаты. В частности, при проведении регрессионного анализа следует избегать оценки парных регрессий, используя множественную регрессию с включением константы и основных факторов, влияющих на зависимую переменную.
С другой стороны, включение нерелевантных показателей может увеличить коэффициент детерминации регрессионной модели, но это также повлечет увеличение стандартных ошибок и расширение доверительных интервалов для регрессионных коэффициентов, так что действительно важные показатели могут стать незначимыми. Это приведет к тому, что будут сделаны некорректные выводы относительно взаимосвязей между входящими в модель показателями