"Методические рекомендации по подготовке дизайна аудита соответствия и аудита эффективности" (утв. Коллегией Счетной палаты РФ, протокол от 06.09.2024 N 61к (1745))

2. Утверждения о причинно-следственных связях (внутренняя валидность)

2.1. Внутренняя валидность отражает то, в какой степени наблюдаемые результаты обусловлены рассматриваемыми причинами.

2.2. Возможные проблемы внутренней валидности:

1) вмешательство иных событий. Наблюдаемые изменения связаны не только с мерой, а с каким-либо иным фактором или произошедшим событием. При этом мера может не быть ключевым фактором, повлиявшим на изменения;

Пример нарушения внутренней валидности

Увеличение объемов экспорта может отражать более благоприятные внешнеторговые условия (снижение тарифов или импортных пошлин, изменение курса валюты), а не являться лишь результатом субсидирования экспортеров

2) отсутствие учета социокультурных особенностей;

Пример нарушения внутренней валидности

При анализе результативности реализации программ трудоустройства женщин может быть целесообразным изучение и учет социально-культурных представлений о семье и разделении обязанностей между супругами. Обусловленные традициями данной местности представления о роли женщины как исключительно жены и матери могут выступать в качестве социокультурного барьера, ограничивающего участие женщин в оплачиваемой занятости в целом и в программах трудоустройства в частности

3) изменения во времени. Наблюдаемые изменения обусловлены не мерой, а тем, что участники меры (граждане, организации) меняются со временем (взрослеют, развиваются и т.д.);

Пример нарушения внутренней валидности

С возрастом проблемы со здоровьем у людей зачастую становятся более выраженными, что может приводить к недооценке фактического (успешного) достижения результатов мероприятий проекта "Активное долголетие"

4) мера реализована не полностью. Оценка меры может быть преждевременной, если какие-либо факторы (например, нехватка ресурсов, ошибки процессов) привели к проблемам реализации или неполной реализации меры;

Пример нарушения внутренней валидности

Аудит реализации социального контракта в пилотных регионах показал, что центры службы социальной защиты, которые непосредственно работали с получателями мер государственной поддержки, были недоукомплектованы. Работники органов социальной защиты высказывались о нехватке методологических и обучающих материалов. В итоге социальный контракт в большинстве случаев реализовывался как прямой необусловленный трансферт населению, не позволяющий малоимущим семьям выйти из бедности в долгосрочной перспективе, хотя цель этой меры как раз заключается в предоставлении малоимущим семьям инструментов для улучшения своего благосостояния на долгий срок

5) регрессия к среднему. Наблюдаемый результат меры может быть связан с тем, что она применялась к получателям, ранее продемонстрировавшим некоторые экстремальные значения показателя (например, очень низкие финансовые показатели для организаций), которые получились такими из-за сложившихся внешних обстоятельств. При этом при отсутствии меры получатели могли бы продемонстрировать улучшение показателя исключительно в силу того, что прошлое наблюдение оказалось "случайно плохим", и в реальности значение показателя лежит намного ближе к среднему по всей генеральной совокупности. Поскольку деятельность экономических агентов подвержена воздействию большого количества случайных внешних факторов, такое поведение характерно для многих экономических и финансовых показателей, и приписывать в таком случае изменение только воздействию реализованной меры некорректно;

Пример нарушения внутренней валидности

Оценивается программа, направленная на улучшение успеваемости школьников. До и после программы проводилось тестирование. Распределение оценок генеральной совокупности школьников не изменилось. В то же время в выборке из 10% школьников, имевших до программы худшие результаты, средний результат после программы стал выше - не все школьники из этой выборки снова вошли в худшие 10% после проведения программы. Аналогично, среднее по выборке показавших 10% лучших результатов сместилось вниз. Это можно объяснить, например, тем, что худшие 10% школьников в день проведения первого тестирования испытывали недомогание, стресс или волнение, но во время второго тестирования чувствовали себя хорошо. В свою очередь, аналогичные причины могут иметься и у школьников, которые написали успешно первое тестирование, но провалили второе

6) смещение отбора. Наблюдаемые изменения обусловлены существовавшими ранее различиями между участниками в экспериментальной и контрольной группах, а не мерой;

Пример нарушения внутренней валидности

При проведении оценки программы по трудоустройству людей с инвалидностью в составе контрольной группы оказываются участники московской организации общества глухих, а в составе экспериментальной (подвергшейся воздействию программы) - люди с различными типами особенностей здоровья. Поскольку общество инвалидов профильное, туда попадают люди с конкретными особенностями здоровья: потребности в работе для глухих будут отличаться от таковых для слабовидящих людей или людей, которые пользуются инвалидной коляской для передвижения. Выборка будет смещена как по составу, так и по региональной структуре. Это не позволит обобщить полученные выводы на всех людей с ограниченными возможностями здоровья и для разных групп инвалидности

7) некорректное установление направления причинно-следственного влияния. Отсутствие ясности в отношении того, какой показатель изменился первым, может привести к ошибке определения того, какой показатель является причиной, а какая следствием. Кроме того, возможна ситуация, когда оба показателя влияют друг на друга (показатель X влияет на показатель Y, а показатель Y - на показатель X);

Пример нарушения внутренней валидности

Направление взаимосвязи бедности и здоровья населения не является очевидным. С одной стороны, низкие доходы населения приводят к снижению доступности качественного питания и другим факторам риска для здоровья. С другой стороны, плохое здоровье может оказывать влияние на возможность найти высокооплачиваемую работу и на уровень производительности труда. Таким образом, оба показателя - уровень бедности и здоровье населения - могут оказывать влияние друг на друга

8) эффект смешивания последствий нескольких мер возникает в условиях реализации нескольких мер одновременно, что делает сложным обособленную оценку каждого из эффектов.

1. Точность и процессы измерения (операционная валидность) 3. Возможность обобщения (внешняя валидность)