"Методические рекомендации по подготовке дизайна аудита соответствия и аудита эффективности" (утв. Коллегией Счетной палаты РФ, протокол от 06.09.2024 N 61к (1745))

7. Выбор методов для проверки гипотез

7.1. Для проверки схожих гипотез могут быть использованы схожие методы. Гипотеза и метод ее проверки в совокупности определяют предварительный результат проверки гипотезы.

Обобщенные формулировки связанных между собой структурных элементов дизайна (критериев аудита, гипотез, методов и предварительных результатов) в контексте различных задач в рамках мероприятий приведены в таблицах 1 - 5 настоящего раздела и могут быть адаптированы и конкретизированы в рамках подготовки дизайна аудита с учетом его особенностей.

При выборе методов для проверки гипотез в контексте различных задач в рамках мероприятий рекомендуется учитывать следующее.

7.1.1. Анализ достижения результатов

В качестве первого шага в рамках анализа достижения результатов мер (комплексов мер) может проводиться сравнительный анализ значений показателей, характеризующих непосредственные и конечные результаты, а также итоговые эффекты: сравнение плановых и фактических значений показателей, сравнение значений показателей в различные периоды, а также в различных разрезах. При этом важно учитывать, что сравнительный анализ значений показателя, характеризующего результат, не позволяет формулировать выводы о влиянии меры (комплекса мер), если достижение этого результата вызвано не только этой мерой (комплексом мер), но также и иными факторами. В таких случаях рекомендуется проведение оценки влияния (подпункт 7.1.5 Методических рекомендаций).

Выбор методов, которые используются для проверки гипотез о причинах недостижения результатов, обусловлен типом рассматриваемого результата (непосредственный или конечный результат, итоговый эффект), а также предметом аудита. Так, например, для установления причин недостижения результатов в части востребованности результатов могут быть использованы такие методы, как:

обследование для анализа возможности использования результатов (например, объектов инфраструктуры);

социологические методы для выявления мнений выгодоприобретателей о причинах невостребованности результатов;

анализ содержания нормативных и иных документов для получения информации о процессах в рамках достижения результатов.

Таблица 1

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- запланированные результаты меры достигнуты

- запланированные значения показателей, характеризующих результаты меры, достигнуты во всех субъектах Российской Федерации во все годы реализации меры

- запрос данных о фактических и плановых значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки, возможное решение - запрос данных из нескольких источников);

- сравнение плановых и фактических значений показателей

- запланированные значения показателей, характеризующих результаты меры, достигнуты (не достигнуты), в т.ч. где, кем и т.д.;

- уровень достижения результатов меры различается в XX раз по субъектам Российской Федерации, различным социально-демографическим группам;

- на достижение значений показателей, характеризующих результаты меры, направлена в том числе деятельность коммерческих, общественных и иных организаций, не относящихся к участникам реализации меры

- максимальное и минимальное значения показателей, характеризующих результаты меры, различаются в XX раз для различных субъектов Российской Федерации, различных социально-демографических групп

- запрос данных о фактических значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки);

- сравнение фактических значений показателей в разрезе субъектов Российской Федерации, различных социально-демографических групп

- отсутствует информация об иных мерах государственной политики и (или) коммерческих, общественных и прочих проектах, направленных на достижение анализируемого результата

- анализ нормативных и иных документов, в т.ч. корпоративной отчетности компаний, отчетности общественных и иных организаций

- результаты используются выгодоприобретателями

- установлены факты использования результатов выгодоприобретателями

- запрос и анализ документальных подтверждений использования

результатов;

- обследование с фиксацией фактического использования результатов

- установлены факты неиспользования результатов [например, построенные объекты не введены в эксплуатацию, закупленное оборудование не используется, результаты исследований не внедрены]

- результаты меры востребованы у выгодоприобретателей

- результаты меры востребованы не менее, чем у XX% ее выгодоприобретателей, в т.ч. в разрезе определенных групп

- запрос данных о тех, кто:

- воспользовался результатами меры;

- подавал документы для того, чтобы воспользоваться результатами, и соответствовал критериям для использования результатов (ограничение - данные о тех, кому было отказано, могут существовать в разрозненном виде, содержать пропуски и ошибки);

- является выгодоприобретателем меры;

- вычисление доли выгодоприобретателей, желавших воспользоваться результатами меры <27>, из общей численности выгодоприобретателей меры

- результаты меры были востребованы у YY% выгодоприобретателей, однако определенная группа не пользовалась результатами;

- причинами невостребованности результатов является [выявленные причины];

- AA% выгодоприобретателей не воспользовались результатом меры по причине 1, BB% - по причине 2, CC% - по причине 3. При этом ZZ% готовы были бы использовать результат меры, при устранении [описание недостатков с точки зрения выгодоприобретателей]

- причиной невостребованности меры со стороны определенной группы выгодоприобретателей является [предполагаемые причины - например, построенный объект инфраструктуры неудобно расположен или имеет неудобный режим работы; мера поддержки не решает проблемы, с которыми сталкиваются выгодоприобретатели и т.д.]

- запрос информации о характеристиках результатов;

- обследование результатов;

- интервью, опрос (анкетирование) выгодоприобретателей, не воспользовавшихся результатом

- выгодоприобретатели меры, удовлетворены ее результатами

- более XX% выгодоприобретателей, воспользовавшихся результатами меры, удовлетворены ее результатами

- опрос (анкетирование) выборочной совокупности выгодоприобретателей [параметры выборки], (ограничение - отсутствие репрезентативности по [указать, какому] параметру)

- YY% выгодоприобретателей, воспользовавшихся результатами меры и участвовавших в опросе, удовлетворены ее результатами, что свидетельствует в пользу результативности меры (YY% > XX%);

- повышению удовлетворенности результатами меры может способствовать устранение следующих факторов [причины, которые будут упомянуты респондентами как важные]

- среди причин недостаточной удовлетворенности результатами меры выгодоприобретатели отмечают следующие: [предполагаемые причины]

- интервью, фокус-группы с выгодоприобретателями из числа [описание групп респондентов - например, представители крупных, средних предприятий], отобранными по критериям [описание критериев отбора]

--------------------------------

<27> Включает как тех, кто воспользовался результатами, так и тех, кто совершил все необходимые для этого действия и соответствовал всем необходимым условиям, но не смог воспользоваться результатами меры в силу независящих от себя причин (например, ограниченности объема средств поддержки).

Пример анализа достижения результатов

1. Критерий аудита: запланированные результаты предоставления социального контракта достигнуты.

Гипотеза: уровень реальных доходов получателей социального контракта через год после его завершения в среднем выше, чем до заключения социального контракта.

Метод: сравнение реальных доходов получателей социального контракта до его заключения и через год после его завершения, усредненных по множеству получателей социального контракта.

Предварительные результаты: в среднем по всем субъектам Российской Федерации реальные доходы получателей социального контракта выросли по прошествии года после его завершения в сравнении с реальными доходами до заключения социального контракта.

2. Критерий аудита: востребованность меры поддержки экспортеров составляет не менее, чем XX%.

Гипотеза: мера поддержки экспортеров востребована не менее, чем у XX% выгодоприобретателей.

Метод: вычисление доли экспортеров, воспользовавшихся поддержкой, среди всех экспортеров, характеристики которых позволяют претендовать на меру поддержки (при условии доступности меры для всех таких соискателей); сравнение вычисленной доли с критерием аудита.

Предварительные результаты: мера поддержки была востребована у YY% выгодоприобретателей, что выше, чем в разработанном критерии аудита (YY% > XX%)

7.1.2. Оценка использования ресурсов, включая их экономность

В качестве первого шага при оценке использования ресурсов может быть проведен сравнительный анализ плановых и фактических затрат ресурсов. Однако такой анализ не является достаточным для формулирования выводов об экономности, поскольку не предполагает оценку возможности использования меньшего ресурса для достижения заданного результата.

Таблица 2

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- фактические значения затрат ресурсов на реализацию меры не превышают запланированные

- фактические значения затрат ресурсов на реализацию меры не превышают запланированные во всех субъектах Российской Федерации во все годы реализации меры

- запрос данных о фактических и плановых значениях показателей (ограничение - данные могут быть предоставлены с задержкой, содержать пропуски и ошибки);

- сравнение плановых и фактических значений показателей

- объем использованных ресурсов не превышает запланированные значения по Российской Федерации в целом, однако в определенных субъектах были превышения

- фактические затраты ресурсов на достижение результата не превышают среднерыночные

(в сопоставимых условиях)

- фактические затраты ресурсов на достижение результата не превышают среднерыночные

(в сопоставимых условиях)

- исследование рыночных цен, сравнение с ними

(ограничение - обоснованность сравнения с рынком)

- фактические затраты ресурсов на достижение результата не превышают среднерыночные

(в сопоставимых условиях)

- отсутствуют факты неэкономного использования ресурсов, направленных на достижение результата

- отсутствуют факты использования ресурсов с превышением обоснованной потребности

- запрос и анализ документов, содержащих обоснование потребности в ресурсах, сравнение с фактическими затратами

- затраты ресурсов не превышают обоснованные потребности

Пример анализа использования ресурсов

Критерий аудита: отсутствуют факты неэкономного использования ресурсов, направленных на разработку проектно-сметной документации.

Гипотеза: осуществлялась разработка проектно-сметной документации для объектов, в отношении которых ранее было принято решение, исключающее необходимость их строительства.

Метод: запрос проектно-сметной документации, обоснований необходимости строительства объектов.

Предварительные результаты: выявлено, что в отношении XX объектов была разработана проектно-сметная документация на сумму YY рублей после решения, исключающего необходимость их строительства

7.1.3. Оценка соответствия результатов деятельности объекта аудита (контроля) положениям нормативного или иного документа

Таблица 3

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- результаты деятельности объекта аудита (контроля) соответствуют

[положение нормативного, иного документа]

- результаты деятельности объекта аудита (контроля) не соответствуют

[положение нормативного, иного документа]

- запрос данных и информации

- сопоставление с критериями

- деятельность объекта аудита (контроля) не соответствует

[положение нормативного, иного документа];

- последствиями несоответствия являются [описание последствий]

- характеристики результатов меры соответствуют

[положение нормативного, иного документа]

- характеристики результатов меры не соответствуют критериям (в т.ч. в части технических характеристик, сроков и т.п.)

- сбор данных о состоянии

характеристик результатов меры, в т.ч. с помощью запросов информации, наблюдения, лабораторных исследований;

- сравнение с критериями

- характеристики результатов меры не соответствуют критериям в части [каких именно] характеристик

Примеры оценки соответствия результатов деятельности положениям нормативного документа

1. Критерий аудита: результаты деятельности объекта аудита (контроля) в рамках администрирования подсистемы управления национальными проектами государственной интегрированной информационной системы управления общественными финансами "Электронный бюджет" (далее - ГИИС "Электронный бюджет") соответствуют Концепции создания и развития государственной интегрированной информационной системы управления общественными финансами "Электронный бюджет" (распоряжение Правительства Российской Федерации от 20 июля 2011 г. N 1275-р).

Гипотезы:

осуществляется надлежащий контроль качества данных, формируемых в подсистеме управления национальными проектами ГИИС "Электронный бюджет";

качество данных, формируемых в подсистеме управления национальными проектами ГИИС "Электронный бюджет", позволяет использовать их в качестве инструментария для принятия обоснованных управленческих решений.

Метод: анализ качества данных, анализ работоспособности системы межведомственного электронного взаимодействия (далее - СМЭВ).

Предварительные результаты: данные, формируемые в ГИИС "Электронный бюджет", содержат существенные недостатки в части качества. Получение качественных данных посредством СМЭВ затруднено. Имеющийся уровень качества данных снижает возможности мониторинга, а также более глубоких оценок реализации мер (комплексов мер), на основе которых можно принимать обоснованные управленческие решения.

2. Критерий аудита: состав дорожного покрытия на участке дороги XX соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия".

Гипотеза: состав дорожного покрытия на участке дороги XX не соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия".

Метод: взятие образцов дорожного покрытия и их лабораторный анализ.

Предварительные результаты: участок дороги XX не соответствует нормативным требованиям национального стандарта Российской Федерации ГОСТ 58406.2-2020 "Дороги автомобильные общего пользования. Смеси горячие асфальтобетонные и асфальтобетон. Технические условия" в части химического состава асфальтобетонного покрытия

7.1.4. Анализ процессов на предмет соответствия положениям нормативных и иных документов

Анализ процессов является частным случаем оценки соответствия деятельности объекта аудита (контроля) положениям нормативных и иных документов.

Рекомендуется учитывать, что применение различных методов при анализе процессов позволяет получить доказательства различного уровня надежности. Так, выводы о соответствии деятельности объекта аудита положениям нормативных, иных документов, сделанные только лишь на основании таких методов, как интервью и опросы, могут быть оспорены объектом аудита (контроля). При анализе процессов рекомендуется применять эти методы, в том числе для формирования предположений о наличии нарушений и (или) недостатков, а после этого при необходимости проводить сбор и анализ достаточных и надлежащих доказательств.

Рекомендуется учитывать, что наблюдение может обеспечивать получение доказательств выполнения процессов сотрудниками объекта аудита (контроля), но ограничено тем периодом времени, когда оно проводится, а также тем фактом, что само наблюдение может оказать влияние на то, каким образом сотрудники объекта аудита (контроля) выполняют процессы.

Наблюдение в комбинации со сбором и анализом документальной информации может помочь выявить несоответствие между фактической реализацией процессов и информацией, отраженной в документах объекта аудита (контроля) о процессах, что может являться необходимым обоснованием результатов и выводов мероприятия.

Таблица 4

Критерий аудита

Гипотезы

Методы

Предварительные результаты

- реализация процесса соответствует

[положение нормативного, иного документа]

- реализация процесса не соответствует установленным требованиям к нему

- анализ содержания документов, описывающих процесс;

- сбор данных о практиках реализации процесса с помощью опросов и интервью с непосредственными исполнителями и (или) выгодоприобретателями;

- наблюдение за реализацией процесса;

- сбор и анализ документальных подтверждений несоответствия деятельности объекта аудита в рамках реализации процесса требованиям, содержащимся в нормативных правовых актах, иных документах

- реализация процесса не соответствует требованиям к нему в части [чего именно]

Примеры анализа процессов

1. Критерий аудита: сроки рассмотрения заявлений получателей на оказание социальной поддержки соответствуют [реквизиты нормативного, иного документа].

Гипотеза: заявления получателей на оказание социальной поддержки рассматриваются несвоевременно.

Методы: опрос тех, кто подавал заявления, в том числе как получателей помощи, так и тех, кому в помощи было отказано;

запрос у органов социальной защиты документов, содержащих информацию о сроках подачи и рассмотрения заявлений о выделении помощи, с последующим сравнением этих сроков с нормативами.

Предварительные результаты: X% людей, подавших заявления на получение помощи, получили ответ вовремя, остальные либо не получили его, либо получили с задержкой.

2. Критерий аудита: документооборот в организации ведется в соответствии с [реквизиты нормативного, иного документа].

Гипотеза: документооборот в организации не ведется в предусмотренной для этого положениями [реквизиты нормативного, иного документа] внутренней информационной системе.

Методы: интервью с сотрудниками организации о практиках ведения документооборота в части постановки задач, взаимодействия различных подразделений, ведения отчетности для выявления того, какие из модулей информационной системы, вероятно, слабо используются и почему это происходит;

запрос информации у организации о функционале информационной системы; информации, подтверждающей ведение документации в информационной системе.

Предварительные результаты: информационная система не используется сотрудниками для ведения документации [какой именно], вместо внутренней информационной системы для решения [каких именно] задач используется MS Excel, что не соответствует положениям [реквизиты нормативного, иного документа]

7.1.5. Оценка влияния

Оценка влияния проводится в рамках аудита эффективности. Оценка влияния исследует величину вклада деятельности объектов аудита (контроля) по достижению непосредственных результатов за счет использования федеральных и иных ресурсов, которая явилась причиной или, как ожидается, послужит причиной достижения конечных результатов и (или) итоговых эффектов, характеризующих стратегические цели социально-экономического развития Российской Федерации <28>.

--------------------------------

<28> Согласно пункту 4.2.8(1) СГА 104.

Данная оценка предполагает выявление причинно-следственных связей, включая выявление существующих внешних и внутренних условий функционирования объекта аудита (контроля), а также социальных, экологических, экономических и иных последствий, целостных и устойчивых изменений в системах или нормах.

При проведении оценки влияния могут быть использованы специальные методы эконометрического анализа, которые в научной литературе объединяются в класс под общим названием "квазиэкспериментальные методы". Данные методы основаны на сравнении двух групп объектов <29> - группы объектов, на которые было оказано воздействие в результате реализации мер (она называется экспериментальной группой, или группой воздействия), и группы объектов, на которые не было оказано такого воздействия (она называется контрольной группой и служит базой для сравнения). Свойства эксперементальной группы должны быть максимально близки к свойствам контрольной группы (точный смысл такой близости определяется отдельно для каждого метода) - это требуется для отделения результата влияния, вызванного реализацией мер, от результатов воздействия других факторов.

--------------------------------

<29> Здесь и далее в данном подпункте под объектами понимаются единицы наблюдения, на которые может оказываться воздействие в результате реализации мер - объектами в разных ситуациях могут быть, например, предприятия, домохозяйства, отдельные люди и т.п.

Выбор конкретного метода из этого класса методов зависит от имеющихся данных и исследуемой ситуации. Например:

если вероятность получения воздействия определяется характеристиками объекта, и при этом у объекта отсутствуют ненаблюдаемые характеристики, которые могут влиять на результат воздействия, то используется метод сопоставления наблюдений экспериментальной и контрольной групп. В данном методе объектам, подвергшимся воздействию, сопоставляются объекты, на которые воздействие не оказывалось. При этом сопоставление происходит по характеристикам, которые могут оказывать влияние на результат применения к ним рассматриваемой меры. Способы сопоставления могут быть различными: это может быть вероятность получения воздействия в случае сопоставления по индексу соответствия <30> либо величина "близости" объектов друг к другу по совокупности признаков при условии заранее выбранного расстояния в пространстве признаков;

--------------------------------

<30> Пункт 2.1.2.1.6 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141175.

если до начала воздействия наблюдается параллельная динамика целевого показателя экспериментальной и контрольной групп и есть основания ожидать ее продолжения после начала воздействия, можно рассмотреть применение метода разность разностей <31>;

--------------------------------

<31> Пункт 2.1.2.1.10 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141179.

если есть некая граница в значениях некоторого показателя, разделяющая контрольную и экспериментальную группы, можно рассмотреть применение разрывного регрессионного дизайна <32>.

--------------------------------

<32> Пункт 2.1.2.1.9 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141178.

Помимо квазиэкспериментальных методов можно рассмотреть применение панельной регрессии <33>, в которую в качестве одной из объясняющих переменных включена величина воздействия, а также все важные факторы, которые могли повлиять на целевой показатель.

--------------------------------

<33> Пункт 2.1.2.1.2 Справочника методов сбора и анализа данных для целей внешнего государственного аудита (контроля). Доступен по ссылке https://wiki.ach.gov.ru/pages/viewpage.action?pageId=85141172.

Таблица 5

Критерий аудита

Гипотеза

Методы

Предварительные результаты

- мера положительно повлияла на

[социально-экономический показатель]

- мера положительно повлияла на

[социально-экономический показатель]

- данные об экспериментальной и контрольной группах за несколько лет до и после начала действия меры:

- индикатор принадлежности к экспериментальной или контрольной группе

- показатели, характеризующие главные факторы, потенциально влияющие на целевой показатель;

- метод разность разностей/метод разрывного регрессионного дизайна/метод сопоставления по индексу соответствия (при выполнении предпосылок методов)

- реализация меры привела к увеличению [социально-экономического показателя] на YY%, причем YY > 0, что говорит о положительном влиянии меры на этот показатель

Пример оценки влияния

Критерий: результаты деятельности институтов развития положительно повлияли на налоговые доходы региона.

Гипотеза: результаты деятельности институтов развития положительно повлияли на налоговые доходы региона.

Методы: собрать данные о предприятиях, получивших поддержку от институтов развития (экспериментальная группа), и об аналогичных предприятиях без такой поддержки (контрольная группа). Данные должны охватывать период действия институтов развития и период до начала их работы. Данные должны включать уплаченные налоги, активы, выручку, прибыль (убыток), численность сотрудников, регион функционирования предприятия и показатели других важных факторов, влияющих на налоговые поступления;

применить разность разностей после проверки выполнения предпосылок метода.

Предварительные результаты: реализация мероприятий институтами развития увеличила налоговые поступления от предприятий региона на XX%

7.2. Рекомендуется оценивать методы в части их ограничений на предмет пригодности для проверки гипотезы (валидности):

операционная валидность отвечает на вопросы о том, действительно ли мы измеряем то, что планировали, и так, как планировали;

внутренняя валидность отвечает на вопросы о степени объяснения причинно-следственных связей;

внешняя валидность говорит о возможности распространения полученных результатов на иной, отличный от оцениваемого, контекст;

валидность статистических выводов говорит о степени корректности статистического анализа и сделанных на его основании выводов.

Для каждого типа валидности можно выделить ряд характерных потенциальных проблем согласно приложению N 6 к Методическим рекомендациям.

6.2. Разработка вопросов мероприятия, критериев аудита и гипотез Приложение N 1. Матрица подготовительного этапа контрольного (экспертно-аналитического) мероприятия (матрица дизайна)