Приложение N 3

к Методическим рекомендациям

по подготовке дизайна

аудита соответствия

и аудита эффективности

МЕТОДИКА

ПРОВЕДЕНИЯ ОБЗОРА ЛИТЕРАТУРЫ ПО ВОПРОСАМ, АКТУАЛЬНЫМ

ДЛЯ ПРОВЕДЕНИЯ АУДИТА

Обзор литературы рекомендуется проводить в четыре шага:

Шаг 1. Определение стратегии поиска, включающей:

1) определение ключевых слов в рамках релевантных тем, то есть в рамках предмета мероприятия, предварительных целей и вопросов мероприятия;

2) определение ключевых акторов <1>, связанных с научно-исследовательской или аналитической работой по релевантной теме (ключевых исследователей, научно-исследовательских и иных организаций) предмета аудита;

--------------------------------

<1> Ключевые акторы могут быть определены на основе таких показателей как ученая степень, ученое звание, занимаемая должность, индекс цитирования Хирша, цитируемость в СМИ, участие в конференциях и круглых столах и др.

3) определение ключевых источников информации (научных журналов, конференций, научно-исследовательских семинаров) по предмету аудита.

Шаг 2. Поиск источников. Поиск качественных (т.е. выполненных на высоком научном уровне) источников (работ) для обзора литературы осложняется большим и растущим с каждым годом количеством научных статей (каждый год в мире публикуется несколько миллионов статей в реферируемых научных журналах), аналитических докладов, а также усложнением фрагментации научных направлений. При этом пробелы в обзоре литературы могут привести к тому, что будут упущены важные и уже полученные результаты, не будут найдены подходящие методы и данные, или будут сформированы некорректные выводы по итогам обзора литературы.

Процедуры поиска литературы включают:

1) поиск статей по ключевым словам в электронных базах данных, в интернете, в библиотеках;

2) поиск информации на сайтах определенных научно-исследовательских организаций, статей исследователей, в выпусках научных журналов, информации новостей и материалов конференций на основе определенных ключевых акторов и ключевых источников информации;

3) поиск на основе цитирующих и цитируемых работ;

4) поиск на основе рекомендаций экспертов.

Рекомендуется проводить поиск с помощью специализированных поисковых систем <2>. Также могут использоваться репозитории оценок, научных исследований, рандомизированных экспериментов, содержащие результаты исследований и их обобщение по установленным критериям (при наличии).

--------------------------------

<2> Например, Академия Google (https://scholar.google.com/) или Consensus (https://consensus.app/, использующий генеративный искусственный интеллект) по ключевым словам и текстам публикаций научных журналов, препринтов, рецензий, материалов научных конференций и семинаров и т.п. Также могут быть использованы базы данных Web of Science, Science Direct, CyberLeninka, eLibrary (https://elibrary.ru), но их содержание индексируется специализированными поисковыми системами.

При поиске работ рекомендуется обращать внимание на такие классы научных статей как:

1) обзорные статьи с описанием одной или нескольких гипотез;

2) систематические обзоры - научные обзоры ряда научных статей в рамках определенной поставленной задачи для критического анализа и обобщения (как правило, с использованием протокола, снижающего вероятность неполного обзора научного знания и вероятности системных ошибок при анализе);

3) мета-анализ - научные исследования, проводимые в целях обобщения результатов нескольких исследований с помощью статистических методов.

Кроме того, следует иметь в виду, что в научных статьях обязательно присутствует обзор литературы с описанием результатов, полученных в данной предметной отрасли на момент написания и редактирования статьи.

Следует отметить, что поиск литературы представляет собой итеративный процесс, при котором процедуры поиска могут повторяться на основе новой информации (ключевых слов, авторов, статей) и по мере погружения в тему. Поиск литературы завершается, когда процедуры поиска перестают добавлять новую информацию, и достигается максимальный охват источниками.

Итеративный процесс поиска литературы отражен на рисунке ниже.

Шаг 3. Оценка и отбор источников (работ). На этом шаге проводится:

1) изучение результатов поиска:

с точки зрения отношения к предмету и целям аудита, вопросам мероприятия. Для этого необходимо получить представление о теме и содержании работ (часто для этого достаточно изучить аннотацию и при необходимости выводы статьи);

с точки зрения качества исследований. Как правило, с более высоким качеством исследований и, соответственно, валидностью результатов ассоциированы такие признаки, как:

рейтинг издания (научного журнала);

исследовательский рейтинг авторов научной публикации (например, индекс Хирша);

качество методов сбора и анализа данных, а также прозрачность и подробность описания методов и их ограничений;

наличие или возможность получить по запросу авторам использованные данные, а также скрипты их обработки и анализа.

Оценка валидности исследовательских методов, как правило, является достаточно сложной и требует исследовательских компетенций. При этом для целей обзора литературы качественными (валидными) работами могут быть признаны те, по которым не установлено явных ограничений по использованным методам (в этом случае работа включается в обзор).

По результатам формируется итоговый список источников, которые войдут в обзор литературы;

2) изучение наиболее ценных работ (итогового списка источников), для чего рекомендуется:

внимательно прочитать статью и выделить в ней гипотезы, описание методов сбора и анализа данных, описание данных, допущения и ограничения методов, результаты;

сопоставить результаты с другими работами по данной теме, обратить внимание на наличие или отсутствие консенсуса в результатах, проанализировать вероятные причины противоречий;

выделить наиболее подходящие для включения в обзор литературы фрагменты статей (включая краткое описание методов сбора и анализа данных, а также описание данных).

Важно, что в обзор литературы включаются не все проанализированные работы, а лишь те, исключение упоминаний о которых препятствует получению наиболее ценной информации в рамках мероприятия.

Шаг 4. Подготовка аналитической записки (справки) с обзором литературы.

В обзор включаются краткие описания результатов и выводов работ из итогового списка работ, а также контекста (временного, территориального), данных и методов сбора и анализа данных (каждая работа описывается, как правило, 3 - 8 предложениями). Так как обзор литературы предполагает критический анализ научных статей и аналитических докладов, рекомендуется проводить обзор литературы силами не менее чем двух сотрудников. Проведение критического анализа в рамках обзора литературы несколькими сотрудниками выступает формой его валидации и повышает доверие к результатам.

Процесс проведения обзора литературы подробно описан на схеме ниже: