5. Обеспечение применения альтернативных источников данных и потокового сбора данных

Обеспечение возможности применения альтернативных источников данных и потокового сбора данных требует:

создания механизмов, обеспечивающих работу с данными различной структуры, например, "озерами данных", в том числе "большими" данными;

обеспечения методологической и нормативной правовой базы применения в системе статистики альтернативных источников данных;

создания механизмов, обеспечивающих потоковый сбор данных от респондентов.

Одной из основных задач создания платформы является значительное снижение отчетной нагрузки на респондентов и существенное повышение эффективности процессов статистического производства.

Магистральным трендом международной статистики в части решения указанной задачи является применение потокового сбора данных и альтернативных источников данных.

В настоящее время для сбора данных от респондентов применяются формы статистического наблюдения в электронном виде или на бумажном носителе.

Вместе с тем развитие технологий и значительный рост объемов информации, доступной в цифровом формате, создают возможности перехода от сбора данных по формам статистического наблюдения к использованию потокового сбора данных.

Заполнение форм отчетности вручную и их представление субъектам официального статистического учета на бумажном носителе является практикой, препятствующей переходу на цифровую экономику.

В настоящее время многие организации автоматизировали первичный учет и аналитический учет, в том числе с использованием облачных сервисов.

Переход от действующей модели информационного взаимодействия респондентов и субъектов статистического учета к возможности потокового сбора данных и их размещения в едином хранилище первичных статистических данных платформы в режиме реального времени станет основой для значительного снижения отчетной нагрузки на респондентов и стоимости формирования статистической информации, а также повышения качества решений, принимаемых на основе указанной информации.

Кроме того, развитие платформы должно предусматривать возможность использования альтернативных источников данных для официальной статистики и аналитики и отказа от общепринятых методов сбора данных, а также возможность автоматизированного формирования первичных статистических данных на основе данных первичного учета и аналитического учета и их автоматизированной передачи в режиме реального времени в единое хранилище первичных статистических данных платформы для дальнейшего формирования агрегированной статистической и аналитической информации.

Развитие платформы в части сбора и предоставления статистических данных с использованием альтернативных источников данных целесообразно осуществлять в рамках государственно-частного партнерства в соответствии с законодательством Российской Федерации о государственно-частного партнерстве.

Обеспечение государственно-частного партнерства с привлечением организаций, имеющих успешный опыт внедрения программных продуктов автоматизированного ведения первичного учета и аналитического учета на предприятиях, максимально оптимизирует расходы на развитие платформы в этой части и обеспечит сокращение сроков сквозной автоматизации процессов формирования первичных статистических данных и их представления в единое хранилище первичных статистических данных платформы.

В качестве альтернативных источников данных могут выступать данные глобальной навигационной спутниковой системы ГЛОНАСС, банковских автоматов, различных сканирующих устройств, сенсорных сетей, мобильной телефонной связи, спутников, социальных сетей, информационно-телекоммуникационной сети "Интернет".

Наиболее эффективно использование "больших" данных в таких отраслях статистики, как цены, занятость, демография, торговля, услуги. "Большие" данные могут использоваться в качестве замены существующей практики статистических наблюдений и (или) дополнительного источника статистической информации, инструмента повышения ее качества и оперативности формирования.

В связи с этим первостепенное значение имеет обеспечение государственно-частного партнерства с операторами "больших" данных.

Вопросы использования "больших" данных в официальной статистике давно обсуждаются международным статистическим сообществом, при этом признается, что применение альтернативных источников данных должно быть связано с решением вопросов методологии сбора, хранения и обработки таких данных, стандартизации их качества, обеспечения и развития программно-технических мощностей, нормативного правового регулирования, сохранности и конфиденциальности данных.

Применение альтернативных источников данных требует разработки соответствующей статистической методологии, в том числе методик анализа возникающих при этом рисков получения недостоверных оценок и прогнозов.

Таким образом, необходима реализация комплекса мер по интеграции применения альтернативных источников данных в систему государственной статистики с обеспечением соответствующего финансирования.

Использование альтернативных источников данных должно быть вписано в процессы планирования, сбора, обработки и предоставления статистических данных. При этом требуется выработать соответствующие подходы к каталогизации и (или) категоризации таких данных.

Указанные подходы подтверждаются результатами глобальных исследований, проводимых Статистическим отделом ООН и Европейской экономической комиссией ООН.

Для обоснованного выбора областей применения технологии по работе с "большими" данными и альтернативными источниками данных необходимо системно взаимодействовать с международным статистическим сообществом, в том числе с глобальной рабочей группой по использованию "больших" данных для целей официальной статистики.

В качестве одного из ключевых ориентиров реализации платформы в части использования "больших" данных и альтернативных источников данных следует рассматривать Боготскую декларацию, принятую 10 ноября 2017 г., а также архитектуру платформы глобальной рабочей группы по использованию "больших" данных для целей официальной статистики, представленную в докладе указанной рабочей группы от 9 марта 2018 г.

В настоящее время Федеральной службой государственной статистики проводится анализ возможности использования "больших" данных и альтернативных источников данных в области формирования статистики потребительских цен. Как показывает опыт статистических служб других стран, переход к использованию "больших" данных в официальной статистике является задачей не одного года.

Следующими областями для использования альтернативных источников данных могут быть торговля, транспорт (перевозки), сельское хозяйство, население.

Предполагается, что поставщиками альтернативных данных должны стать государственные информационные системы таких ведомств, как Федеральная таможенная служба, Федеральная налоговая служба, осуществляющие сбор данных на уровне учетных систем и первичных статистических данных, а также информационных систем юридических лиц.

Использование альтернативных источников данных должно создавать дополнительные возможности, в том числе для операторов данных, а именно возможности обмена требуемой информацией, предоставление доступа к первичным деперсонифицированным микроданным и другие. Для создания таких возможностей необходимо обеспечить открытость и доступность для операторов данных организационных, методологических, правовых и технологических аспектов, определить и опубликовать в открытом доступе форматы и способы интеграции информационных систем операторов с платформой в части нормативно-справочной информации и размещения первичных данных.

Таким образом, автоматизированное формирование первичных статистических показателей на основе данных первичного учета и аналитического учета позволит существенно сократить затраты предприятий, количество ошибок, повысить качество формируемой на их основе официальной статистической информации.

Для реализации обеспечения применения альтернативных источников данных в рамках создания платформы необходимо выполнить ряд мероприятий:

совместно с операторами данных разработать организационные, методологические и нормативные правовые подходы к сбору, хранению, обработке и предоставлению информации, доступа к данным на основе "больших" данных и альтернативных источников данных;

провести апробацию подходов, методов и технологий по использованию альтернативных источников данных на базе пилотных проектов;

опубликовать в открытом доступе нормативно-справочную информацию, используемую в рамках платформы, форматы и интерфейсы взаимодействия с платформой, обеспечивающие возможность технологического взаимодействия посредством программных интерфейсов технологического взаимодействия (API);

разработать отдельную параллельную технологическую цепочку по описанию, хранению и обработке больших данных и альтернативных источников данных.

При выполнении работ по применению альтернативных источников данных в рамках создания платформы должны быть учтены мероприятия, проводимые в рамках создания и внедрения единой системы нормативной справочной информации и национальной системы управления данными, в том числе необходимо учесть взаимодействие для целей статистики альтернативных источников данных с моделью государственных данных, создаваемой в составе национальной системы управления данными.

Использование альтернативных источников данных для формирования и (или) верификации официальной статистической информации позволит выйти на новый качественный уровень данных официального статистического учета.

Для обеспечения возможности применения альтернативных источников данных в целях формирования официальной статистической информации необходимы также разработка и совершенствование соответствующей нормативной правовой базы.

Необходимо отметить, что в настоящее время международное сообщество вырабатывает современные подходы к модернизации процессов статистического производства. На глобальном уровне разработаны и последовательно внедряются в странах такие типовые модели статистической деятельности, как Типовая модель производства статистической информации (GSBPM), Типовая модель статистической информации (GSIM), Общая архитектура статистического производства (CSPA), Типовая модель деятельности статистических организаций (GAMSO).

Новые подходы, применяемые при создании и функционировании платформы, сформированы с учетом указанных передовых международных практик, применяемых в развитых статистических системах.