3.1.3. Трудовая функция

Наименование

Подготовка данных для проведения аналитических работ по исследованию больших данных

Код

A/03.6

Уровень (подуровень) квалификации

6

Происхождение трудовой функции

Оригинал

X

Заимствовано из оригинала

Код оригинала

Регистрационный номер профессионального стандарта

Трудовые действия

Определение источников больших данных для анализа, идентификация внешних и внутренних источников данных для проведения аналитических работ

Получение и фильтрация больших объемов данных из гетерогенных источников

Извлечение, проверка и очистка больших объемов данных из гетерогенных источников

Агрегация и разработка представления больших объемов данных из гетерогенных источников

Оценка соответствия набора данных предметной области и задачам аналитических работ

Необходимые умения

Определять требования к поставщикам данных из гетерогенных источников

Осуществлять взаимодействие с внутренними и внешними поставщиками данных из гетерогенных источников

Разрабатывать и оценивать модели больших данных

Использовать инструментальные средства для извлечения, преобразования, хранения и обработки данных из разнородных источников, в том числе в режиме реального времени

Производить очистку данных для проведения аналитических работ

Проводить интеграцию и преобразование больших объемов данных

Оценивать соответствие наборов данных задачам анализа больших данных

Оценивать стоимость данных для проведения аналитических работ

Необходимые знания

Возможности имеющейся у исполнителя методологической и технологической инфраструктуры анализа больших данных

Предметная область анализа

Теоретические и прикладные основы анализа больших данных

Современные методы и инструментальные средства анализа больших данных

Современный опыт использования анализа больших данных

Типы больших данных: метаданные, полуструктурированные, структурированные, неструктурированные

Виды источников данных: созданные человеком, созданные машинами

Источники информации, в том числе информации, необходимой для обеспечения деятельности в предметной области заказчика исследования

Методы извлечения информации и знаний из гетерогенных, мультиструктурированных, неструктурированных источников, в том числе при потоковой обработке

Российские и международные стандарты информационной безопасности

Современная технологическая инфраструктура высокопроизводительных и распределенных вычислений

Режимы получения и обработки данных, поддержка режима реального времени

Технологии хранения и обработки больших данных в организации: базы данных, хранилища данных, распределенная и параллельная обработка данных, вычисления в оперативной памяти

Облачные технологии, облачные сервисы

Методы оценки временных и стоимостных характеристик технологий больших данных

Технологии межличностной и групповой коммуникации в деловом взаимодействии, основы конфликтологии

Правила деловой переписки

Другие характеристики

-