6.4. Формирование перечня товаров и услуг с конкретными потребительскими свойствами

27. Товары (услуги) с конкретными потребительскими свойствами в рамках каждого товара (услуги)-представителя отбираются в городах специалистами территориальных органов Росстата

Перечень товаров и услуг с конкретными потребительскими свойствами формируется на основе анализа различных характеристик, представленных в их наименованиях: производитель, бренд, марка, модель, артикул, дополнительные качественные характеристики (например, сорт или жирность) и других.

В качестве критерия отбора используется также объем продаж.

В результате в каждом товаре (услуге)-представителе отбирается определенное количество ценовых котировок, включаемых в дальнейший расчет на протяжении отчетного года.

28. Этапы отбора ценовых котировок на основе данных ККТ <1>, ГИС МТ, веб-скрейпинга.

--------------------------------

<1> При наличии технической возможности использования данных.

Выполняются следующие действия:

а) анализ данных, полученных из всех источников за предшествующие отчетному году 13 месяцев (по состоянию на последние 5 дней каждого месяца).

В данных ККТ с помощью системы распознавания на основе нейронных сетей из всего массива чеков выделяются данные по каждому товару и услуге из Набора товаров (услуг)-представителей;

Данные классифицируются в рамках Набора, данные ККТ - с помощью алгоритмов машинного обучения и работы асессоров и разметчиков;

Формируются динамические ряды с ценами по конкретным товарам (услугам), пересчитанными в принятые для наблюдения единицы измерения.

б) запускается алгоритм отсечения ценовых котировок:

нерегулярных цен;

ошибочных (экстремальных) цен;

на основе уровней цен;

индивидуальных (клиентских) скидок в конкретный день.

в) в перечне конкретных товаров и услуг для наблюдения (далее - Перечень котировок) из оставшихся позиций осуществляется импутация недостающих значений цен одним из следующих методов:

по использованию цен из ближайших дней регистрации;

протяжка цен (дублирование);

определение условно-расчетных цен на основе уровней и динамики цен на аналогичные товары (услуги).

г) осуществляется оценка достаточности количества отобранных ценовых котировок сформированного Перечня котировок в рамках наблюдения товара (услуги)-представителя на основе данных ККТ, ГИС МТ, веб-скрейпинга.

д) в полученном перечне часть позиций в рамках каждого товара (услуги)-представителя отсекается в резерв для возможности использования в случае замены наблюдаемого товара (услуги).

На основе перечня котировок формируются перечни товаров (услуг)-представителей и организаций для наблюдения за потребительскими ценами в привязке к городам и субъектам Российской Федерации.

Перечень организаций оценивается на достаточность для применения данных ККТ, ГИС МТ, веб-скрейпинга.

29. Отсечение ценовых котировок.

а) Отсечение нерегулярных цен.

Если данные по конкретному товару (услуге) присутствуют как минимум в 4-х месяцах, то такая ценовая котировка отбирается в Перечень котировок.

Если данные по конкретному товару (услуге) присутствуют менее, чем в 4-х месяцах, то ценовая котировка отсекается в Блок отсечения и не попадает в Перечень котировок. Исключение составляют отдельные позиции с ярко выраженной сезонностью.

Метод отсечения нерегулярных цен используется в годовой части при формировании выборок.

б) Отсечение ошибочных (экстремальных) цен.

Данные о ценах на товары (услуги), получаемые из ККТ, ГИС МТ и методом веб-скрейпинга могут содержать ошибочные значения цен. Причины: ошибки ввода данных пользователями систем, некорректно идентифицированные единицы измерения товара.

Для формирования массивов данных с корректными уровнями цен осуществляется процедура отсечения выбросов.

Для этого выполняется следующий алгоритм действий по каждому товару (услуге)-представителю в каждом городе:

определяется значение 1-ого или 99-ого перцентиля цены в рамках товара (услуги)-представителя;

полученное значение умножается на два для верхнего перцентиля и делится на два для нижнего, формируя нижнее и верхнее пороговые значения;

отсекаются все ценовые котировки, значение цен которых лежит за пределами данных пороговых значений.

99-й перцентиль - значение цены на товар (услугу)-представитель, выше которого только 1% процент ценовых котировок.

1-й перцентиль - значение цены на товар (услугу)-представитель, выше которого только 99% ценовых котировок.

Отсечение осуществляется по формуле:

1/2 * q_jgl < p_jg < 2 * q_jg99, (3)

где:

p_jg - ценовая котировка на товар (услугу)-представитель j в городе g, которая удовлетворяет критерию,

q_jgl - 1-й перцентиль - значение цены на товар (услугу)-представитель j в городе g, выше которого только 99% ценовых котировок,

q_jg99 - 99-й перцентиль - значение цены на товар (услугу)-представитель j в городе g, выше которого только 1% процент ценовых котировок.

В результате выполнения данного алгоритма остаются только ценовые котировки, не содержащие ошибочные выбросы цен. Эти ценовые котировки формируют предварительный Перечень котировок для осуществления дальнейших расчетов.

30. Отсечение на основе уровней цен.

Для расчета допустимых уровней цен на товары (услуги) в каждом городе использовались все ценовые котировки, попавшие в перечень на предыдущем этапе. Для этого рассчитывается арифметическое среднее и среднеквадратичное отклонение цены на требуемую упаковку для каждого товара (услуги)-представителя в каждом городе. Расчет производится по формуле:

, (4)

, (5)

, (6)

где:

P_max - верхний экстремум ценового диапазона;

P_min - нижний экстремум ценового диапазона;

- средняя цена на товар (услугу)-представитель j (формула 11);

- среднеквадратическое отклонение цены;

p_ij - цены на i-й товар в выборке для товара (услуги)-представителя j;

n - объем выборки.

В результате получается интервал уровней цен - минимум и максимум. В Перечне котировок остаются только ценовые котировки, цены которых находятся в рамках данного интервала.

31. Отсечение дискретных скидок в конкретный день.

В одной и той же организации на одно и то же наименование отобранного в наблюдение конкретного вида товара (услуги) в рамках одних суток могут быть различные цены.

Такая ситуация может быть вызвана дискретными скидками, т.е. персональными скидками, скидками за приобретение определенного количества, скидками для льготных категорий граждан в определенные часы и дни.

Данные виды скидок отсекаются на основе выбора максимальной цены в каждой организации для конкретного товара в рамках одного дня и в расчетах ИПЦ такие скидочные цены не используются. Исключение составляют случаи, при которых большинство покупок совершаются по карте постоянного покупателя, которую можно получить бесплатно либо за условную быстро окупаемую стоимость.

В реквизитах чека, т.е. в данных ККТ, присутствует поле "скидка", однако оно является необязательным для заполнения и указывается лишь в некоторых случаях.

Алгоритм отсечения дискретных скидок следующий:

p_max = max(p_1, p_2, ..., p_n), (7)

где:

p_max - максимальная цена;

p_1, p_2, ..., p_n - цены на конкретный товар в конкретной организации за день.

Последние три метода отсечения цен используются как в годовой части при формировании выборок видов товаров и услуг, так и в регулярной части при сборе информации на основе больших данных.

32. Формирование резервных ценовых котировок.

Для замены товаров (услуг), полностью исчезнувших из продажи, необходимо иметь резерв ценовых котировок.

Формирование перечня резервных ценовых котировок на основе больших данных осуществляется путем отсечения части конкретных видов товаров (услуг) в рамках товара (услуги)-представителя на основе анализа объема продаж.

В резерв отсекаются 10% ценовых котировок с наименьшим объемом продаж.

После процедур отсечения сформирован Перечень котировок - товаров и услуг с конкретными потребительскими свойствами, которые участвуют в наблюдении в течение отчетного года.

33. Методы импутации цен.

Существуют несколько методов импутации цен - формирования отсутствующих цен, которые применяются последовательно:

использование цен из ближайших дней регистрации;

протяжка (дублирование) цен;

замена товаров (услуг) из резерва;

определение условно-расчетных цен на основе уровней и динамики цен на аналогичные товары (услуги).

а) Использование цен из ближайших дней регистрации.

Данный метод импутации цен применяется при использовании потоковых данных ККТ или веб-скрейпинга.

В случае отсутствия цены на товар (услугу) в установленную дату регистрации анализируется наличие цены на конкретный товар (услугу) в предшествующих 4 днях.

В случае наличия цены в соседних 4 предшествующих днях, цена отсутствующего товара (услуги) импутируется из ближайшей даты продажи.

В обратном случае, используются следующие методы импутации цен.

б) Протяжка (дублирование) цен.

Метод дублирования цены предполагает повторение последней зарегистрированной цены на товар (услугу) при ее отсутствии в организации торговли (сферы услуг) в отчетном периоде. Применение данного метода возможно в течение непродолжительного периода времени (не более 2 месяцев подряд) при условии отсутствия изменений цен на данную группу товаров (услуг).

Применение указанного метода в течение более длительного периода недопустимо, поскольку может привести к занижению индекса цен.

Исключение составляют товары, реализация которых носит сезонный характер. В условиях незначительной инфляции (менее 0,1% в месяц) допускается дублирование цены на весь период отсутствия товара, продолжительность которого может достигать 6 месяцев и более (например, по меховым изделиям или зимним (летним) видам одежды и обуви).

в) Определение условно-расчетных цен на основе уровней и динамики цен на аналогичные товары (услуги).

Метод условно-расчетных цен предполагает, что цена на отсутствующий товар (услугу) изменяется так же, как и на идентичный с ним товар (услугу), на несколько схожих товаров (услуг) или на все товары (услуги) в рамках товара (услуги)-представителя.

В зависимости от источника информации о динамике цен этот метод можно подразделить на несколько направлений:

определение условно-расчетной цены на основе изменения цен на идентичный товар (услугу) - условная цена рассчитывается с использованием среднего изменения не на все зарегистрированные товары (услуги) группы, а только на тот, который может рассматриваться, как наиболее близкий (по значению цены) к заменяемому товару (услуге);

определение условно-расчетной цены на основе среднего изменения цен по нескольким товарам (услугам), идентичным заменяемому. При использовании метода сначала рассчитывается средняя величина изменения цен (элементарный агрегат) на несколько товаров (услуг) с конкретными потребительскими свойствами (ценовых котировок), регистрируемых в городе в рамках товара (услуги)-представителя, близких по качественным характеристикам с заменяемым товаром (услугой). Это значение изменения затем используется для условного исчисления цены заменяемого товара (услуги);

определение условно-расчетной цены на основе среднего изменения цен по малой товарной группе (группе услуг). При использовании метода сначала рассчитывается средняя величина изменения цен (элементарный агрегат) на все зарегистрированные в городе в рамках товара (услуги)-представителя ценовые котировки без учета заменяемого товара (услуги). Затем это значение изменения цен используется для исчисления условного изменения цен на заменяемый товар (услугу), отсутствующий в отчетном месяце.

Метод расчетных цен при замене товара (услуги) применим при определении как цен базисного, так и отчетного периодов.

Вышеперечисленные методы импутации цен используются как при формировании базисной информации раз в год с динамическими рядами цен по Перечню котировок (кроме замены товара и услуги из резерва), так и в регулярном алгоритме сбора цен.

34. Достаточность ценовых котировок.

На каждый товар (услугу)-представитель в городе осуществляется регистрация не менее 5 ценовых котировок.

По товарам (услугам)-представителям, ассортимент которых достаточно разнообразен, а разброс цен на отдельные марки, модели, артикулы велик, регистрируется большее количество ценовых котировок, чем по товарам (услугам)-представителям, которые представлены однородными позициями.

Исключение составляют отдельные виды услуг (электроэнергия, услуги почтовой связи, услуги городской телефонной связи, муниципальный городской транспорт и т.п.), на которые в городе действуют единые тарифы.

Необходимое количество ценовых котировок для конкретного товара (услуги)-представителя должно учитывать специфику структуры его потребления населением в регионе, охват и насыщенность потребительского рынка товарами (услугами), уровень развития предприятий торговли и сферы услуг.

Расчет достаточного количества ценовых котировок в городе состоит из трех этапов.

На первом этапе определяется перечень регулируемых цен (тарифов) на товары (услуги)-представители, т.е. цен (тарифов) которые утверждаются нормативным актом органов исполнительной власти субъектов Российской Федерации и местного самоуправления. Для таких позиций количество ценовых котировок принимается равным единице.

На втором этапе определяется перечень товаров (услуг)-представителей, удельный вес каждого из которых составляет менее 0,5% в общих потребительских расходах населения. Для данных позиций количество ценовых котировок должно составлять не менее 5.

На третьем этапе для всех остальных товаров (услуг)-представителей количество ценовых котировок (K_j) рассчитывается по формуле:

K_j = (U_j * W_j) / R_j * 1000, (8)

где:

Kj - количество ценовых котировок j-го товара (услуги);

Uj - условная дисперсия цен j-го товара (услуги);

Wj - вес j-го товара (услуги) в структуре потребительских расходов;

Rj - показатель, оценивающий сложность регистрации ценовой котировки j-го товара (услуги).

Условная дисперсия (Uj) позволяет при отсутствии сплошного обследования потребительских цен оценить степень колебания цен на отдельные товары с конкретными потребительскими свойствами (ценовые котировки) в рамках товара (услуги)-представителя в городе.

Для определения значения условной дисперсии осуществляется расчет коэффициента вариации по следующей формуле:

, (9)

где:

v_j - коэффициент вариации по j-му товару (услуге)-представителю;

- среднее квадратическое отклонение цен на товары (услуги) от средней величины;

- средняя арифметическая цена.

Среднее квадратическое отклонение цен на товары (услуги) рассчитывается по формуле:

, (10)

где:

- средняя арифметическая цена рассчитывается по формуле:

, (11)

где:

p_1j + p_2j + p_nj - цены j-го товара (услуги)-представителя;

n - количество зарегистрированных цен на товары i в выборке j-го товара (услуги)-представителя.

Значение условной дисперсии (Uj) определяется на основе расчетного коэффициента вариации по степени однородности совокупности.

Таблица 2

Шкала однородности совокупности

на основе коэффициента вариации

Показатель Wj соответствует доле товаров (услуг)-представителей в структуре потребительских расходов населения, которая используется для расчета ИПЦ в субъекте Российской Федерации.

Чем больше вес товара (услуги)-представителя в общей структуре потребительских расходов, тем больше будет влияние изменения его цены на итоговое значение ИПЦ, соответственно, для таких товаров (услуг) следует регистрировать большее количество котировок.

Показатель условной сложности регистрации котировки цены j-го товара (услуги) (Rj) является комплексным качественным показателем, зависящим как от характеристики самого товара (услуги)-представителя, так и от его наличия в продаже во многих организациях торговли (сферы услуг).

Значения показателя условной сложности регистрации оценивается экспертно по следующему принципу:

Rj = 1 - "невысокая сложность регистрации" цен на товар (услугу)-представитель, имеющий простые характеристики, которые не подвергаются частым изменениям, и присутствующий в продаже во многих организациях торговли (сферы услуг), в том числе сетевых;

Rj = 2 - "средняя сложность регистрации" цен на товар (услугу)-представитель, имеющий простые характеристики и присутствующий в продаже, как правило, в организациях торговли, являющихся субъектами малого предпринимательства;

Rj = 3 - "высокая сложность регистрации" цен на товар (услугу)-представитель, имеющий сложные характеристики, которые часто подвергаются изменениям, и присутствующий в продаже в специализированных организациях торговли (сферы услуг) или в отдельных торговых точках.

Величина условной сложности регистрации цены товара (услуги)-представителя определяется специалистами территориальных органов Росстата.

По аналогичной схеме производится оценка количества ценовых котировок, достаточного для обеспечения репрезентативности индексов цен.