Способ с разбиением данных по точкам учета

Первым способом решения проблемы хранения хронологических данных поступающих от различных источников является выделение отдельных таблиц непосредственно на ТУ. Недостатки этого метода хорошо видны при попытке построения запроса вычисляющего среднее значение собираемой величины (в случае системы учета электроэнергии собираемая величина — объем потребления энергии) по всем ТУ. Чтобы выполнение таких запросов было возможным необходимо модифицировать структуру хранилища данных (ХД).

При использовании технологии наследования таблиц, имеем структуру ХД, изображенную на рисунке 3.

Рисунок 3 Разбиение данных по ТУ с наследованием таблиц Данные от ТУ 1-N поступают соответственно в таблицы 1-N созданные по общему шаблону. Количество таблиц равно количеству точек учета. Таблицы имеют общий шаблон — это позволяет выполнять сквозные запросы обрабатывающие данные по всем таблицам.

Приведенный метод разбиения данных решает проблему выборки средних значений, но не решает проблему переполнения таблиц данными. При необходимости внесения в систему нового узла учета необходимо добавить и новую таблицу, что допустимо, но не достаточно удобно в плане масштабируемости. Данная методика успешно применима в случае хранения не большого объема данных, а также в случае проблем с передачей данных центральному узлу обработки (отсутствие подходящего канала связи). В таких случаях каждая ТУ собирает свои данные, храня их в единообразной форме, определяемой центральным узлом обработки данных. Данные синхронизируются при появлении соответствующей возможности. Предельно допустимая интенсивность поступления данных от N ТУ, которые должны быть сохранены, определяется по формуле:

(1).

где M — доступный объем оперативной памяти вычислительной машины (которая может быть использована СУБД для выполнения операций над данными) [Мб],.

N — количество точек учета (количество таблиц),.

m — объем памяти занимаемый одной записью ,.

t — время в течении которого необходимо хранить данные [с].

Значение предельно допустимой интенсивности поступления данных численно равно частоте опроса f, выраженной в Гц. Следовательно период опроса T составит:

(2).

В случае хранения данных за период 1 год (или ~31 556 926 с) для 100 ТУ, при доступном объеме оперативной памяти M = 4 294 967 296 б и размере одной записи в 50 б, допустимая интенсивность поступления данных равна:

Период опроса равен:

В случае масштабирования системы построенной на данном принципе, т. е. при добавлении в рабочую систему дополнительной ТУ, возрастет интенсивность поступления записей. Так как первоначальный расчет предельно допустимой интенсивности поступления записей теперь не позволит предотвратить превышение допустимого объема оперативной памяти для работы системы, необходимо либо увеличить объем доступной памяти, либо выполнить перерасчет допустимой интенсивности с учетом новой ТУ. Вариант решения проблемы путем увеличения памяти, является не достаточной удобным и оперативным. Так как эта операция подразумевает остановку работы системы, подбор, установку и настройку нового оборудования. Даже в случае использования систем позволяющих наращивать доступные мощности динамически («налету») имеется некоторое предельное ограничение. Второй вариант использующий перерасчет предельно допустимой интенсивности поступления записей является более универсальным и не требует дополнительных действий со стороны оператора или дополнительного обслуживания системы. Суть метода заключается в том, что после перерасчета допустимой суммарной интенсивности, элемент системы отвечающий за распределение нагрузки (вычислительная машина, сервер) в соответствии с новым значением ограничивает поступления данных в базу отсекая часть поступающих данных, но при этом гарантируя сохранения производительности системы в целом. С увеличение точек учета линейно уменьшается количество сохраненных данных одной ТУ. Следует отметить, что этот способ не лишает систему необходимости выполнения работы по созданию дополнительной таблицы для новой ТУ.