Методы Data Mining

Data Mining переводится как «добыча"или «распаковка данных». Возникновение этого термина связанного с новым шагом в развитии средств и методов обработки данных.

В основу современной технологии Data Mining (discoverydriven data mining) положена концепция шаблонов, отражающих фрагменты много аспектных взаимоотношений в данных. Эти шаблоны представляют собой закономерности, свойственные подвыборкам данных, которые могут быть компактно выражены в понятной человеку форме.

Г. Пиатецкий-Шапиро (один из основателей этого направления) определил технологию Data Mining как процесс обнаружения необработанных данных:

• 1) Ранее неизвестных;
• 2) Нетривиальных;
• 3) Практически полезных;
• 4) Допустимых интерпретаций значений, необходимых для принятия решений в различных сферах человеческой деятельности.

Data Mining является мультидисциплинарной областью, возникшей и развивающейся на базе достижений прикладной статистики, распознавания образов, методов искусственного интеллекта, теории баз данных. Отсюда обилие методов и алгоритмов, реализующих в различных, действующих системах Data Mining.

Наиболее широким подклассом, предметно ориентированных аналитическим системам, получивших распространение в области исследования финансовых рынков, является «технический анализ». Который представляет собой совокупность множества методов прогнозирования динамики цен и выбора оптимальной структуры инвестиционного профиля, основанных на различным эмпирических моделях динамики рынка.

Последние версии статических программных пакетов включают в себя наряду с традиционными статическими методами и элементами Data Mining.

Нейтронные сети — большой класс систем, архитектура которых имеет антологию с построением нервной ткани из нейтронов.

Системы рассуждений на основе аналогичных случаев (CBR case based reasoning), для прогноза на бедующее или выбора правильного решения ищут в прошлом близкие аналогии ситуации и выбирают тот ответ, который был для них правильным.

Деревья решений (decision trees) создают иерархическую структуру классифицирующих правил типа ifthen, имеющую вид дерева.

Рассмотрим эволюционное программирование. Гипотезы в виде зависимости целевой переменной от других переменных формулируются в виде программ на некотором внутреннем языке программирования. Процесс построения программ состоится как эволюция в мире программ. Когда система находит программу, более или менее удовлетворительно выраженную искомую зависимость, она начинает вносить в нее большие изменения и отбирает среди построенных таким образом в нее небольшие изменения и отбирает среди построенных таким образом программ — протоколов те, повышают точность. В результате проведения подобной эволюции система получает несколько генетических линий программ, которые конкурируют между собой в точности выражения искомой зависимости.

Другое направление эволюционного программирования связано с поиском зависимости целевых переменных от остальных в форме функций определенного вида. Например, в методе группового учетов зависимость пишется в форме полиномов.

Хотя генетические алгоритмы используются в основном как мощеное средство решения разнообразных комбинаторных задач и задач оптимизации, они в последнее время включают в стандартный инструментарий методов Data Mining.

Алгоритмы ограниченного перебора, предложение в середине 60-х годов ХХ в. М. М Бонгардом, вычисляют частоты комбинаций простых логических событий и группах данных. На основании анализа вычислительных частот делятся заключение о полезности той или иной комбинации для установления ассоциации в данных, классификации, прогнозирования.

Указанные методы в последнее время начинают применятся и для решения задач обнаружения атак и вторжений.