Описание метода. 
Поиск документов по запросу, расширенному автоматически построенными парадигматическими отношениями

Парадигматические отношения (синонимия, родовидовые и пр.) между терминами, как правило, устанавливаются вручную. Информация об этих отношениях фиксируется в тезаурусе и используется в дальнейшем при поиске по запросам, что позволяет повысить полноту (найти больше релевантных документов).

Существуют автоматические методы построения парадигматических отношений. При этом выделенные парадигматические отношения не разбиваются на типы (например, не различаются синонимия и отношение «целое-часть»), а сами отношения обычно называются ассоциативными, а не парадигматическими.

Построение ассоциативных отношений основывается на данных о совместной встречаемости терминов в документах [1; 7, с.103−104]. Автоматически построенные ассоциативные отношения могут применяться при поиске вместо вручную построенных парадигматических отношений либо в дополнение к ним. При этом эффективность поиска повышается только при использовании специальных алгоритмов ранжирования [8]. В работе [9] показано, что максимальный эффект достигается в том случае, если к исходному запросу добавляются те ассоциативные термины, которые имеют высокое соответствие по отношению ко всему запросу, а не к его отдельным словам.

Недостатком ассоциативных отношений является относительно невысокая скорость их построения и требуемые при этом большие объемы текстов. Немаловажно также и то обстоятельство, что в разных предметных областях один и тот же термин может иметь разный набор ассоциативных отношений. Поэтому ассоциативные отношения имеет смысл выделять динамически в процессе поиска по запросу. Предположим, что среди найденных по запросу документов есть такие, в которых содержатся все информативные слова запроса, причем в компактном виде. Из таких документов выделяются информативные слова, находящиеся в окрестности появлений запроса. Каждому из выделенных слов присваивается ассоциативный вес. Основной компонентой ассоциативного веса слова является количество появлений запроса, в окрестности которых содержатся эти слова.

Далее выполняется нечеткий поиск по расширенному запросу, составленному из исходного запроса путем добавления к нему ассоциативных слов с максимальными весами. Расширенный запрос содержит все информативные слова исходного запроса и динамические ассоциативные слова, для которых ассоциативный вес больше порога. Количество добавленных к запросу ассоциативных слов зависит от числа информативных слов исходного запроса (например, при 5 информативных словах запроса отбирается не более 3 ассоциативных слов).

Списки документов, найденных по исходному и расширенному запросам, объединяются в единый список, который и считается результатом поиска. Если некоторый документ присутствует в двух списках, то его вес вычисляется по формуле сложения вероятностей.

В качестве результата поиска выдается начальная часть объединенного списка. Количество выдаваемых документов определяется как произведение числа документов, найденных по исходному запросу, на некоторый множитель, который имеет фиксированное значение или же задается в виде таблицы.

Можно ожидать, что расширение запроса ассоциативными словами поможет решить две задачи:

• · выдачу дополнительных релевантных документов. Эта задача важна при поиске в небольших текстовых базах данных. Поскольку поиск нечеткий, то по расширенному запросу могут быть найдены документы, в которых интересующая тема выражена по-другому, причем с помощью включенных в запрос ассоциативных слов;
• · построение тематического представления результатов поиска. Очень актуально при поиске в больших текстовых базах (в частности, в Интернет). Если по запросу найдено много документов, то, как правило, они разбиваются на несколько групп тематически однородных документов, причем пользователя интересует только некоторые из этих тематических групп. Поэтому очень полезно разбиение найденных документов по тематикам. Такое разбиение значительно облегчает пользователю отбор нужных ему документов среди множества найденных. Если провести кластеризацию текстовых фрагментов с появлениями запроса, то это можно считать тематическим представлением, однако относительно ограниченного множества документов. Однако если по каждой из групп фрагментов, полученных в результате кластеризации, построить расширенный запрос, то с помощью такого множества запросов будет реализовано полноценное тематическое представление всего множества найденных документов.