Введение. Об одной псевдоассоциативной модели текста

Экспериментальная информатика, как и подобает техническому направлению, основана прежде всего на попытках ответить на вопрос типа «Что будет, если ???». Благо, в отличие от иных областей, ставить в ней эксперименты — пусть и виртуальные — значительно легче. Хотя суть от этого не меняется. Разница между вопросами «Что будет, если смешать азотную и серную кислоту, а затем добавить целлюлозы?» и «Что будет, если посчитать расстояние между словами в предложении?» невелика.

Настоящая статья посвящена как раз ответу на второй вопрос.

Итак, что может дать механизм, оценивающий ассоциативные (точнее, псевдоассоциативные, т.к. приставка псевдообычно ни к чему не обязывает, а ответственность снимает) связи между лексемами на основе всего-навсего их взаимного расположения в тесте? Без учета синтаксиса, семантики, прагматики, опираясь исключительно на лексический (или в лучшем случае — морфологический) анализ.

Будем считать, что необходимое введение в предметную область уже сделано. Обзоры многочисленных методов, обоснование важности частотно-лексических критериев, актуальность задачи с точки зрения построения автоматических анализаторов, авторефераторов и тезаурусопостроителей, а также философские рассуждения о языковых моделях мира, аксиоматических объектах и прочее оставим для большой, серьезной работы.