Процедура обучения. 
Обучение с нуля грамматики связей русского языка

Процедура обучения состоит из 3-х этапов: 1) Инициализация вероятностных параметров; 2) Обучение на неразмеченном корпусе предложений; 3) Отсев дизъюнктивных слагаемых.

Инициализация вероятностных параметров. Так как алгоритм обучения гарантирует только нахождение локального минимума кросс-энтропии, то задача выбора начальных параметров вероятностей очень важна для качества обучения. В процедуре инициализации мы предполагаем, что все события равновероятны. То есть в процессе генерации предложения вероятность выбора слова равна вероятности выбора любого другого слова, а вероятность выбора дизъюнкта равна вероятности выбора любого другого дизъюнкта.

Обучение на неразмеченном корпусе предложений. Для обучения важно подобрать корпус. Желательно максимальное значение отношения числа предложений к числу слов, чтобы для каждого слова было достаточно примеров его использования. Для этих целей был создан корпус, где число предложений примерно в 10 раз больше числа используемых слов. Корпус создавался автоматически, путем фильтрации большого корпуса русского языка и поиска только тех предложений, все слова в которых принадлежали заданному набору из 355 высокочастотных слов. Если бы мы попытались составить корпус из более простых слов средней частотности, то мы бы получили меньшее число предложений, что для наших целей обучения не совсем подходит.

Отсев дизъюнктивных слагаемых. В конце обучения происходит отсев дизъюнктивных слагаемых с низкими вероятностями. После процедуры удаления общие вероятности пересчитываются, и число вариантов разбора уменьшается. Для увеличения скорости работы алгоритма процедуру удаления дизъюнктивных слагаемых можно повторять на каждом шаге обучения.