Начальные шаги моделирования

Модель автономных агентов с естественными потребностями. В [12] построена и исследована компьютерная модель автономных агентов, обладающих естественными для живых организмов потребностями: питание, безопасность и размножение. Потребностям агента соответствовали три фактора: питания (F_F), безопасности (F_S) и размножения (F_R). Для каждого фактора имелся порог (T_F, T_S, T_R), при превышении фактором которого удовлетворялась соответствующая потребность.

Между потребностями вводилась следующая иерархия: 1) пищевая потребность (наиболее приоритетна), 2) потребность безопасности, 3) потребность размножения (наименее приоритетна). Потребность считалась ведущей, если она была наиболее приоритетной из всех потребностей, для которых фактор потребности меньше соответствующего ему порога.

Рядом с агентом имелся хищник, активность которого периодически менялась; защищаясь от хищника, агент мог обеспечивать свою безопасность.

Система управления агента была основана на наборе правил вида: S_k > A_k (в ситуации S_k нужно выполнить действие A_k). Веса правил W_k настраивались методом обучения с подкреплением [13]. Ситуация S_k определялась активностью хищника рядом с агентом, предыдущим действием агента и ведущей потребностью. Каждый такт времени агент мог выполнять одно из следующих действий A_k: 1) поиск пищи, 2) питание, 3) подготовка к размножению, 4) размножение, 5) оборона, 6) покой. Агент имел ресурс R, который уменьшался при выполнении действий и увеличивался при питании. Активный хищник также мог отнимать у агента значительный ресурс.

После выполнения цепочки действий «подготовка к размножению», «размножение» агент рождал потомка. Выполняя действие «оборона», агент защищался от активного хищника.

Преимущественно выполнялись действия, соответствующие максимальным весам правил W_k. Факторы F_F, F_S, F_R увеличивались при выполнении действий, направленных на удовлетворение ведущих потребностей. Веса правил S_k > A_k менялись следующим образом:

ДW_t-1 = б (F_{L, t} — F_{L, t-1} + гW_t — W_t-1) ,.

где F_{L, t}, F_{L, t-1} — факторы потребности, ведущей в такты времени t и t-1, W_t и W_t-1 — веса правил, примененных в такты t и t-1, б — параметр скорости обучения, г — дисконтный фактор.

Результаты компьютерного моделирования иллюстрируются рис. 1, на котором показана типичная динамика факторов F_F, F_S и F_R. Видно, что при достаточно большом времени все три фактора достигают порога, т. е. все потребности удовлетворяются. Формируется цикличность поведения агента, характерный цикл показан участком «а». В цикле агент сначала накапливает внутренний ресурс, затем его действия направлены на максимизацию безопасности, а когда обе потребности (пищевая и потребность безопасности) удовлетворены, агент размножается.

Рис. 1. Зависимость факторов F_F, F_S и F_R, соответствующих потребностям агента, от времени t. Горизонтальная линия показывает порог, соответствующий всем трем факторам.

Таким образом, исследована модель автономных агентов, обладающих несколькими потребностями (пункт, А контуров программы). Показано, что происходит формирование циклов поведения, в которых последовательно удовлетворяются потребности питания, безопасности и размножения.

Модель формирования обобщенных эвристик и простых обобщенных образов. Формирование обобщенных эвристик и простых обобщенных образов (пункт Б) в процессе обучения агентов при поиске агентами пищи в двумерной клеточной среде было продемонстрировано в модели [14], хотя пока эту модель целесообразно рассматривать как определенный начальный этап более полноценных исследований.