Экспертное оценивание и теория принятия решений

Экспертное оценивание — процедура получения оценки проблемы на основе группового мнения специалистов (экспертов). Совместное мнение обладает большей точностью, чем индивидуальное мнение каждого из специалистов. Данный метод можно рекомендовать для получения качественных оценок, ранжирования — например для сравнения нескольких проектов по их степени соответствия заданному критерию.

Этапы экспертного оценивания:

• — постановка цели исследования;
• — выбор формы исследования, определение бюджета проекта;
• — подготовка информационных материалов, бланков анкет, модератора процедуры;
• — подбор экспертов;
• — проведение экспертизы;
• — статистический анализ результатов;
• — подготовка отчета с результатами экспертного оценивания.

Постановка цели исследования.

Экспертное оценивание предполагает создание коллективного мнения, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником коллективного мнения является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход обладает большими возможностями по решению задач, не поддающихся решению обычным аналитическим способом:

• — выбор лучшего варианта решения среди имеющихся;
• — прогнозирование развития процесса;
• — поиска возможного решения сложных задач.

Перед началом экспертного исследования необходимо четко определить его цель, (проблему), и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

• — четкое определение условий, времени, внешних и внутренних ограничений проблемы.
• — возможность ответа на вопрос с доступной человеческому опыту точностью.

Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных периметров не рекомендуется задавать более пяти градаций.

Эксперты оценивают возможные варианты, не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

Выбор формы исследования, определение бюджета проекта.

Существующие виды экспертных оценок можно классифицировать по признакам:

• — по форме участия экспертов: очное, заочное (очный метод позволяет сосредоточить внимание эксперт на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле);
• — по количеству итераций (повторов процедуры для повышения точности) — одношаговые и с итерациями;
• — по решаемым задачам: генерирующие решения и оценивающие варианты;
• — по типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале;
• — по способу обработки мнений экспертов: непосредственные и аналитические;
• — по количеству привлекаемых экспертов: без ограничения, ограниченные.

Наиболее известные методы экспертных оценок: метод Дельфи, мозговой штурм и метод анализа иерархий. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают: оплата экспертов, аренда помещения, канцтовары, оплата специалиста по проведению и анализу результатов экспертизы.

Подготовка информационных материалов, бланков анкет, инвентаря и модератора процедуры.

Эксперты, перед вынесением суждения, должны разносторонне рассмотреть представленную проблему. Поэтому, для проведения процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки. Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

Подбор экспертов.

Эксперты должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

Проведение экспертизы.

Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

• — препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста);
• — установить и соблюдать регламент (увеличение времени на принятие решения сверх оптимального не повышает точность ответа).

Статистический анализ результатов.

После получения ответов экспертов необходимо провести их оценку. Это позволяет:

• — оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты);
• — оценить ошибку исследования;
• — построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

Подготовка отчета с результатами экспертного оценивания.

В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов.

Теория принятия решений — область исследования, вовлекающая понятия и методы математики, статистики, экономики, менеджмента и психологии; изучает закономерности выбора людьми путей решения разного рода задач, а также исследует способы поиска наиболее выгодных из возможных решений.

Различают нормативную теорию, которая описывает рациональный процесс принятия решения и дескриптивную теорию, описывающую практику принятия решений.

Основные принципы теории принятия решений:

• — прогнозирование и планирование;
• — проблема эргодичности;
• — принятие решений в условиях неопределённости.

Прогнозирование и планирование.

Теория принятия решений утверждает, что прогнозирование и планирование — суть одно и то же — для их алгоритмизации применяются существенно одни и те же алгоритмы распознавания образов. Можно показать, что все применяемые методики прогнозирования можно формализовать в понятиях многомерного регрессионного анализа (по крайней мере, в той части, где регрессия аппроксимирует методы распознавания образов).

Проблема эргодичности.

Для того чтобы делать «строгие» статистически достоверные прогнозы на будущее, нужно получить выборку из будущих данных. Так как это невозможно, то многие специалисты предполагают, что выборки из прошлых и текущих, например, рыночных индикаторов равнозначны выборке из будущего. Иными словами, если встать на такую точку зрения, то получится, что прогнозируемые показатели — лишь статистические тени прошлых и текущих рыночных сигналов. Такой подход сводит работу аналитика к выяснению, каким образом участники рынка получают и обрабатывают рыночные сигналы. Без устойчивости рядов нельзя делать обоснованные выводы. Поиск устойчивостей в рядах и есть одна из задач статистики.

Если лица, принимающие решения, полагают, что процесс не является стационарным (устойчивым), а следовательно, эргодическим, и даже если они считают, что вероятностные функции распределения инвестиционных ожиданий все-таки могут быть посчитаны, то эти функции «подвержены внезапным (то есть непредсказуемым) изменениям» и система, по существу, непредсказуема.

Принятие решений в условиях неопределённости.

Условиями неопределённости считается ситуация, когда результаты принимаемых решений неизвестны. Неопределенность подразделяется на стохастическую (имеется информация о распределении вероятности на множестве результатов), поведенческую (имеется информация о влиянии на результаты поведения участников), природную (имеется информация только о возможных результатах и отсутствует о связи между решениями и результатами) и априорную (нет информации и о возможных результатах).

Выбор при неопределённости.

Эта область представляет ядро теории принятия решений.

Термин, теперь известный как «ожидаемая ценность» (математическое ожидание) был известен с XVII века. Блез Паскаль (фр.) использовал это в его известном пари, (пари Паскаля — классический пример выбора при неопределённости. Неопределённость, согласно Паскалю, — существует или нет Бог. Личная вера или неверие в Бога — выбор, который должен быть сделан каждым. Однако, награда за веру в Бога, если Бог фактически существует, бесконечна. Поэтому, хотя вероятность существования Бога не так велика, а ожидаемая ценность веры превышает ценность неверия, то лучше все-таки верить в Бога), который содержится в его работе «Pensйes», изданной в 1670. Идея ожидаемой ценности заключается в том, что перед лицом множества действий, когда каждое из них может дать несколько возможных результатов с различными вероятностями, рациональная процедура должна идентифицировать все возможные результаты, определить их ценности (положительные или отрицательные) и вероятности, затем перемножить соответствующие ценности и вероятности и сложить, чтобы дать в итоге «ожидаемую ценность». Действие, которое будет выбрано, должно давать наибольшую ожидаемую ценность.

В 1738, Даниил Бернулли (швейц.) опубликовал влиятельную статью, названную «Предложение новой теории измерения риска (Exposition of a New Theory on the Measurement of Risk)», в котором он использует Санкт-Петербургский парадокс, чтобы показать, что теория ожидаемой ценности должна быть нормативно неправильной. Он также даёт пример, в котором голландский торговец пробует решить, застраховать ли груз, посылаемый из Амстердама в Санкт-Петербург зимой, когда известно, что есть 5%-ный шанс, что судно и груз будут потеряны. В его решении, он определяет функцию полезности и вычисляет ожидаемую полезность, а не ожидаемую финансовую ценность.

В XX столетии, интерес был повторно подогрет работой Абрахама Вальда (1939) (венгр.), указывающей, что две центральных проблемы ортодоксальной статистической теории, а именно, статистическое испытание гипотез и статистическая теория оценивания, могли оба быть расценены как специфические специальные случаи более общей теории принятия решений. Эта работа вводила большую часть «ментального пейзажа» современной теории принятия решений, включая функции потери, функции риска, допустимые решающие правила, априорные распределения, байесовские правила решения, и минимаксные решающие правила. Термин «теория принятия решений» непосредственно начал использоваться в 1950 году Э. Л. Леманном.

Теория перспектив Дэниэла Канемана и Амоса Тверски помещает поведенческую экономику на более прочную опору свидетельств. Эта теория указала, что в фактическом человеческом принятии решений (в противоположность нормативному) «потери чувствительнее выигрышей». Кроме того, люди более сосредоточены на «изменениях» полезности своих состояний, чем на полезности самих состояний, а оценка соответствующих субъективных вероятностей заметно смещена относительно присущей каждому «точки отсчёта».