Структура оценочной системы

Оценочная система, используемая при многокритериальном экспертном оценивании, включает такие важные составляющие, как:

ѕ перечень критериев, характеризующих объект принятия управленческого решения;

ѕ оценка сравнительной важности критериев;

ѕ шкала для оценки проектов по критериям;

ѕ формирование принципа выбора. Литвак Б. Г. Разработка управленческого решения: Учебник. — 5-е изд. — М.: Дело, 2004. — 416 с.

Формирование составляющих оценочной системы в различной степени трудоемко. Однако отсутствие какой-либо из перечисленных выше составляющих либо недостаточное качество какой-либо из них делают невозможным получение адекватной оценки проекта и как следствие затрудняют процесс выработки и принятия эффективных решений.

Таким образом, оценочная система является фундаментом процедуры оценивания, включающим в себя такие базовые элементы как критерии оценки, сравнительная важность критериев, шкала оценивания и принцип выбора, при этом оценочная система должна формироваться для конкретного управленческого решения с учетом специфики сложившейся ситуации.

Формирование перечня критериев

Набор критериев, предназначенный для оценки объекта экспертизы, должен обладать рядом свойств, делающих его использование оправданным. Тронин Ю. Н. Управленческие решения: Учебное пособие. — М.: Эксмо, 2004 г. — 208 с.

1. Полнота. Критерии, входящие в набор, должны обеспечивать адекватную оценку объекта экспертизы либо оценку степени достижения цели, стоящей перед ЛПР, если набор критериев предназначен для этого. Получив значения оценок эксперта по каждому из критериев, входящих в состав набора, можно определить требуемую оценку объекта экспертизы.

Действенность (операционность). Поскольку критерии предназначены для оценок объектов при принятии решений, они должны быть однозначно понимаемы как экспертами, так и ЛПР и способствовать выработке и принятию эффективных решений, то есть характеризовать основные аспекты анализируемой ситуации и быть доступными для получения оценок по ним.

Разложимость. Принцип разложимости отражает тот факт, что эксперту либо ЛПР удобнее работать с небольшим числом критериев. Если анализируемая ситуация такова, что она должна оцениваться с помощью слишком большого числа критериев, то целесообразно разбить их (разложить) на более мелкие группы для удобства одновременной работы с ними.

Неизбыточность. Критерии должны быть неизбыточны, чтобы избежать дублирования при оценке анализируемой ситуации. Бывает, что избыточность возникает за счет одновременного рассмотрения как критериев, характеризующих получаемые результаты, так и средств их достижения либо одновременного рассмотрения как входных характеристик системы, так и выходных.

Минимальная размерность. Этот принцип также направлен на то, чтобы процедура многокритериального оценивания не была без необходимости слишком громоздкой. В набор критериев для оценки анализируемой ситуации целесообразно включать лишь те критерии, без которых такая оценка невозможна.

Понятие «критерий» тесно связано с таким понятием, как «цель». ЛПР привычно рассуждает в терминах стоящих перед ним целей.

Однако степень достижения цели может быть измерена лишь с помощью специальных критериев. В качестве таких критериев могут быть использованы экономические критерии: поток платежей, прибыль, срок окупаемости, внутренняя норма окупаемости и так далее. Тронин Ю. Н. Управленческие решения: Учебное пособие. — М.: Эксмо, 2004 г. — 208 с.

Нередко наряду с критериями чисто экономического характера приходится учитывать и критерии другой природы:

• 1) критерии, характеризующие технические возможности продукции, выпуск которой становится осуществимым благодаря реализации проекта;
• 2) критерии, характеризующие экологическую безопасность производства;
• 3) критерии, характеризующие степень риска при реализации проекта.

Как правило, цель, стоящая перед организацией, или то более общее понятие, которое используется для оценки объекта принятия решения, заменяется совокупностью критериев, удовлетворяющей необходимым требованиям.

Критерии, используемые при формировании оценочной системы, должны быть измеримыми, то есть должна иметься возможность оценки любого рассматриваемого объекта экспертизы по каждому из критериев.

Сформулированная ЛПР цель может оказаться неоцениваемой количественно.

В тех случаях, когда критерий, характеризующий объект, не может быть измерен объективно, применяются субъективные критерии, — для оценки объектов по таким критериям отсутствуют объективные критерии и необходима разработка специальных вербально-числовых шкал.

Естественно, что такие критерии, как «объем продукции», «себестоимость производства», «срок окупаемости», могут быть отнесены к объективным. В то же время такие критерии, как «гуд-вилл», связанный с оценкой интеллектуальной собственности, «имидж фирмы», «социальная значимость проекта» и другие, могут быть измерены лишь субъективно.

Многие из объективных критериев, относящихся к будущим периодам, нередко также могут быть оценены лишь субъективно. Так, например, ожидаемые объемы производства продукции, которые станут возможными после реализации проекта, ожидаемая цена единицы продукции во многом зависят от оценок экспертов, являющихся в строгом смысле слова субъективными.

Поэтому так необходим профессионализм при организации и проведении процесса экспертного оценивания, анализе и обработке результатов экспертных оценок, используемых при выработке и принятии управленческих решений.

Практическое формирование перечня критериев также представляет собой в значительной степени экспертную процедуру. Это могут быть 2—3-туровые экспертизы, когда предварительно сформулированный перечень критериев уточняется экспертами.

Существует также проблема формирования иерархически упорядоченной совокупности критериев. Иерархическая структура критериев отражает, как правило, иерархическую структуру целей, стоящих перед ЛПР. Структурирование целей и критериев можно продолжать, формируя все новые и новые более низкие иерархические уровни, соответствующие большей степени детализации целей и критериев. Чрезмерная детализация может привести к противоположному результату — усложнить процесс оценки.

Однако следует помнить, что, в конечном счете, формируемая оценочная система лишь удобный инструментарий, позволяющий осуществлять оценку полезности объектов по многим критериям.

Во многих случаях целесообразным при определении состава критериев является использование наряду с методами экспертного оценивания методов, соединяющих возможности экспертного оценивания и формализованные математико-статистические подходы.

К числу таких математико-статистических подходов могут быть отнесены факторный и корреляционный анализы.

Дополнительные возможности при определении состава критериев, предназначенных для оценки объектов, возникают при эффективном сочетании методов экспертного оценивания и многомерного неметрического либо метрического шкалирования.

Завершать процедуру формирования перечня критериев должен содержательный анализ полученной совокупности критериев, предназначенных для формирования оценочной системы объектов, представляемых на экспертизу.

Таким образом, формирование перечня критериев, характеризующих объект оценивания, представляет собой сложный процесс, состоящий из исследования набора критериев на предмет соответствия ряду свойств (полнота, действенность, разложимость, неизбыточность, минимальная размерность); рассмотрения необходимости включения специальных критериев и критериев неэкономической природы; уточнения предварительного перечня критериев экспертами; иерархического структурирования состава критериев и содержательного анализа полученной совокупности критериев. Для повышения эффективности определения состава критериев возможно сочетание экспертного оценивания и формализованных математико-статистических подходов, таких как факторный и корреляционный анализ.