Ошибки при проектировании исследования

Перейдем к ошибкам при проектировании исследования. Здесь все проще, потому что инициатором этих ошибок, в отличие от предыдущего блока, является чаще всего исполнитель. Здесь можно выделить следующие ошибки:

• · при выборе метода (подхода) решения задачи исследования;
• · при выборе метода сбора информации;
• · при построении выборки;
• · при подготовке инструментария.

Ошибки при выборе подхода к решению исследовательской задачи могут увести проект в сторону, противоположную информационным потребностям заказчика проекта. Именно эта часть работы требует от исполнителя наиболее полного проявления аналитических способностей, знания возможных аналитических методик, умения вникнуть в проблемы заказчика, задать правильные вопросы, получить правильную и адекватную обратную связь. Излишне говорить, что на этом этапе заказчику бывает сложнее всего оценить правильность подхода и скорректировать действия исполнителя. Это вполне понятно: заказчик имеет полное право не разбираться в тонкостях технологий и процессов. Количество возможных неправильных векторов столь велико, что классифицировать их каким-либо образом практически невозможно. Однако очень просто описать ключевые особенности правильного решения. Оно всегда укладывается в рамки здравого смысла и будет максимально полно отражать особенности бизнеса заказчика и той ситуации, в которой было принято решение о проведении исследования. Правильное решение также обязательно будет учитывать ограничения, которые неизбежны при любом варианте планирования проекта: вас заранее должны предупредить, что определенные данные получить будет невозможно, и что какая-то информация будет иметь некоторые ограничения в применении.

Ошибки при выборе метода могут радикально изменить результаты всего проекта, сделать его не только нецелесообразным, но и опасным и разрушительным для компании (особенно если за него заплатили достаточно существенную сумму, которая автоматически формирует высокий уровень внимания к результатам). К сожалению, такие ошибки встречаются очень часто, хотя, конечно, на них профессиональные исполнители права не имеют. Так, я лично видела коммерческое предложение, в котором исполнители обещали определить долю рынка, проведя «серию фокус-групп», а также отчет по проекту «Оценка уровня удовлетворенности клиентов», который гласил, что это уровень измеряли, проведя фокус-группу из восьми человек. При этом в отчете присутствовали графики и диаграммы, приводился сравнительный анализ средних баллов… Иногда становится страшно как от того, что есть такие исполнители, так и от того, что до сих пор находятся люди, готовые оплачивать их работу (потому что в противном случае такие исполнители уже бы вымерли). Есть и менее «кричащие» ошибки, которые в основном сказываются на величине бюджета исследований. Так, например, иногда холл-тест выбирается только лишь как метод, который «оправдывает» выборку в 100 человек. Однако на самом деле это оправдано только в тех случаях, когда с помощью этого метода действительно решаются количественно-качественные задачи. Если же холл-тест решает только количественную задачу, то замена им обычного опроса нецелесообразна: возникают дополнительные расходы (аренда помещения, оплата дополнительной супервизии, дополнительное вознаграждение респондентам), которые не решают проблемы малой выборки.

Чаще всего ошибки в выборе метода сбора информации происходят вследствие того, что исполнитель недостаточно хорошо понимает специфику тех или иных методов, их сильные стороны и ограничения, которые неизбежно возникают. Избежать таких случаев вопиющей безграмотности можно, только тщательно и основательно выбирая исполнителя. Важно понимать, что выбор метода сбора информации — это не ритуал, подобный танцу шамана у костра, от которого больше зависит впечатление окружающих, чем сам результат. Этот этап работы определяет, возможно или невозможно получить ту информацию, которая необходима в рамках проекта. От того, какой метод будет выбран исполнителем, зависит очень многое.

Процесс формирования выборки обычно волнует заказчика гораздо сильнее, чем процесс выбора подходящих методов сбора информации. Мало кто не станет обсуждать размер выборки и требовать объяснений относительно того, почему так мало (или так много) людей будет опрошено. Наиболее распространенное заблуждение: между величиной генеральной совокупности и размером выборки есть прямая связь. Например: сколько человек нужно опросить в городе — миллионнике? В любом учебнике статистики об этом написано, что размер выборки зависит от уровня дисперсии аудитории и от желаемой точности данных. Конечно, можно предположить, что в селе и в большом городе будет разная дисперсия, но данное предположение не будет иметь доказательств. Поэтому размер выборки часто бывает камнем преткновения при разработке исследования. Размер используемой выборки часто бывает больше, чем нужно, что немедленно отражается на бюджете исследования. Если же размер оказывается меньше, то страдает точность данных, а также значительно сокращается зона применения полученных сведений, т.к. зачастую проанализировать перекрестные данные, выделить дополнительные подгруппы в выборочной совокупности бывает невозможно из-за недостаточной статистической значимости результатов. К счастью, избежать этой ошибки очень просто, учебник статистики может оказать в том неоценимую помощь. Сложнее обстоит дело с другой характеристикой выборки — квотным заданием. Как известно, задача выборочной совокупности — репрезентовать генеральную, быть, так сказать, легитимным представителем большинства в представленных в отчете расчетах. Следовательно, важно понять, по каким признакам может быть достоверно описана генеральная совокупность? Что нужно сделать, чтобы выборочная совокупность соответствовала распределению по этим признакам? Очень часто выглядит логичным заложить квоту по уровню дохода. Но всегда ли оказываются под рукой достоверные данные о распределении по этому признаку генеральной совокупности? Например, те сведения, которыми располагает официальная статистика, мягко говоря, не очень подходят для этой цели.

При формулировке квотных условий часто случается подмена портрета реальной генеральной совокупности портретом смоделированной заказчиком группы. Компания-заказчик дает характеристики своей целевой аудитории, и эти данные закладываются в качестве квоты. Например, компания хочет оценить потенциальный рынок сбыта своего нового товара и дает такое задание: «Нам нужно опросить 40% мужчин, 60% женщин, 20% в возрасте до 25 лет, 40% — от 25 до 45лет и 40% — старше 45 лет, потому что это профиль нашей целевой аудитории». В результате опроса получена информация, что к первичной покупке данного продукта могут быть расположены 13%… Но кого именно? Вот тут и начинается самое интересное! Скорее всего, далее в отчете последуют слова «целевой аудитории». Однако при этом останется вопрос: как представить эту аудиторию в цифрах? Если, конечно, компания точно знает долю описанной ею аудитории в генеральной совокупности, тогда все нормально. Главное, чтобы за значком % скрывалась именно та часть генеральной совокупности, которую компании необходимо исследовать.

Один из вариантов ошибочного формирования квотного задания (или вовсе отсутствие такового) — это неправильный «профиль» респондента. Например, в квотном задании присутствует характеристика «распределение по полу», а задача исследования — оценить восприятие новой модели автомобиля. Откуда известно, сколько мужчин и женщин окажется среди покупателей этого автомобиля? Ведь мы хотим получить только лишь предварительную оценку покупательского интереса. Если предположить, что в качестве фильтра была бы заложена готовность к покупке авто, а также ценовой диапазон покупки, то распределение мужчин и женщин, заинтересовавшихся этим автомобилем, было бы стихийным, и результат тестирования мог бы очень существенно измениться…

Частный случай формирования квоты — региональная представленность. Например, если в качестве генеральной совокупности фигурирует «население Ростовской области», то в выборке жители Ростова-на-Дону должны составлять меньшую часть, потому что количество населения, проживающего в прочих населенных пунктах, гораздо больше. Если не соблюсти это требование, то генеральная совокупность может быть описана любым иным образом, только не словосочетанием «население Ростовской области».

Переходя к ошибкам при подготовке инструментария, стоит сказать, что эти ошибки большей частью возникают вследствие недостаточной проработанности технологии тестирования этого самого инструментария. Точнее, причины возникновения ошибок могут быть самыми разными, но именно процедура тестирования данного инструментария позволяет вовремя локализовать большую часть ошибок. Исключение составляют ошибки, возникшие вследствие неправильного подхода к построению самого исследования. В этом случае можно получить инструментарий, не позволяющий собрать ту информацию, которая понадобится для формирования отчета. И это невозможно будет выяснить ни на каком предварительном тестировании. Для того чтобы не допустить такой ситуации, необходимо начинать работу над проектом «с конца» — с формирования макета отчета. В этом макете должен быть представлен минимальный набор тех таблиц, которые будут составлять «скелет» отчета и в которых будут содержаться ответы на все вопросы, рассматриваемые в рамках исследования. Только после согласования такого макета отчета можно начинать работу над инструментарием. В этом случае можно гарантировать, что требования, которые будут предъявляться к этому инструментарию (с точки зрения полноты), основаны на чем-то конкретном, а именно на макете отчета.

Если рассматривать ошибки, выявляемые при тестировании, то можно выделить три основных «виновника»: незнание особенностей языка, на котором составляется опросник, незнание особенностей шкалирования, применяемого в маркетинговых исследованиях, и неправильное использование навигации по анкете. В первом случае в анкете появляется двусмысленность вопросов или ответов, возникает сложность декодирования (запутанные формулировки, сложное построение вопросов, использование непонятных слов), отсутствует эмпатическая лексика и фразеология (которая сможет повысить вероятность установления партнерских отношений с респондентами), используются перекрестные формулировки ответов (когда один из вариантов включает в себя несколько других). Все эти ошибки приводят к погрешностям кодирования / декодирования информации и, как следствие, к снижению адекватности ответов респондента. Ошибки же второй группы, связанные с незнанием технологий шкалирования, в существенной степени влияют на процесс обработки информации. Например, максимальную математическую свободу, т. е. максимальное количество возможных математических действий, предоставляют аналитику только интервальные шкалы. Все остальные имеют ограничения по количеству возможных математических действий с результатами. Следовательно, эти ограничения нужно понимать, чтобы выбрать шкалу сообразно с требуемыми результатами расчетов. Ошибки третьей группы приводят чаще всего к возникновению сложностей в процессе интервьюирования и последующей проверки анкет. Например, человек должен описать согласно анкете, все свои поездки, которые он совершал за день (вид транспорта, маршрут, время в пути). В блоке оценки каждой поездки есть вопрос: почему вы предпочитаете именно этот вид транспорта? Предположим, что за день я совершила восемь поездок, и все из них на автомобиле. Получается, что я восемь раз должна ответить на вопрос, почему мне нравится ездить на автомобиле. Разумнее будет задать этот вопрос в конце интервью относительно названных видов транспорта. Однако бывают ситуации, когда нарушение навигации угрожает не только неудобством, но и методической погрешностью. Например, если вы спросили у респондента, насколько его привлекает возможность купить тот или иной товар, а он ответил, что вообще не привлекает, ему ни в коем случае нельзя далее задавать вопросы, связанные с ценовыми ожиданиями от этого продукта. Если заинтересованность респондента в продукте нулевая, то его ответы по ценовым ожиданиям нельзя считать адекватными, и, будучи обработанными в общей массе, они могут значительно исказить картину.