Планирование исследований для выявления причинно-следственных связей.

Из: Malhotra N., Birks D. Marketing Research. Prentice Hall Harlow, 2003. Chapter 11. Casual Research Design: Experimentation

Задачи.

После прочтения данной главы Вы должны уметь следующее:

  1. Объяснить концепцию причинно-следственных связей в ее применении в маркетинговом исследовании. Понимать различия между обычным значением слова причинно-следственные связи и научным значением этого слова.
  2. Определить и дифференцировать два типа валидности – внутреннюю валидность и внешнюю валидность.
  3. Уметь обсудить различные внешние переменные, которые влияют на валидность результатов, полученных в ходе экспериментов и объяснить, как исследователь может контролировать внешние переменные.
  4. Описать и оценить экспериментальный дизайн и различия между пре - экспериментальным, истинно экспериментальным, квази-экспериментальным и статистическим дизайнами.
  5. Сравнить и объяснить использование лабораторных и прямых экспериментов, а также экспериментальных и не экспериментальных дизайнов маркетинговых исследований.
  6. Описать тесты, используемые в маркетинге, и их различные формы: стандартные маркетинговые тесты, контролируемые маркетинговые тесты и стимулированные тестовые рынки.
  7. Понимать проблемы, которые могут возникнуть с внешней и внутренней валидностью в полевых экспериментах, проводящихся на международных рынках.
  8. Описать этические вопросы, которые вовлечены в выполнение причинно-следственных связей, и объяснить, как можно справиться с некоторыми из этих проблем.
  9. Причинность никогда не может быть доказана; иными словами она никогда не может быть продемонстрирована абсолютно точно, предположение о причинно-следственных взаимосвязях – это наилучшее, чего мы можем добиться.

Обзор.

Дизайны исследований, которые занимаются причинностью, мы обсудили в третьей главе, где мы обсуждали их взаимоотношения с изучающими и описательными дизайнами и определяли эксперимент, как основной метод, используемый для определения причинности. Данная глава подробнее обсуждает концепцию причинности. Мы идентифицируем необходимые условия для причинно-следственных связей, исследуем роль валидности в проведенных экспериментах и рассматриваем различные внешние переменные и процедуры для их контроля. Мы представим классификацию экспериментальных дизайнов и рассмотрим специфические дизайны вместе с относительными преимуществами лабораторных и полевых экспериментов. Будет обсуждено применение этих методов в маркетинге. Мы также обсудим вопросы, которые возникают при проведении экспериментальных исследований на международных рынках. Будут также подвергнуты обсуждению и некоторые этические вопросы. Начинаем мы с примера, который демонстрирует то, как проводится экспериментальный процесс.

Пример.

Компания Eckerd по производству лекарственных средств проводит эксперимент с целью оценки эффективности радиорекламы для того, чтобы индуцировать покупки в магазинах. На основании размеров, географического расположения, транспортной нагрузки и времени существования отобраны двадцать статистически сравнимых магазинов. Половина из этих магазинов случайным образом отобраны как тестовые магазины, а другая попадает в группу контрольных магазинов. Тестовые магазины проводят радиорекламу, в то же время радиосистема в контрольных магазинах отключена. За следующие три периода получены данные в форме объемов продаж и оборудования: семь дней до эксперимента, во время четырехнедельного эксперимента и в течение семи дней после эксперимента. Мониторируются различные недорогие и умеренно дорогостоящие продукты. Результаты показывают, что продажи рекламируемых продуктов в тестовых магазинах удвоились. Базируясь на этих доказательствах, компания приходит к выводу о том, что реклама по радио в магазинах является крайне эффективной для индицирования покупок, и они принимают решение о том, что рекламу подобного типа следует развивать.

Концепция причинно-следственных связей.

Эксперименты довольно часто используются для того, чтобы придти к выводам о причинно-следственных взаимоотношениях. Концепция причинности требует некоторых объяснений. Научная концепция причинности довольно сложна. «Причинность» означает нечто различное для обычного человека, который ходит по улице, и ученого, который планирует эксперимент. Выражения, такие как: «Х вызывает Y» будут иметь следующие значения для обычного человека и для ученого:

Обычное значение

Научное значение 

Х является единственной причиной Y

Х является одной из большого количества возможных причин для Y

Х должно всегда приводить к  Y

Возникновение Х делает возникновение Y боле вероятным, (является вероятностной причиной для Y)

Возможно доказать, что Х всегда является причиной Y.

Мы никогда не можем доказать, что Х вызвало Y. В лучшем случае мы можем предположить, что Х является причиной для Y.

Научное понимание причинности является более важным для маркетинговых исследований, чем его повседневное значение. Маркетинговые эффекты, вызываемые множественными переменными и взаимоотношениями между причиной и следствием, обычно являются вероятностными. Более того, мы никогда не сможем доказать причинность, (т.е. продемонстрировать ее без каких бы то ни было исключений), мы можем только предположить о существовании причинно-следственных взаимоотношений. Иными словами, возможно, что истинные причинные связи, если они и существуют, не будут идентифицированы. Мы позднее проанализируем концепцию причинности, обсуждая условия причинности.

Условия причинности.

Прежде чем мы можем сделать некие предположения о причинности или допустить существование причинности, должны быть удовлетворены следующие требования: (1) однонаправленная вариабельность, (2) временная последовательность появления переменной и (3) исключение из действия других возможных факторов. Эти условия являются необходимыми, но не достаточными для того, чтобы продемонстрировать причинно-следственные связи. Ни одно из этих трех условий, ни все три вместе не могут продемонстрировать, что существуют причинно-следственные связи. Эти условия обсуждаются в следующих разделах более детально.

Однонаправленная вариабельность.

Однонаправленная вариабельность – это степень, с которой причина Х и эффект Y возникают и варьируют вместе, в соответствии с тем, как это предсказывается нашей гипотезой. Доказательства, указывающие на однонаправленную вариабельность, могут быть получены за счет количественных или качественных данных.

Например, в качественном случае, руководство банка может считать, что тот факт останется ли человек клиентом банка, во многом зависит от качества услуг, предоставляемых в различных отделениях банка. Эта гипотеза может быть оценена путем изучения однонаправленности вариации. Здесь причинным фактором Х является объем услуг, предоставляемых отделением банка, а фактором эффекта Y – количество человек, которые остались постоянными клиентами. Однонаправленная вариабельность будет поддерживать гипотезу и указывать, что банки с удовлетворительным уровнем обслуживания, будут также иметь удовлетворительный уровень удержания клиента. Аналогичным образом банки с неудовлетворительным уровнем обслуживания будут иметь неудовлетворительный уровень удержания клиентов. Если с другой стороны будет обнаружено противоположное, мы придем к выводу, что гипотеза вряд ли была адекватной. В качестве количественного примера рассмотрим случайный опрос 1000 человек, которым задавали вопросы о покупке акций в отделении банка.  Данный опрос приводит к появлению результатов, представленных в таблице 11.1.  Базируясь на медианном или равном разделении, респонденты были разбиты на группы в зависимости от высокого или низкого уровня образования Данная таблица предполагает, что покупка акций находится под воздействием уровня образования. Респонденты с высоким уровнем образования чаще покупают большее количество акций. 70% респондентов с высшим образованием имели высокий уровень покупок,  в то время как из тех, кто имел низкое образование, только 64% респондентов имели высокий уровень покупок, причем эти выводы базируются на относительно большой выборке в 1000 человек.

Таблица 11.1 Свидетельства однонаправленной вариации уровня образования и объема покупок акций

   

Объем покупок акций в банке

   

Высокий

Низкий

Всего

Образование

Высокое

363 (73%)

137 (27%)

500 (100%)

 

Низкое

322 (64%)

178 (36%)

500 (100%)

Базируясь на этих данных, можем ли мы придти к выводу, что хорошее образование приводит к высокому объему покупок акций? Естественно нет! Все что можно сказать на эту тему, это только то, что данная связь приводит к тому, что гипотеза становится более вероятной, но она ее не доказывает. Что мы может сказать по поводу эффекта других возможных причинных факторов, таких как доходы? Акции могут быть дорогими, поэтому люди с более высокими доходами могут покупать большее количество этих акций. Таблица 11.2 демонстрирует взаимоотношения между покупками акций и образованием в различных группах по доходам. Это эквивалентно тому, что мы убрали бы эффект доходов. Здесь мы снова разбили выборку по медиане для того, чтобы получить группу с высокими доходами и с низкими доходами, и при этом группы имели бы одинаковые размеры. Таблица 11.2 показывает, что различные объемы покупок акций между людьми с высоким и низким образованием во многом снизилось. Это предполагает, что взаимосвязи в таблице 11.1 могут являться следовыми.

Таблица 11.2 Покупки акций в зависимости от дохода и образования

   

Лица с низкими доходами

   

Объем покупок акций в банке

   

Высокий

Низкий

Всего

Образование

Высокое

122 (61%)

78 (39%)

200 (100%)

 

Низкое

171 (67%)

129 (43%)

300 (100%)

   

Лица с высокими доходами

   

Объем покупок акций в банке

   

Высокий

Низкий

Всего

Образование

Высокое

241 (80%)

59 (20%)

300 (100%)

 

Низкое

151 (76%)

49 (24%)

200 (100%)

Мы могли бы дать аналогичные примеры для того, чтобы продемонстрировать, почему отсутствие исходных доказательств одновременной вариабельности не приводит к выводу о том, что отсутствует причинно-следственная связь. Возможно, что рассмотрение третьей пирамиды приведет к появлению взаимосвязи, которая вначале была скрыта. Дополнительную информацию о причинно-следственных связях дает также временная последовательность событий.

Временная последовательность для возникновения переменных.

Условия о временной последовательности событий предполагают, что событие, которое вызывает нечто, должно возникать либо до, либо одновременно с эффектом, оно не может возникать после наступления эффекта. По определению, эффект не может возникать в результате события, которое произошло после того, как возник сам эффект. Однако возможно, что каждое событие в соотношении является, как причиной, так и следствием для другого события. Иными словами, переменная может быть как причиной, так и эффектом в одних и тех же причинно-следственных взаимоотношениях. В качестве примера можно указать на потребителей, которые часто совершает покупки в определенном супермаркете, понятно, что именно в этом супермаркете они с большей вероятностью будут иметь дисконтную карту со скидками. В дополнение к этому вряд ли можно возразить, что те покупатели, которые имеют дисконтную карту со скидками в данном супермаркете, с большей вероятностью чаще и покупают в этом супермаркете.

Теперь давайте рассмотрим банки и сохранение клиентов банка. Если услуги, оказываемые в банке, являются причиной для сохранения клиентов, тогда улучшение обслуживания должно происходить до (или, по крайней мере, вместе) с увеличением процента удержания клиентов. Эти улучшения могут состоять в обучении персонала, или в увеличении количества персонала. Благодаря этим улучшениям в последующие месяцы удержание клиентов в банке увеличивается. Альтернативным образом удержание может возникать вместе с обучением или наниманием на работу дополнительного персонала. Теперь с другой стороны предположим, что в банке происходит значительное увеличение количества постоянных клиентов и поэтому решается необходимость использования некоторого количества полученных денег на переобучение персонала, а это в свою очередь приводит к улучшению обслуживания. В данном случае услуги банка не могут быть причиной увеличения удержания клиентов. Напротив, скорее всего, действует прямо противоположная гипотеза.

Удаление других возможных причинных факторов.

Отсутствие других возможный причинных факторов означает, что фактор или переменная которые изучаются, должны быть единственно возможным объяснением возникновения данного эффекта. Услуги банка могут являться причиной удержания, если мы можем быть уверены в том, что все другие факторы, которые воздействуют на удержание клиентов, такие как цена, реклама, специальные предложения, характеристики продукта, конкуренция и т.д. являются постоянными и контролируются каким-либо другим способом.

В исследовании ситуации после факта, мы никогда не можем абсолютно точно исключить все другие причинные факторы. В противоположность этому при экспериментальных дизайнах появляется возможность контролировать некоторые из других причинных факторов. Кроме того, становится возможным сбалансировать эффекты некоторых неконтролируемых переменных так, что в измерениях остается только случайная вариация, которая появляется от этих неконтролируемых измерений. Эти аспекты будут позднее обсуждены в данной главе в деталях. Сложность установления причинно-следственных связей иллюстрируется следующим примером:

Пример. Что приходит первым?

Имеются исследования, которые указывают на то, что клиенты постоянно принимают решение о покупках в магазине, где они занимаются шопингом. Некоторые исследования показывают, что до 80% решений о покупках делаются в самом магазине. Решения о покупках в магазине увеличиваются по мере увеличения рекламной активности в самих магазинах. Они включают рекламу по радио, рекламные объявления на корзинах и сумках для покупок, рекламные указатели на дверях и полках. Из этих данных становится достаточно сложным оценить, насколько увеличенная частота принятия решения о покупках, связана с увеличением рекламных воздействий, и насколько увеличение рекламы в магазине, связано с попыткой повлиять на изменяющееся отношение клиентов к покупкам, и попытках повлиять на их решение о покупках в магазине. Кроме того, весьма вероятно, что обе переменные являются как причинной, так и следствием.

Если, как указывает данный пример, достаточно сложно установить взаимоотношение между причиной и следствием, тогда какова роль доказательств, полученных в эксперименте? Доказательства об однонаправленной вариабельности, временной последовательности возникновения переменных, удаление других возможных причинных факторов (даже если они скомбинированы), все еще демонстрируют, что существуют причинно-следственные связи и все доказательства являются достаточно четкими и совпадающими и мы можем придти к разумному заключению, что имеются причинно-следственные взаимосвязи. Накапливающиеся доказательства из нескольких исследований увеличивают нашу уверенность в том, что существуют причинно-следственные связи. Наша уверенность в дальнейшем усиливается, если данные доказательства интерпретируются вследствие концептуальных знаний данной проблемы. Контролируемые эксперименты могут предоставить четкие доказательства всех трех условий.

Определение и концепции.

В данном разделе мы определим некоторые базовые концепции и проиллюстрируем их с использованием примеров.

В качестве иллюстрации этих определений рассмотрим следующий пример: 

Был проведен эксперимент для того, чтобы протестировать эффект рекламной акции, состоящей в раздаче рекламных купонов (купоны, которые используются для того, чтобы сэкономить деньги при следующей покупке данного продукта). Изучалась вероятность того, что покупатели вернутся в магазин с этими купонами, при этом в качестве контроля принималась частота покупки товаров данной фирмы. Были проведены личные интервью у 280 покупателей, когда они заходили в супермаркет или покидали его. Испытуемые были случайным образом разбиты на две группы воздействия: одной группе были предложены купоны низкой ценности, а другой группе были предложены купоны высокой ценности для четырех продуктов (стирального порошка Tide, кукурузных хлопьев Kelloggs, зубной пасты Aim и жидкого моющего вещества Joy). Во время интервью респонденты отвечали на вопросы по поводу того, продукцию каких фирм они использовали, и какова вероятность того, что они вернутся за этими купонами для того, чтобы включить их в покупку в следующий раз, когда они пойдут в магазин. Интересным наблюдением явилось то, что купоны с более высокой ценой имели более высокую вероятность возврата среди покупателей,  редко приходящих в данный магазин, или среди тех людей, которые делают покупки рекламируемого товара, но они имели крайне низкий эффект у постоянных покупателей.

В присутствующем эксперименте независимой переменной, которой манипулировали, была цена купона. Зависимой переменной была вероятность обналичивания данного купона. Внешними переменными, которые необходимо было контролировать, явилось использование продуктов данной фирмы, Тестовыми единицами были индивидуальные покупатели. Экспериментальный дизайн требовал случайного разделения тестовых единиц (покупателей) на группы воздействия (купоны высокой или низкой ценности).

Определение символов.

Для того чтобы облегчить наше обсуждение внешних переменных и специфических экспериментальных дизайнов, Вы должны определить некий набор символов, который часто используется в маркетинговых исследованиях.

Х = воздействие независимой переменной или некоего события на группу, эффект которого мы хотим измерить;

О = процесс наблюдения или измерения зависимой переменной в тестовых единицах или в группе тестовых единиц;

R = случайное разделение тестовых единиц на группы с различным воздействием.

В дополнение к этим символам используются следующие правила:

·        По мере того, как мы двигаемся слева направо, предполагается, что мы двигаемся во времени.

·        Горизонтальное выравнивание символов предполагает, что все эти символы относятся к определенной группе воздействия.

·        Вертикальное выравнивание символов предполагает, что эти символы относятся к воздействиям или событиям, которые возникают в одно и то же время.

Например, символическое написание:

 Х О О2 

Означает, что данная группа тестовых единиц была подвергнута воздействию (Х) и затем измерялся отклик в две различные точки во времени О1  и О2 .

Аналогичным образом символическая запись:

 R Х1 О1

 R Х2 О2

Означает, что две группы тестовых единиц были разделены случайным образом для того, чтобы подвергаться двум воздействиям в одно и то же время и зависимая переменная измерялась в двух группах одновременно.

Достоверность в экспериментах.

Когда проводится эксперимент, у исследователя существуют две цели: (1) придти к достоверным выводам по поводу эффекта независимых переменных в данной группе воздействия, и (2) выполнить достоверную генерализацию на более широкую популяцию, которая представляет интерес для данного исследователя. Первая цель соответствует внутренней достоверности (внутренней валидности), вторая цель соответствует внешней достоверности (внешней валидности).

Внутренняя валидность.

Внутренняя валидность означает насколько манипуляция независимыми переменными, или воздействие ими, вызвало наблюдаемые эффекты у зависимых переменных. Иными словами внутренняя валидность обозначает насколько наблюдаемый эффект в тестовых единицах мог быть вызван другими переменными, кроме как воздействием. Если наблюдаемые эффекты находятся под воздействием внешних переменных, очень сложно придти к достоверным предположениям по поводу причины взаимоотношений между независимыми и зависимыми переменными. Внутренняя валидность - это основной минимум, который должен присутствовать в эксперименте до того, как можно будет придти к каким бы то ни было выводам относительно эффекта от воздействия. Без внутренней валидности экспериментальные результаты являются ошибочными. Контроль внешних переменных является необходимым условием для установления внутренней валидности.

Внешняя валидность.

Понятие о внешней валидности относится к тому, насколько можно обобщать, обнаруженные в эксперименте, причинно-следственные взаимоотношения. Иными словами, могут ли быть результаты распространены на что-то еще, кроме экспериментальной ситуации. Если да, то, на какие популяции, условия, временные рамки, независимые и зависимые переменные можно проектировать полученные результаты. Угрозы внешней валидности возникают от определенных экспериментальных условий, которые реалистично не принимают во внимание взаимодействие с другими переменными, существующих в реальном мире.

Желательно иметь экспериментальный дизайн, который имеет как внутреннюю, так и внешнюю валидность, но в прикладных маркетинговых исследованиях нам часто приходится жертвовать одним типом валидности для того, чтобы получить другой. Для того чтобы контролировать внешние переменные, исследователь может проводить эксперимент в искуственных условиях, это усиливает внутреннюю валидность, но может ограничивать генерализуемость результатов и поэтому уменьшать внешнюю валидность. Например, изучается предпочтение клиентов сети ресторанов быстрого питания по отношению к новым продуктам, которые появились в меню. Может ли эффект, который измерялся в тестовых учреждениях, быть распространен на рестораны быстрого питания, действующие в других условиях, где существуют другие рестораны? (Дальнейшее обсуждение искусственных условий на внешнюю валидность может быть обнаружено в разделе, посвященном лабораторным и полевым экспериментам в этой главе). Вне зависимости от угроз внешней валидности, если в эксперименте отсутствует внутренняя валидность, его результаты нельзя генерилизовать. Факторы, которые угрожают внутренней валидности, также угрожают и внешней валидности и наиболее серьезными из них являются внешние переменные. 

Внешние переменные.

Необходимость контроля внешних переменных для того, чтобы обеспечить внутреннюю и внешнюю валидность уже обсуждалась. В данном разделе мы отклассифицируем внешние переменные следующих категорий: история, созревание, эффекты тестирования, инструменты, статистическая регрессия, ошибки отбора и смертность.

История.

В противоположность тому, что предполагает имя, история (Н) не означает возникновения события перед экспериментом. В противоположность этому, история обозначает специфические события, которые происходят за пределами эксперимента, но возникают в то же самое время, когда проводится эксперимент. Эти события могут оказать воздействие на зависимую переменную. Рассмотрим следующие эксперименты:

 О1 Х1 О2

Где О1 и О- это заявки на выдачу кредита в определенном регионе и Х1 представляет новую рекламную кампанию. Различия (О- О1 ) – это эффект от воздействия. Предположим, что эксперимент обнаружил отсутствие различий между О2 и О1 . Отсюда сможем ли мы заключить, что рекламная кампания была не эффективна? Естественно нет! Рекламная кампания Х не единственно возможное объяснение различий между Ои О1. Кампания вполне может быть эффективной, если общая экономическая ситуация ухудшилась за время проведения эксперимента и данный район оказался под сильным воздействием эффектов от того, что несколько предприятий закрыли свои заводы (историческое событие)? Наоборот, даже если имеются некие различия между О2 и О1 , может быть неправильным заключить, что именно сама рекламная компания была эффективной (если история не контролировалась), поскольку экспериментальные эффекты могли быть затемнены историческими событиями, происходившими в данный момент. Чем длиннее временной интервал между двумя наблюдениями, тем больше вероятность того, что история окажет воздействие на эксперимент подобного типа.

Созревание.

Созревание (МА) аналогичны истории за исключением того, что она обозначает изменения в самих тестовых единицах. Эти изменения не вызваны воздействием независимых переменных, или интересующими нас воздействиями, но возникают просто за счет прохождения времени. В экспериментах, которые включают людей, созревание играет большую роль по мере того, как люди становятся старше, опытнее, уставшими, скучающими, или становятся не заинтересованными в эксперименте. Слежение и маркетинговые исследования, которые протекают на протяжении нескольких месяцев, особенно уязвимы для эффекта созревания, поскольку очень сложно проследить, как респонденты меняются на протяжении времени. Эффекты созревания также могут присутствовать у тестовых единиц, которые не являются людьми. Например, можно предположить, что тестовыми единицами являются банки. Банки меняются со временем, может меняться персонал, местоположение, и набор тех услуг, которые они предлагают.

Эффекты тестирования.

Эффекты тестирования вызываются процессом экспериментирования. Обычно это эффекты эксперимента по измерению зависимой переменной до - и - после  воздействия. Существуют два подтипа эффектов от тестирования: (1) основной эффект тестирования (MT) и (2) интерактивный эффект от тестирования (IT).

Основной эффект от тестирования (МТ) возникает тогда, когда наблюдения до начала воздействия оказывают влияние на более поздние наблюдения. Предположим, надо провести эксперимент, который измеряет эффект рекламы на отношение к некоему сорту пива. До начала воздействия респондентам раздается опросник, с помощью которого измеряется некая исходная информация, посвященная отношению к данному сорту пива. Затем они смотрят рекламу, которая присутствует в телевизионной программе. После просмотра рекламы, респонденты снова отвечают на опросники, которые среди многих других показателей измеряют и отношение к данному сорту пива.

Предположим, что нет различий между отношениями до- и после воздействия. Можем ли мы заключить, что рекламный ролик был неэффективным? Альтернативным объяснением является то, что респонденты пытались сохранить свою привычку между опросами до- и после. Результаты основного эффекта тестирования, посвященные отношению к изучаемому сорту пива, после воздействия больше находились под влиянием отношения до воздействия, чем под влиянием самого воздействия. Основной эффект тестирования может быть реактивным и приводить к тому, что респонденты меняют свое отношение просто потому, что эти отношения были измерены. Основной эффект от тестирования сильно воздействует на внутреннюю достоверность эксперимента.

В случае интерактивного эффекта от тестирования (IT) предварительные измерения воздействуют на ответ тестируемой единицы на независимую переменную. Продолжим наш эксперимент с рекламой пива, когда людей просят указать свое отношение к некому сору пива, испытуемые узнают про существование этого сорта, они начинают обращать внимание на этот сорт и с большим вниманием относятся к тестовой рекламе, чем те люди, которые не были включены в эксперимент. Измеряемый эффект не может быть распространен на популяцию, поэтому интерактивные эффекты от тестирования воздействуют на внешнюю валидность эксперимента.

Инструментарий.

Инструментарием (I) обозначаются изменения в измеряющем инструменте в наблюдателях, или в самих оценках. Иногда измерительные инструменты модифицируются по ходу эксперимента. В случае эксперимента с рекламой пива, использование вновь разработанного опросника для того, чтобы измерить отношения после воздействия, может привести к различиям в полученных ответах. Представьте себе эксперименты, в которых продажи в обувном магазине измеряются до - и - после рекламного предложения более дешевого билета на фестиваль (воздействие). Не экспериментальное изменение цены между О1 и Оприводит к изменению инструмента, поскольку продажи будут измеряться с использованием различных цен за единицу. В данном случае эффект от воздействия (О2 – О1) может быть связан с изменениями в инструменте.

Как показано выше, эффекты инструмента крайне высоко вероятны, когда интервьюеры проводят измерения до- и после воздействия. Эффективность интервьюеров может быть различной в разное время.

Статистическая регрессия.

Эффекты статистической регрессии (SR) возникают, когда тестовые единицы с крайними значениями приближаются к средним значениям за время эксперимента. В эксперименте с рекламой пива предположим, что при измерениях до теста некоторые респонденты были настроены либо крайне положительно, либо отрицательно к данному сорту пива. На измерениях после воздействия их отношение может сдвинуться к среднему. Отношение потребителя к товарам меняется постоянно по большому количеству причин, потребители с крайними значениями имеют большие возможности для изменения, поэтому их изменения значительно более вероятны.

Ошибки отбора

Под ошибками отбора (SB) понимают неадекватное отнесение тестовых единиц к различным группам воздействия или отклика. Этот вид ошибки возникает тогда, когда отбор тестовых единиц приводит к различию групп по зависимой переменной до того, как будет произведено воздействие. Если тестовые единицы сами отбирают группу, в которую они хотят попасть или они отбираются в эти группы на основании желания экспериментатора, возможно возникновение ошибки отбора. Представьте себе, например, эксперимент, в котором два рекламных стенда (старый статичный стенд и новый, аудиовизуальный стенд) помещаются в разных отделениях банка. Группы банков могут оказаться изначально несравнимыми. Они могут различаться по таким важным характеристикам, как размеры отделения, которые могут влиять на размеры выдаваемых кредитов вне зависимости от того, какой стенд установлен в банке.

Смертность

Под смертностью (МО) понимают потерю тестовых единиц в ходе эксперимента. Это может происходить по различным причинам, например по причине отказа тестовых единиц от продолжения участия в эксперименте. Смертность оказывает воздействие на результаты, поскольку трудно установить, был бы результат у тестовых единиц, которые покинули эксперимент, аналогичен тем, кто остался. Вернемся к примеру с рекламными стендами. Предположим, что в ходе эксперимента три отделения банка, в которых стояли новые аудиовизуальные стенды, прекратили участие в эксперименте, поскольку руководители отделений считали, что шум от стенда мешает работать с определенным типом клиентов. Исследователь не имеет никакой возможности установить, насколько выше или ниже были бы размеры выдаваемых кредитов, если бы эти три банка продолжили участие в эксперименте.

Различные категории внешних переменных не являются взаимоисключающими, они могут возникать вместе и также взаимодействовать друг с другом. Для того чтобы проиллюстрировать эту ситуацию тестирование - созревание - смертность обозначает ситуацию, в которой в результате воздействия инструментов, использующихся для измерения до воздействия, отношение и точка зрения респондентов меняются со временем, и также наблюдается дифференциальная потеря респондентов из различных групп воздействия.

Контроль внешних переменных.

Вмешивающиеся переменные - переменные, которые используются для того, чтобы проиллюстрировать тот факт, что внешние переменные могут оказываться под воздействием третьих переменных.

Внешние переменные представляют собой источник альтернативного объяснения экспериментальных результатов. Они представляют собой серьезную угрозу как внутренней, так и внешней достоверности эксперимента. В том случае, если не удается добиться их контроля, они воздействуют на зависимую переменную и таким образом изменяют результат, по этой причине их часто называют вмешивающимися (confounding) переменными. Имеется четыре способа контролировать внешние переменные: рандомизация, формирование пар, статистический контроль и контроль при помощи дизайна.

Рандомизация.

Рандомизация – метод контролирования внешних переменных, который включает случайное разделение тестовых единиц на экспериментальные группы, используя случайные числа. Затем методы воздействия случайным образом применяются к экспериментальной группе.

Рандомизация означает случайное разделение тестовых единиц на экспериментальные группы с использованием случайных чисел. Условия для воздействия затем случайным образом применяются к экспериментальным группам. Например, респонденты случайным образом помещаются в одну из трех экспериментальных групп. Для каждой из этих групп применяется одна из трех версий тестируемого рекламного ролика, выбранного случайным образом. В результате случайного разделения внешние факторы представлены одинаково в каждой группе. Рандомизация является предпочтительной процедурой для обеспечения равенства экспериментальных групп, но при небольших размерах выборки эта процедура может быть недостаточно эффективной, поскольку она в основном приводит к появлению групп, имеющих равные средние. Однако, имеется возможность проверить насколько эффективной была рандомизация с помощью измерения возможных внешних переменных и сравнения их в различных группах воздействия.

Формирование пар.

Формирование пар – это метод контролирования внешних переменных, который включает подбор пар для тестовых единиц на основании ключевых исходных переменных, прежде чем мы будем отправлять их в одну из групп воздействия.

Формирование групп включает сравнение тестовых единиц по набору ключевых переменных, прежде чем мы отправим их в одну из групп воздействия. В одном из экспериментов банки могут быть сравнены на основе своего оборота, размера, пропорции, частных или корпоративных клиентов или расположения. После этого один из банков из каждой пары будет подвергнут экспериментальному воздействию. У образования пар имеется два основных недостатка. Во-первых, тестовые единицы могут быть сравнены друг с другом только по небольшому количеству характеристик, поэтому тестовые единицы могут оказаться одинаковыми по отобранным переменным, но неравными по другим. Во-вторых, если сравниваемые характеристики не относятся к зависимой переменной, тогда весь подбор пар окажется бесполезным.

Статистический контроль.

Статистический контроль включает измерение внешних переменных и корректировку их воздействия при помощи статистического анализа. Этот подход был проиллюстрирован в таблице 11.2, которая изучает взаимоотношения между покупкой акций и образованием, при принятии во внимание эффекта дохода. Могут также использоваться и более серьезные статистические процедуры такие, как дисперсионный анализ, анализ ковариансы (ANCOVA). В ANCOVA эффект внешних переменных на зависимые переменные удаляется при помощи корректировки средних значений зависимой переменной, для каждого из изучаемых воздействий.

Контроль при помощи дизайна.

Контроль при помощи дизайна включает в себя использование экспериментальных дизайнов для того, чтобы контролировать определенные внешние переменные. Типы контроля, которые могу быть использованы при дизайне эксперимента, демонстрируются ниже:

Пример. Эксперимент с новым продуктом.

Рынки с контролируемым распределением электронных тестов все чаще используются для того, чтобы проводить экспериментальное исследование новых продуктов. Этот метод позволяет создать дизайн, который контролирует несколько внешних факторов. Данный контроль может позволить манипулировать переменными, которые воздействуют на успех новых продуктов. Манипулируя этими переменными, становиться возможным удостовериться в том, что новый продукт:

·        Получает адекватный уровень приемлемости на рынке супермаркетов.

·        Располагается в соответствующем месте в каждом супермаркете.

·        Получает адекватное количество мест на полке.

·        Имеет адекватную цену.

·        Никогда не встречается с проблемой нехватки продуктов.

·        Получает запланированный уровень рекламы и цены в зависимости от желаемых временных требований.

Контролируя эти переменные можно добиться высокого уровня внутренней валидности.

Классификация экспериментальных дизайнов.

Экспериментальные дизайны могут быть классифицированы как пре- экспериментальные, истинно экспериментальные квази-эксперментальные и статистические (см. рис. 11.1).

Экспериментальные дизайны

 

Пре-экспериментальный

 

Истинно экспериментальный

 

Квази экспериментальный

 

Статистический

 

Однократное исследование

 

Дизайн с контрольной группой и измерениями до- и - после

 

Временные серии

 

Рандомизированные блоки

Одно-групповое исследование с измерением до- и после

 

Дизайн с контрольной группой и измерениями только после

 

Множественные временные серии

 

Латинские квадраты

Дизайн со статичной группой

 

Соломонов дизайн с четырьмя группами

     

Факториальный дизайн

Рис. 11.1 Классификация экспериментальных дизайнов

Преэкспериментальные дизайны не включают рандомизационную процедуру для того, контролировать внешние факторы. Примеры этих дизайнов включают однократное исследование, одно-групповой дизайн с измерением пре тест, пост-тест и дизайн со статичной группой. В истинно экспериментальном дизайне исследователь может случайным образом разбить тестовые единицы на экспериментальную группу и случайным образом применить воздействие к экспериментальным группам. В эту категорию включаются дизайны с контрольной группой и измерением до- и после, дизайны с контрольной группой и измерением только после теста, и Соломоновы дизайны с четырьмя группами. Квази-экспериментальные дизайны появляются, когда исследователь не способен полностью манипулировать разделением, или применением методов воздействия на тестовые единицы, но может применить аппарат частичного дизайна. Два подобных дизайна – это временные серии и дизайны с множественными временными сериями. Статистический дизайн – это серия базовых экспериментов, которая позволяет применить статистический контроль и анализ внешних переменных. Статистические дизайны классифицируются на основе своих характеристик и использования. Наиболее важные статистические дизайны включают рандомизированный блочный дизайн, дизайн с Латинскими квадратами и факториальный дизайн. Мы начнем наше обсуждение с первого типа экспериментального дизайна  - пре экспериментального дизайна.

Преэкспериментальный дизайн.

Эти дизайны характеризуются отсутствием рандомизации. В этой группе описываются три основных дизайна: однократное исследование, одно-групповое исследование с измерением до- и после и дизайны со статичной группой. 

Одиночное исследование

Одиночное исследование также известное, как дизайн «только после» (дизайн с одиночным исследованием) может быть представлен следующим образом:

 Х О1

Одна группа тестовых единиц подвергается воздействию Х и затем делается одно единственное измерение зависимой переменной (О1). Нет случайного разделения тестовых единиц. Обратите внимание, что символ R не используется, поскольку тестовые единицы либо отбираются самостоятельно, либо отбираются самим исследователем.

На основании экспериментов этого типа может быть очень легко заметна опасность принятия, каких бы то ни было, заключений. Они не дают оснований для сравнения уровней О1 тому, что случилось бы, если бы Х отсутствовал. Кроме того уровень О1 может находиться под воздействием большого количества внешних переменных включая историю, созревание, отбор и смертность. Отсутствие контроля этих внешних переменных подвергает опасности внутреннюю достоверность данного исследования. По этой причине одиночные исследования являются наиболее подходящими для генерации гипотез, а не для их доказательства.

Дизайн с одной группой с измерениями до- и после. 

Дизайн с одной группой с измерениями до- и - после может быть охарактеризован символически таким образом:

 ОХ О2

В этом дизайне группа тестовых единиц измеряется два раза, и нет никакой контрольной группы. Вначале измеряется некий показатель до воздействия (О1 ), затем группа подвергается некоему воздействию Х и, наконец, измеряются значения после воздействия 2 ). Эффект от воздействия рассчитывается как разность (О- О1), но достоверность этого заключения весьма сомнительна, поскольку внешние переменные не находятся под контролем. История, созревание, тестирование как основные, так и эффекты от взаимодействия с тестированием: инструменты, отбор, смертность и регрессия могут присутствовать все, и оказывать воздействие на результат. Следующий пример показывает, как используется этот дизайн.

Пример. Возможно использование дизайна с одной группой и тестированием до - и -после для того, чтобы проверить эффективность рекламных роликов. Респонденты рекрутируются в центральных кинотеатрах в различных тестовых городах. В этом центральном месте респонденты вначале проходят интервью для того, чтобы измерить, среди многих других показателей, отношение к некоемому продукту, который затем демонстрируется в рекламном ролике (О1). Далее они просматривают телевизионную программу, содержащую изучаемый рекламный ролик (Х). После просмотра телевизионной программы, респонденты снова подвергаются интервью для того, чтобы измерить отношение к тому же самому продукту (О2). Эффективность рекламных роликов измеряется как разность (О- О1).

Дизайн со статичными группами.

Статичные группы – это дизайн с двумя группами: одна группа, которая называется экспериментальной группой, подвергается воздействию; а другая, называемая контрольной группой, не подвергается воздействию. Измерения в обеих группах делаются только после воздействия и тестовые единицы не разбиваются на группы случайным образом. Этот дизайн символично можно представить таким образом:

 Х  О

  О2

Эффект от воздействия измеряется как (О- О2). Обратите внимание на то, что данные различия могут быть связаны как минимум с двумя внешними переменными (отбор и смертность). Поскольку тестовые единицы не являются распределенными случайно, две группы (тестовая и контрольная) могут отличаться друг от друга еще до начала воздействия, и поэтому может присутствовать смещение от отбора. Кроме того, могут быть эффекты смертности, поскольку больше тестовых единиц могут уйти из экспериментальной группы, чем из контрольной группы. Это наиболее часто происходит в той ситуации, если само воздействие оказывается неприятным.

На практике контрольная группа часто определяется как группа, на которую оказывается стандартный уровень маркетингового воздействия, а не как группа, которая вообще не получает никакого воздействия. Определение контрольной группы таким образом, связано с тем, что достаточно сложно снизить до нуля уровень маркетингового воздействия, такие как реклама и личные контакты. Мы проиллюстрируем статичные группы в рамках следующего примера.

Пример. Статичные группы сравнивают эффективность продукта для данного банка, и они связаны с производством некоего рекламного фильма. Две группы респондентов рекрутируются, и рекрутируются они в соответствии с тем, кто хочет принять участие в этом исследовании. Только экспериментальная группа будет подвергаться воздействию данного фильма. Затем измеряется отношение к банку, как в экспериментальной, так и в контрольной группе. Эффективность воздействия затем измеряется как (О- О2).

Истинный экспериментальный дизайн.

Характерным свойством истинного экспериментального дизайна по сравнению с пре экспериментальным дизайном является рандомизация. В истинном экспериментальном дизайне исследователь случайным образом разбивает тестовые единицы на экспериментальную группу и затем, случайным образом, применяет воздействие к экспериментальным группам. Истинный экспериментальный дизайн включает в себя дизайны с контрольной группой и измерениями до- и - после, дизайны с контрольной группой и измерениями только после, и Соломонов дизайн с четырьмя группами.

Дизайны с контрольными группами и измерениями до- и - после.

В дизайнах с контрольной группой и измерением до- и - после, тестовые единицы случайным образом присоединяются либо к экспериментальной, либо к контрольной группе и затем проводится измерение до начала воздействия в каждой группе. Далее в экспериментальной группе проводится воздействие, и в обеих группах проводится повторное измерение, Данный дизайн можно обозначить таким образом:

 R ОХ О2

 R О   О4

Эффект от воздействия измеряется как (О- О1) – (О4 – О3)

Данный дизайн контролирует большую часть внешних переменных. Ошибка от смещения удаляется при помощи рандомизации. Другие внешние эффекты контролируются следующим образом:

 ОО1   = TE + H + MA + MT + IT + I + SR + MO

 О4  -  О3 = H + MA + MT + I + SR + MO,

Соответственно, = EV (внешняя переменная),

где символы внешних переменных были определены ранее. Экспериментальные результаты получаются при помощи (О- О1) – (О- О3) = TE + IT

Эффекты от взаимодействия не контролируются.

Пример. Исследования с контрольной группой измерения до- и - после.

В контексте измерения эффективности рекламного продукта в рекламном ролике для банка, дизайн с контрольной группой и измерениями до - и - после, мог бы использоваться таким образом: группа респондентов выбирается случайным образом, половина этих респондентов случайным образом относится к экспериментальной группе, а другая половина идет в контрольную группу. Респонденты в обеих группах получают опросник и заполняют его для того, чтобы измерить их отношения к банку до воздействия. Воздействию рекламного ролика, который содержит информацию о продукте в данном банке, подвергаются только респондены в экспериментальной группе. Затем опрос повторяется в обеих группах, и мы получаем пост тестовые показатели отношения к банку. Как показывает данный пример, дизайн с контрольной группой и измерениями до -и- после, включает две группы и два показателя в каждой группе. Более простой дизайн – это дизайн с измерениями только после воздействия.

Дизайн с контрольной группой и измерениями только после воздействия.

Дизайн с контрольной группой и измерениями только после воздействия не включает никаких измерений до начала воздействия. Он может быть символизирован следующим образом:

 R  Х О1

 R    О2

Тогда эффект от воздействия получается при помощи следующего уравнения:

 О- О= TE

Дизайн достаточно прост для использования, поскольку не имеется никаких предварительных измерений, эффект тестирования устраняется, но дизайн является чувствительным к ошибкам отбора и смертности. Кроме того, допускается, что две группы являются аналогичными по показателям до воздействия на зависимой переменной, вследствие случайного разделения тестовых единиц на группы.

Поскольку не имеется показателей до воздействия, это допущение не может быть проверено. Кроме того, дизайн чувствителен к смертности, крайне сложно определить насколько те, кто находится в экспериментальной группе и прекратили эксперимент, аналогичны тем, кто остался в контрольной группе. Еще одним ограничением этого дизайна является то, что он не позволяет исследовать изменения у каждой индивидуальной тестовой единицы.

Возможно контролировать ошибки отбора и смертность  при помощи адекватно разработанной экспериментальной процедуры. Исследования индивидуальных случаев часто не являются интересующей нас задачей. С другой стороны данный дизайн обладает значительными преимуществами с точки зрения времени, стоимости и требований к размерам выборки. Он вовлекает только две группы и только одно измерение на каждую группу. Ввиду своей простоты дизайн с контрольной группой и измерениями только после теста, по всей вероятности, наиболее популярный дизайн маркетинговых исследований. Обратите внимание, что за исключением измерений до воздействия, данный дизайн очень похож на тот, который мы имели, когда разбирали дизайн с контрольной группой измерений до - и - после. 

Соломонов дизайн с четырьмя группами. 

В данном случае исследователь не заботится об исследовании изменений в отношении индивидуальных респондентов. Когда необходима данная информация, тогда следует рассмотреть Соломонов дизайн с четырьмя группами. Соломонов дизайн с четырьмя группами преодолевает ограничения дизайнов с контрольными группами и измерениями до - и - после, и контрольной группой и измерениями только после, в том что он четко контролирует интерактивный эффект от тестирования в дополнение к контролированию всех внешних переменных.

Однако этот дизайн имеет практические ограничения – он крайне дорогостоящ и очень требователен ко времени, поэтому мы его дальше рассматривать не будем.

Во всех истинных экспериментальных дизайнах исследователь обладает значительно более высокой степенью контроля, в особенности исследователь может контролировать, когда производятся измерения, у кого делаются измерения, кроме того, он может руководить самими воздействиями. Более того, исследователь может случайным образом отбирать тестовые единицы и случайным образом подвергать тестовые единицы интересующим нас воздействиям. В некоторых случаях исследователь не располагает подобным контролем, тогда следует подумать о применении квази-эксперментальных дизайнов.

Квази-экспериментальный дизайн.

Квази-экспериментальный дизайн появляется в следующих условиях: во-первых, исследователь может контролировать, когда проводятся измерения и у кого они проводятся. Во вторых, исследователь не обладает контролем над тем, какое воздействие проводится и также не может случайным образом разбить тестовые единицы на группы воздействия. Квази-экспериментальные дизайны очень полезны, поскольку они быстрее и дешевле и могут быть использованы в случаях, когда истинные эксперименты применяться не могут. Поскольку полный экспериментальный контроль отсутствует, исследователь должен рассмотреть специфические переменные, которые не контролируются. Наиболее популярными формами квази-экспериментального дизайна являются временные серии и множественные временные серии.

Дизайн временных серий.

Дизайн временных серий включает в себя серию периодических измерений зависимой переменной для группы тестовых единиц. Воздействие применяется исследователем или возникает естественным образом. После воздействия периодические измерения также продолжают измеряться для того, чтобы определить эффект от воздействия. Эксперимент с временными сериями может быть описан следующим образом: 

 ООО3 О4  О5   О6 ОО8 О9 О10

Это квази-эксперимент, поскольку нет рандомизации тестовых единиц в группы воздействия и время, когда будет проводиться воздействие, так же как, какие тестовые единицы оказываются под воздействием, не находятся под контролем исследователя, поэтому и нет символа Х.

Применение серии измерений до - и - после воздействия предоставляет, по крайней мере, частичный, контроль для нескольких переменных. Созревание, по крайней мере, частично контролируется, поскольку оно не будет воздействовать на О5 и О6 по одиночке, но будет также воздействовать на другие наблюдения.  Аналогичным образом основной эффект от тестирования и статистическая регрессия также контролируется. Если тестовые единицы отобраны случайным образом, или при помощи парного подбора, то можно ограничить ошибки выборки. Смертность может представлять проблему, но она в основном контролируется за счет того, что мы каким то образом получаем наиболее полную информацию обо всех респондентах.

Основной слабостью дизайна временных серий является его неспособность контролировать исторические изменения. Другим ограничением является то, что эксперименты могут оказаться под воздействием интерактивного эффекта тестирования, поскольку для каждой из тестовых единиц делаются множественные измерения. Тем не менее, дизайны с временными сериями являются очень полезными, как это иллюстрируется ниже. Эффективность тестового рекламного ролика (Х) может быть изучена, например, с помощью передачи этой рекламы по TV с определенной частотой и последующим изучаем данных некого теста. Хотя специалист по маркетингу может контролировать время, когда реклама пойдет в эфир, он не может быть уверен в том, что все участники опроса ее посмотрели. Покупки, производимые участниками исследования (до, во время и после кампании), изучаются для того, чтобы определить каков эффект рекламной акции (краткосрочный эффект, долгосрочный эффект или отсутствие эффекта).

Дизайн множественных временных серий.

Дизайн с множественными временными сериями аналогичен дизайну временных серий за исключением того, что добавляется еще одна группа тестовых единиц, которая служит в качестве контроля. Символически этот дизайн может быть описан следующим образом:

  ООО3 О4  О5  Х О6 ОО8 О9 О10

 О11  О12  О13 О14 О15  О16 О17  О18 О1 9 О20 

Если контрольная группа отбирается достаточно аккуратно, этот дизайн может значительно улучшить результаты, по сравнению с обычным экспериментом с временными сериями. Это улучшение лежит в способности тестировать эффект от воздействия два раза, против измерений до начала воздействия в экспериментальной группе и против контрольной группы. Для того чтобы использовать дизайны множественных временных серий для оценки эффективности рекламы, тестовая выборка должна быть модифицирована следующим образом. Тестовая реклама будет показана только в нескольких из тестовых городов. Выборка лиц в этих городах будет представлять собой экспериментальную группу. Выборки лиц в городах, где данная реклама не показывалась, будет соответствовать контрольной группе.

Другое применение дизайна множественных временных серий иллюстрируется следующим примером:

Пример. Разделение реклам для того, чтобы продемонстрировать их силы.

Дизайн с множественными временными сериями используется для того, чтобы изучить эффект от увеличения объема рекламы. Данные были получены от службы маркетинга Бёрка, а те в свою очередь получили ее в результате рекламной кампании кабельного телевидения. В системе разделенных кабелей одна группа домохозяйств является экспериментальной группой, и эквивалентная группа становится контрольной. Две группы оказываются равными по демографическим переменным. Данные собираются на протяжении 76 недель. Обе группы по отношению к изучаемому продукту на протяжении первых 52 недель получают одинаковый уровень рекламного воздействия. На протяжении следующих 24 недель экспериментальная группа, по сравнению с контрольной группой, получает в два раза больше рекламы. Результаты указывают, что эффект рекламы был немедленным, проявившимся увеличением количества покупок. Информация такого типа может быть полезной для выбора рекламы.

Таблица 11.3 Потенциальные источники проблем при планировании экспериментальных исследований

Источник проблем

 

Внутренние переменные

Внешние переменные

Дизайн

История

Созрева-ние

Тести-рование

Инструменты

Регрессия

Отбор

Смертность

Взаимодействие

тестирования и Х

Пре-экспериментальный дизайн

однократное исследование

Х О

-

-

     

-

-

 

одногрупповое исследование с измерением до- и после

О Х О

-

-

-

-

?

   

-

дизайн со статичной группой

Х О

О

+

?

+

+

+

-

-

 

Истинно экспериментальный дизайн

дизайн с контрольной группой и измерениями до- и после

R O X O

R O O

+

+

+

+

+

+

+

-

дизайн с контрольной группой и измерениями только после

R X O

R O

+

+

+

+

+

+

+

+

Квази-экспериментальный дизайн

Временные серии

OOOXOO

-

+

+

?

+

+

+

-

множественные временные серии

OOOXOO

OOO OO

+

+

+

+

+

+

-

 

Примечание. Минус означает возможное неконтролируемое влияние данного фактора, плюс означает, что негативное влияние данного фактора можно устранить, вопросительный знак указывает на возможное возникновение проблем при планировании исследования, пустая ячейка – что фактор не имеет отношения к данному дизайну.

Заключая нашу дискуссию, посвященную пре экспериментальному, истинно экспериментальному и квази - экспериментальному дизайну,  мы суммируем в таблице 11.3 потенциальные источники недостоверности, которые могу воздействовать на каждые из этих дизайнов. В данной таблице знак минус (-) указывает на определенную слабость, плюс (+) указывает, что данный фактор находится под контролем и вопросительный знак (?) обозначает возможный источник угрозы, пробел обозначает, что фактор не является важным для данного дизайна. Необходимо помнить, что потенциальные источники недостоверности не равняются реальным ошибкам.

Статистические дизайны.

Статистические дизайны состоят из серии базовых экспериментов, которые позволяют осуществлять статистический контроль и анализ внешних переменных. Иными словами несколько основных экспериментов производится одновременно. Таким образом, статистические дизайны оказываются под влиянием тех же самых источников ошибок и смещений, которые воздействуют на используемые базовые дизайны. Статистические дизайны предлагают следующие преимущества:

  1. Можно измерить эффект более чем одной независимой переменной.
  2. Специфические внешние переменные могут находиться под статистическим контролем.
  3. Могут быть сформулированы достаточно экономичные дизайны, когда каждая тестовая единица измеряется более одного раза.

Наиболее часто встречающимися статистическими дизайнами являются рандомизированный блочный дизайн, дизайн с Латинскими квадратами, и факториальный дизайн.

Рандомизированный блочный дизайн.

Рандомизированный блочный дизайн – это статистический дизайн, в котором тестовые единицы разбиваются на блоки на основании значений внешней переменой для того, чтобы удостовериться в том, что различные экспериментальные и контрольные группы по этой переменной похожи друг на друга.

Рандомизированный блочный дизайн оказывается полезным тогда, когда имеется только одна основная внешняя переменная (такая, например, как продажи, размеры магазина или доходы человека, отвечающего на опрос), которая может оказать воздействие на зависимую переменную. Тестовые единицы объединяются в блоки или группируются на основании внешней переменной. Исследователь должен иметь возможность идентифицировать и измерить эту блокирующую переменную. При помощи блокировки исследователь удостоверяется в том, что различные экспериментальные и контрольные группы похожи друг на друга по отношению к этой внешней переменной.

Пример. Рандомизированный блочный дизайн.

Давайте рассмотрим пример, рассматривающий эффективность в рекламе продукта, которая делается по заказу банка. Целью данного эксперимента является измерение влияния забот, связанных с окружающей средой, на персонаже фильма, связанного с банком. Предположим, что все - европейский банк, похожий на ABN-AMRO, хочет спонсировать фильм, который будет включать съемки их зданий, логотипов и примеров того, как они проводят свой бизнес. Этот банк также будет заинтересован в том, что тот портрет, который будет нарисован этим фильмом, подчеркивал бы тот корпоративный облик, которой они хотели бы нарисовать.

Для того чтобы проверить эту идею, показывают три рекламных ролика, в которых персонажи фильма по разному относятся к окружающей среде (не высказывают озабоченности по поводу окружающей среды, показывает некоторую заботу об окружающей среде, и уделяют значительное внимание окружающей среде). Какой из этих фильмов будет наиболее эффективным? Руководство банка считает, что оценка зрителями данного фрагмента и их желание пользоваться услугами банка будет зависеть от того, насколько часто в настоящий момент они пользуются услугами настоящего банка. Поэтому использование банка в настоящий момент идентифицируется как блочная переменная, и случайным образом отобранные люди, классифицируются на четыре блока: значительное использование услуг банка, среднее использование услуг банка, небольшое использование услуг банка и услуги банка совсем не используются. Затем лица, попавшие в каждые из эти блоков, случайным образом просматривают тестовые ролики А, В и С. Результат демонстрирует, что реклама, показывающая некоторую заботу об окружающей среде, является наиболее эффективной (см. табл. 11.4).

Таблица 11.4. Пример рандомизированного блочного дизайна.

   

Группы воздействия

Номер блока

Частота использования банка

Ролик А

Ролик В

Ролик С

1

Высокая

     

2

Средняя

     

3

Невысокая

     

4

Низкая

     

Как иллюстрирует данный пример, в большинстве исследовательских ситуаций внешняя переменная такая, как продажи, размеры банка, расположение банка, тип банка и характеристики респондентов могут оказывать воздействие на зависимую переменную. Поэтому рандомизированный блочный дизайны обычно более полезны, чем полностью случайные дизайны. Их основным ограничением является то, что исследователь может контролировать только одну внешнюю переменную. Когда необходимо контролировать более одной переменной, исследователь должен использовать дизайны Латинских квадратов или факториальные дизайны.

Дизайн Латинских квадратов.

Дизайн Латинских квадратов – это статистический дизайн, который позволяет проводить статистический контроль двух невзаимодействующих внешних переменных в дополнению к манипуляциям с независимой переменной.

Дизайн Латинских квадратов позволяет исследователю статистически контролировать две невзаимодействующих внешних переменных, а также манипулировать независимыми переменными. Каждая внешняя или блокирующая переменная делится на равное количество блоков или уровней. Независимая переменная также делится на то же самое количество уровней. Латинский квадрат представляется в виде таблицы (см. табл. 11.5) со строками и столбцами, соответствующим блокам двух внешних переменных. Уровни независимых переменных затем прикладываются к ячейкам данной таблицы. Правило присвоения формируется таким образом, чтобы каждый уровень независимой переменной появлялся в каждой строке и каждом столбце только одни раз, как показано в таблице 11.5.

Таблица 11.5. Пример дизайна Латинских квадратов.

 

Интерес к электронной автоматизации операций с наличностью

Частота использования банка

Высокая

Средняя

Низкая

Высокая

В

А

С

Средняя

С

В

А

Невысокая или низкая

А

С

В

Примечание: А, В и С означают три рекламных ролика, которые, соответственно, показывают отсутствие заботы от окружающей среде, некоторую заботу об окружающей среде и значительную заботу об окружающей среде.

Пример. Дизайн Латинских квадратов.

Для того чтобы проиллюстрировать дизайн Латинских квадратов, предположим, что в предыдущем примере в дополнение к контролю по частоте использования банка, исследователи также хотели бы проконтролировать интерес вовлечения в электронную автоматизацию операций с наличностью (при этом он будет определяться, как высокий, средний или низкий интерес). Для того чтобы внедрить дизайн Латинских квадратов, использование банка должно быть заблокировано на трех, а не на четырех уровнях, например, комбинированием тех, кто мало использует банк и не использующих банк в один единый блок. Затем можно демонстрировать тестовые клипы, как показано в таблице 11.5. Обратите внимание что каждый клип А, В или С появляется только раз, и только один раз, в каждой строке и каждом столбце.

Хотя дизайн Латинских квадратов крайне популярен при проведении маркетинговых исследований, он не свободен от ограничений. Дизайн Латинских квадратов требует одинакового количества строк, столбцов и уровней воздействия, что довольно часто является проблематичным. Обратите также внимание, что в описанном выше примере, те, кто мало использует банк и те, кто вообще не обращается в банк, были объединены для того, чтобы удовлетворить описанным выше требованиям. В дополнение только две внешних переменных могут контролироваться одновременно. Дизайн Латинских квадратов не позволяет исследователю изучать взаимодействия внешних переменных друг с другом, или с независимыми переменными. Для того чтобы изучить взаимодействия, необходимо использовать факториальные дизайны. 

Факториальный дизайн.

Факториальный дизайн – это статистический и экспериментальный дизайн, который используется для того, чтобы измерить эффекты двух или более независимых переменных на различные уровни, и позволить взаимодействие между переменными.

Факториальный дизайн используется для измерения эффекта двух или более независимых переменных, имеющих разные уровни. В противоположность рандомизированному блочному дизайну и дизайну Латинских квадратов, факториальные дизайны позволяют изучать взаимодействия между переменными. Взаимодействие происходит, когда совместный эффект двух или более переменных отличаются от суммы их эффектов по отдельности. Например, любимым напитком некоего человека может быть кофе, а его любимый температурный уровень – это холодный кофе, но этот индивидуум может не предпочитать холодный кофе, что и является проявлением взаимодействия.

Факториальный дизайн может также быть представлен в виде таблицы. В двухфакторном дизайне каждый уровень одной переменной представляет собой строку, и каждый уровень другой переменной представляет столбец. Многомерные таблицы могут быть использованы для трех или более факторов. Факториальные дизайны имеют клетку для каждой возможной комбинации изучаемых переменных. Предположим, что в предыдущем примере в дополнение к изучению эффекта заботы о внешней среде, исследователь также заинтересован в одновременном изучении эффекта количества информации о банке, которая содержится в данном рекламном ролике. Более того, количество информации о банке может быть измерено, как переменная с тремя уровнями - высокий, средний и низкий. Как показано в таблице 11.6, это потребует 3 х 3 = 9 клеток. Респонденты в каждой клетке будут получать соответствующую комбинацию воздействий. Например, респонденты в левой верхней ячейке будут просматривать рекламный ролик, в котором нет никакой заботы об окружающей среде и небольшая информация, посвященная банку. Результаты демонстрируют значительное взаимодействие между двумя факторами или переменными. Респонденты, которые имеют малое количество информации о банке, предпочитают те клипы, в которых представлена большая забота об окружающей среде. Однако те респонденты, которые имеют значительную информацию, посвященную банку, предпочитают те клипы, где не представлена забота об окружающей среде. Обратите внимание, что хотя таблица 11.6 может показаться похожей на таблицу 11.4, случайное распределение респондентов и данные анализа в случае рандомизированного блочного дизайна и факториального дизайна весьма сильно различаются.

Таблица 11.6. Пример факториального дизайна.

 

Степень заботы об окружающей среде

Объем информации о банке

Забота не показана

Показана некоторая забота

Значительная забота

Низкое

     

Среднее

     

Высокое

     

Далее мы разберем еще один пример факториального дизайна.

Пример. Цена информации для собак.

Исследовательская компания Бёрка (Burke Marketing research) проводит эксперимент прежде, чем вывести на рынок новый корм для собак. Они хотели бы определить эффект цены и информации о конкурирующих продуктах, на желание купить новый корм. Используется двухфакторный дизайн. Цена устанавливается таким образом, чтобы иметь четыре уровня: один уровень со значительной скидкой, второй уровень равный средней цене и третий уровень с завышенной ценой. Информация о конкурирующих продуктах варьирует на двух уровнях. Дается (или не дается) информация о конкурирующих продуктах. Примерно 240 человек случайным образом разбиты на одно из восьми (4 х 2) воздействий. Респондентов просят указать, каковы их желания покупки нового продукта по пятибалльной шкале. Результаты указывают, что ни цена, ни информация о конкурирующих продуктах не оказывает значимого эффекта на желание купить желанный продукт.

Основным недостатком факториального дизайна является то, что с увеличением количества переменных (или уровней), количество комбинаций увеличивается с огромной скоростью. В примере с исследовательской маркетинговой компанией Бёрка можно заметить, что если бы цена была установлена так, что имелось бы шесть уровней, а информация о конкурирующих продуктах имела бы три уровня (отсутствие информации, частичная информация и полная информация), то количество ячеек подскочило бы от 8 до 18. Если необходимо измерять все основные эффекты и все взаимодействия, то потребуются все комбинации воздействия. Если исследователь заинтересован только в небольшом количестве взаимодействий или основных эффектов, в этом случае могут использоваться частичные факториальные дизайны. Как предполагает их название, эти дизайны состоят только из части или отдельных разделов, соответствующего полного факториального дизайна.

Лабораторные и полевые эксперименты.

Эксперименты могут проводиться в лабораториях или в полевых условиях. Лабораторное окружение является искусственным, созданным исследователем для того, чтобы определить условия эксперимента. Термин «полевые эксперименты» является синонимом понятия «реальная ситуация на рынке». Наши эксперименты для измерения эффективности рекламного ролика могут быть проведены в лабораторных условиях с помощью демонстрации фильма в тестовом кинотеатре. Тот же самый эксперимент может быть проведен в полевых условиях, с помощью демонстрации в обычном кинотеатре не просто рекламного ролика, а полного тестового фильма. Суммарно различия между этими двумя условиями представлены в таблице 11.7.

Таблица 11.7.

Фактор

Лабораторные эксперименты

Полевые эксперименты

Условия

Искусственные

Естественные

Контроль

Высокий

Низкий

Ошибки реагирования

Частые

Редкие

Артефакты требования

Частые

Редкие

Внутренняя валидность

Высокая

Низкая

Внешняя валидность

Низкая

Высокая

Время

Короткие

Длительное

Количество единиц

Небольшое

Большое

Легкость проведения

Легкие

Сложные

Затраты

Низкие

Высокие

Лабораторные эксперименты имеют следующие преимущества по сравнению с полевыми экспериментами;

·        Лабораторные эксперименты предоставляют высокую степень контроля, поскольку они изолируют эксперимент и проводят его в аккуратно мониторируемом окружении, поэтому эффекты истории могут быть минимизированы.

·        Лабораторный эксперимент имеет тенденцию к воспроизведению результатов повторением его с аналогичными субъектами, что приводит к высокой внутренней валидности.

·        Лабораторные эксперименты обычно позволяют использовать небольшое количество тестовых единиц, продолжаются более короткий период времени, являются более ограниченными географически и их легче проводить, чем полевые эксперименты. В связи с этим лабораторные эксперименты обычно более дешевые.

По сравнению с полевыми экспериментами лабораторные эксперименты также имеют следующие дефекты:

·        Искусственность окружения может приводить к реакционной ошибке у респондентов, которая реагирует непосредственно на ситуацию, а не на независимую переменную.

·        Окружение может приводить к артефактам спроса, феномен при котором респондент пытается угадать цель эксперимента, и действовать в соответствии с этой целью. Например, при просмотре тестового ролика респондены могут вспомнить те вопросы, которые им задавались по поводу фирмы и предположить, что рекламный ролик пытается изменить их отношение к данной фирме.

·        И, наконец, лабораторные эксперименты по сравнению с полевыми экспериментами, с высокой степенью вероятности будут иметь более низкую внешнюю валидность. В связи с тем, что лабораторные эксперименты проводятся в искуственных условиях, возможность распространения результатов в реальный мир, может быть ограничена.

Часто указывают на то, что искусственность или отсутствие реализма в лабораторных экспериментах не обязательно приводит к более низкой внешней валидности. Необходимо принимать во внимание различные аспекты лабораторного эксперимента, отличающиеся от ситуации, на которой мы обобщаем результаты этих экспериментов. Внешняя валидность будет уменьшена только в том случае, если эти аспекты взаимодействуют с независимыми переменными, которыми мы манипулировали при проведении эксперимента, как это часто бывает в случае прикладных маркетинговых исследований. Еще одним вопросом, про который необходимо помнить, является то, что лабораторные эксперименты позволяют создавать более сложные дизайны, нежели полевые эксперименты, поэтому в лабораторных условиях исследователь может контролировать значительно большее количество факторов или переменных, что увеличивает внешнюю валидность.

Исследователь должен продумать все эти факторы при принятии решения о том, какой тип эксперимента стоит проводить: лабораторный или полевой. Полевые эксперименты менее часто встречаются в маркетинговых исследованиях, чем лабораторные эксперименты, хотя лабораторные и полевые эксперименты играют взаимодополняющую роль.

Характеристики и ограничения экспериментальных дизайнов.

В третьей главе мы обсудили три типа исследовательский дизайнов: изучающий описательный и причинный. Из этих дизайнов можно предположить, что дизайны изучения причинно-следственных связей являются наиболее адекватными для выдвижения гипотезы, и измерения причинно-следственных взаимоотношений ( правда они и не являются единственным способом, как могут утверждать сторонники «заземленного подхода» к исследованиям, которые были представлены в шестой главе). Хотя описательные данные опроса часто используются для того, чтобы представить доказательство «причинных» взаимоотношений, эти исследования не соответствуют всем условиям причинности. Например, в описательных исследованиях очень трудно установить предшествующую эквивалентность в группе респондентов по отношению, как к независимым, так и зависимым переменным. С другой стороны, эксперимент может установить эту эквивалентность путем случайного распределения тестовых единиц на группы. В описательных исследованиях также довольно сложным вопросом является установка временной последовательности переменных. В эксперименте, с другой стороны, исследователь контролирует время проведения экспериментов и внесения новых воздействий. Ну и, наконец, описательные исследования предлагают очень маленький контроль других возможных причинных факторов.

Мы не хотим принизить значения описательных исследований в маркетинге. Как указывалось, две трети описательного исследования представляют собой наиболее популярный исследовательский дизайн в маркетинге, и мы не хотим, чтобы создалось впечатление, что мы никогда не должны использовать этот дизайн для того, чтобы исследовать причинно-следственные взаимоотношения. Действительно, некоторые авторы предложили процедуры для формулировки вывода о причинности на основании описательных (не экспериментальных) данных, однако нашей целью является указать читателю на ограничение описательных исследований при изучении причинно-следственных связей. Аналогичным образом мы также хотели бы, чтобы наш читатель понимал ограничения экспериментальных воздействий.

Эксперименты являются важным исследовательским дизайном, который дает нам возможность сделать предположение по поводу причинно-следственных связей. Однако у него есть ограничения, которые состоят в стоимости и длительности времени проведения эксперимента.

Время.

Эксперименты могут требовать большого количества времени, особенно если исследователь заинтересован в измерении долгосрочных эффектов воздействия, таких как эффективность рекламной компании. Эксперименты должны продолжаться достаточно долго так, чтобы эффекты после воздействия могли бы включить все, или большинство эффектов независимой переменной.

Стоимость.

Эксперименты часто дорогостоящи. Они требуют наличия не только экспериментальной, но и контрольной группы и множественных измерений, что значительно увеличивает стоимость исследования.

Администрирование.

Может оказаться, что эксперименты достаточно трудно проводить. Может быть, достаточно сложно или невозможно измерить человеческую активность, а также контролировать эффекты внешних переменных, особенно в полевых экспериментах.  Полевые эксперименты часто мешают операциям, проводящимся в компании, может оказаться достаточно сложным добиться сотрудничества со стороны продавцов, оптовиков и других индивидуумов, вовлеченных в процесс продаж. Кроме того, конкуренты могут сознательно стараться влиять на результаты полевых экспериментов. Эти ограничения могут привести к использованию подхода «заземленной» теории, особенно в разработке нашего понимания поведения потребителей, которое невозможно полностью описать при использовании экспериментов