Экспериментальный дизайн, плоты и аллигаторы.

Experimental Design, Rafts, Rulers, and Alligators

Из: Warren F. Kuhfeld. Experimental Design, Efficiency, Coding, and Choice Designs. SAS Technical Documents TS-694C. SAS Instituite Inc., Cary, NC

Хорошей метафорой для понимания экспериментального дизайна и эффективности дизайна является плот. Плот - это плоская лодка, очень часто поддерживающаяся плавучими устройствами, которые приделаны к краям этой лодки. У плота на рисунке 3 имеется 4 пенопластовых блока под каждым краем, что предоставляет ему достаточно хорошую стабильность и равную поддержку.


Рисунок 3. 16 измерений, дизайн ортогональный и сбалансированный


Этот плот соответствует дизайну с 16 измерениями и двумя факторами по два уровня (смотри таблицу 1).

Таблица 1. Двухуровневый фактор и 16 измерений

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

2

2

2

2

1

1

2

2

1

2

2

1

1

2

2

1

1

2

2

1

2

1

2

2

1

2

1

1

2

2

2

2

1

1

1

2

2

1

2

2

1

1

2

1

2

1

2

1

2

2

2

2

2

1

1

1

1

2

1

2

2

1

2

1

2

2

1

1

1

2

2

1

2

2

1

1

2

2

1

2

1

2

1

2

1

2

1

2

2

1

2

1

1

2

2

1

1

2

2

2

1

2

1

1

2

1

2

2

1

2

1

1

2

2

2

1

2

1

1

2

2

1

1

2

2

1

2

1

2

1

2

2

1

2

1

1

2

1

2

2

2

1

1

1

2

2

2

1

2

1

2

1

2

1

2

2

2

2

1

1

1

2

2

1

1

1

1

2

2

1

2

2

1

2

2

1

2

2

1

1

2

2

1

1

1

2

1

2

2

1

2

2

2

2

2

1

1

1

1

1

1

2

2

1

2

2

2

2

2

2

2

2

2

2

1

1

1

1

1

1

1

Четыре угла соответствуют каждой из четырех возможных комбинаций двухуровневого фактора и четыре блока под каждым плотиком формируют перевернутую вверх ногами столбиковую диаграмму, показывающую частоту каждой из этих четырех комбинаций. Глядя на этот плот, можно сказать, что первый фактор сбалансирован – имеется равная поддержка слева и справа, а также сбалансирован и второй фактор – имеется одинаковая поддержка спереди и сзади. Дизайн, кроме того, является ортогональным (имеется одинаковая поддержка во всех четырех углах). Используя дизайн, который поддерживает Ваше исследование (аналогично изготовлению плота, который Вы будете использовать для того, чтобы плавать в воде, полной пираний и аллигаторов), Вы будете хотеть иметь хорошую поддержку вне зависимости от того, на какой части этого плотика Вы находитесь. Аналогичным образом, Вы захотите иметь хорошую поддержку для своего исследования и полноценную информацию обо всех свойствах Вашего продукта и обо всех значениях этих свойств.

Теперь сравните плот на рисунке 3 с плотом, показанном на рисунке 4.


Рисунок 4. 18 измерений, ортогональный, но не сбалансированный дизайн.

Плот на рисунке 4 соответствует двухуровнему фактору, показанному в таблице 2.

Таблица 2. Несбалансированный дизайн для двух и трехуровневого факторов при 18 измерениях

1

1

1

1

1

1

1

2

3

3

1

1

1

3

2

1

1

3

2

3

1

2

2

2

1

1

2

3

1

2

1

1

1

2

3

1

1

3

3

2

1

1

2

2

2

1

1

3

1

1

1

2

1

3

1

1

2

2

1

3

2

1

2

1

2

2

1

3

2

1

2

1

1

1

3

2

1

2

3

1

2

2

1

2

2

2

2

3

3

3

В данном дизайне имеется 18 наблюдений и поскольку 18 невозможно разделить на два (2 х 2), соответственно невозможно построить дизайн, который был бы как сбалансированным, так и ортогональным. Ясно, что этот дизайн не будет сбалансирован по любому из факторов. Имеется 12 блоков слева и только 6 справа, 12 блоков сзади и только 6 спереди. Этот дизайн, однако, ортогонален, поскольку угловые частоты являются пропорциональными. Эти два фактора могут быть сделаны из двух - трехуровневых факторов при дизайне L18, который может иметь до 7 трехуровневых факторов (смотри таблицу 3).

Таблица 3. Превращение троек в двойки

1

 

1

1

 

1

1

 

1

1

 

1

1

 

1

2

 

2

1

 

1

2

 

2

1

 

1

3

 

1

1

 

1

3

 

1

2

 

2

1

 

1

2

 

2

1

 

1

2 2

2 2

2 2

2

2

2

 

2

3

 

1

2

 

2

3

 

1

3

 

1

1

 

1

3

 

1

1

 

1

3

 

1

2

 

2

3

 

1

2

 

2

3

 

1

3

 

1

3

 

1

3

 

1

Трехуровневые факторы все ортогональны, и если мы заместим 3 на 1, то это сохранит ортогональность за счет уменьшающейся эффективности и жуткого отсутствия баланса (смотри таблицу 3). Наконец давайте, сравним плот на рисунке 4 с плотом, показанном на рисунке 5.


 


Рисунок 5. 18 измерений, сбалансированный и почти ортогональный дизайн

Оба этих рисунка соответствуют дизайнам с факторами с двумя уровнями и 18 наблюдениями. Плот на рисунке 5 соответствует дизайну, который сбалансирован. Девять блоков находятся слева и девять справа, и имеется девять блоков сзади и девять спереди. Дизайн, однако, не ортогонален, поскольку угловые частоты составляют 4, 5, 4 и 5, которые не равны и даже не пропорциональны. В идеале Вы хотели бы иметь плот, подобный рисунку 1, который соответствует ортогональному и сбалансированному дизайну. Однако, для того чтобы иметь как 2 и более трехуровневых, так и 2 или более двухуровневых факторов, Вам необходимо 36 наблюдений. В 18 наблюдениях Вы можете выбрать оптимальный дизайн, аналогичный продемонстрированному на рисунке 5, который предоставляет хорошую поддержку во всех четырех углах, но не абсолютно одинаковую поддержку (смотри таблицы 3 и 4).

Таблица 4. Оптимальный дизайн для двух и трехуровневого факторов при 18 измерениях

1

1

1

2

2

1

1

2

3

2

1

1

3

1

2

1

1

3

2

3

1

2

1

1

3

1

2

1

3

1

1

2

2

1

3

1

2

2

2

1

1

2

3

3

1

2

1

1

2

1

2

1

1

3

3

2

1

2

1

1

2

1

2

3

3

2

1

3

1

1

2

2

1

1

2

2

2

2

2

2

2

2

3

2

3

2

2

3

3

2

На каком же плотике Вы бы хотели находиться? Плотики на рисунке 3 и рисунке 5 должны быть достаточно стабильными. Плот на рисунке 3 на самом деле оптимальный, если имеется точно 16 пенопластовых блоков, а плотик на рисунке 5 также оптимален, если есть точно 18 пенопластовых блоков. Плотик на рисунке 4 может быть неплох, если Вы постоянно находитесь в заднем левом углу, но сделайте всего лишь один шаг, и Вы превратитесь в наживку для аллигатора, аллигатор знает, где Вы находитесь, и он за Вами наблюдает! Если быть более серьезными и отбросить аллигатора, если Вы не обеспечиваете стабильное и хорошо обоснованное исследование, Ваши клиенты или Ваши руководители найдут кого-нибудь другого, кто сможет это сделать. В случае, как с плотами, так и с дизайнами, проблема заключается в стабильности и поддержке. По отношению к дизайну часть Ваших результатов не будет стабильной в результате отсутствия информации по поводу передней правой комбинации в Вашем факториальном дизайне. Насколько уверенными Вы можете быть в Ваших результатах, когда Вы имеете так мало информации по поводу какой-то части Вашего продукта.

Дизайн в таблице 4 (плот на рисунке 5) вызывает в памяти стакан, содержащий в себе ровно полстакана воды. Оптимист считает, что стакан наполовину полон, а пессимист считает, что он наполовину пуст. При использовании данного дизайна оптимист видит несколько больше поддержки сзади слева и спереди справа, а пессимист видит немножко меньше поддержки спереди слева и сзади справа. В любом случае все имеющиеся ресурсы расположены оптимально для того, чтобы максимизировать эффективность и стабильность. Мы на самом деле конечно бы хотели иметь как баланс, так и ортогональность, однако мы не можем добиться того и другого за 18 измерений, однако Вы можете справиться со своей задачей  достаточно хорошо. Mick Jagger и Keith Richards (1969) наилучшим образом суммировали это в виде следующего комментария по выбору плана исследования: «Ты не всегда можешь получить то, что ты хочешь, но если попытаешься, иногда ты можешь внезапно обнаружить, что получил то, что ты хочешь».

Дизайн, представленный в таблице 2 на рисунке 4, может рассматриваться просто как «пугало», которое мы построили для того, чтобы мы могли его просто сбить. Однако, этот дизайн раньше очень широко использовался, и на самом деле он даже использовался в некоторых учебниках по дизайну. Однако данный дизайн является примером того, как не надо делать планы исследования. Это пример того, что может случиться, когда Вы используете ортогональность как основной критерий для дизайна, игнорируя как критерии баланса, так и статистическую эффективность. Это также пример того, что может случиться, когда Вы конструируете дизайны от небольшого и неполного каталога, вместо того, чтобы использовать более полный подход. Даже среди ортогональных дизайнов он не является оптимальным. Если мы можем достичь полной ортогональности и баланса, наш дизайн будет оптимальным, и будет иметь максимальную эффективность. Ключевым фактором является максимализация статистической эффективности с минимизацией вариабельности оценок наших параметров. Вспомним, что для линейной модели матрица дисперсии и ковариансы пропорциональна Х (Х’X) –1. Максимизация эффективности минимизирует эту дисперсию ковариансы и таким образом минимизирует стандартные ошибки.

Как мы выбираем наш дизайн и наши значения Х, будет влиять на вариабельность наших оценок параметров. Ранее мы говорили по поводу собственных значений и матрицы дисперсии, которые представляют собой математическое представление идеи о том, что мы выбираем наше значение Х так, чтобы наши оценки параметров имели небольшую стандартную ошибку. Теперь мы обсудим менее строгий подход. Предположим, что мы хотим провести очень простой эксперимент. Мы заинтересованы в изучении того, насколько покупка некоего продукта является следствием его цены. Соответственно мы разрабатываем эксперимент с двумя ценами $1,49 и $1,50 и просим людей оценить, насколько они заинтересованы в покупке продуктов по этим двум ценам. Мы наносим результаты на график с ценой на горизонтальной оси, и интересу к покупке по вертикальной оси. Мы обнаруживаем, что эффект цены минимален (смотри рисунок 6).


 


Рисунок 6. Уровни цены выбраны достаточно близко друг к другу

Теперь предположите, что линия на самом деле является скользящей и две точки – это два Ваших пальца. Два Ваших пальца – это точки дизайна, которые дают поддержку для Вашего исследования. В данном случае Ваши пальцы близки друг к другу, поскольку в нашем дизайне мы выбрали две точки, которые близки друг к другу. Теперь вообразите, что в Ваших данных имеется небольшое число ошибок и что эта ошибка – интерес к покупке, которая откладывается по вертикальной оси. Теперь попытайтесь передвинуть Ваши пальцы немножко кверху или немножко книзу (чуть-чуть). Что происходит с наклоном кривой? (Я рекомендую Вам попробовать это сделать). Они очень сильно начинают варьировать. Это не следствие Ваших данных, это следствие Вашего дизайна, поскольку дизайн неэффективен, он не адекватно анализирует разумный диапазон цен.

Теперь давайте создадим аналогичный эксперимент, но в этот раз мы будем использовать цены $0,99 и $1,99 (смотри на рисунок 7).


 


Рисунок 7. Уровни цены отстоят друг от друга достаточно далеко

Теперь снова вообразите, что линия эта скользящая линейка и две точки – это Ваши пальцы, но на этот раз они расположены значительно дальше друг от друга. Теперь снова подвигайте Ваши пальцы вверх и вниз, но очень немножко. Что происходит с углом наклона Вашей кривой? Как она варьирует? Не очень много, она изменяется лишь ненамного, стандартные ошибки для рисунка 6 будут значительно больше, чем стандартные ошибки для рисунка 7. В зависимости от того, как Вы выбираете точки для Вашего дизайна, это влияет на стабильность оценок Ваших параметров. Такому же самому уроку нас учит и математика. Вы можете выбрать Х таким образом, что эффективность максимизирована, а вариабельность Ваших параметров минимизирована. Данный пример, однако не предполагает, что Вы должны выбрать цены $0,01 и $1000000. Уровни дизайна должны быть разумными для данного продукта.