Исследователи Марк Леппер и Шина Айенгар (pdf) на две субботы установили в одном из калифорнийских супермаркетов стенды с шестью или 24 банками джема. Покупателям предлагалось попробовать любое количество джемов, и если они подходили к дегустационному столу, им вручали скидочный купон в один доллар на покупку джема.
Большой стенд с 24 банками лучше справился с задачей начального привлечения интереса — рядом с ним остановилось 60% людей, и только 40% — рядом со стендом, на котором было шесть банок. Но только 3% из тех, кто остановился у большого стенда, в итоге купили какой-то из джемов, а среди остановившихся у малого стенда покупку совершили почти 30%.
Этот результат приводился в качестве одного из ключевых аргументов в пользу утверждения, что широкий выбор не всегда хорош. Казалось, что больший стенд уменьшает готовность потребителя купить товар. Для описания теорий, построенных вокруг этой концепции и связанной с ней идеи, что широкий выбор не делает нас счастливее, часто используют термин «гипотеза перегрузки выбором», или «парадокс выбора». У Барри Шварца есть целая книга на эту тему.
Перескочим через 10 лет к другой работе, написанной Беньямином Шайбехенне и его коллегами (pdf). Они изучали посвящённую гипотезе перегрузки выбором литературу, каковой существует немало. И свидетельства в пользу существования эффекта, взятые из разных работ, не складывались в единую картину, что можно увидеть на графике. В одних случаях наличие широкого ассортимента увеличивало продажи. В других — уменьшало. Шайбехенне и его коллеги подсчитали, что средняя величина эффекта от изменения ширины ассортимента, взятая по всем исследованиям, стремилась к нулю.
В число рассмотренных работ попали и несколько попыток повторить исследование с джемами. Эксперимент с джемом, проведённый в престижном немецком супермаркете, эффекта не обнаружил. В других экспериментах джем заменяли шоколадками или драже — с тем же результатом. Эти исследования проводились по несколько иной схеме, чем изначальное (на что часто тут же указывают авторы последнего, когда повторные эксперименты проваливаются), но если исследование столь чувствительно к изменению его плана и сложно для воспроизведения, то слишком смелая экстраполяция его результатов — шаг, вероятно, не самый разумный.
В одной из моих любимых книг, Uncontrolled Джима Мэнзи, автор подмечает эту опасность и пишет:
Популяризаторы пошагово увеличивают масштаб выводов, сделанных на основании одной акции с купонами и стендом, проведённой в одном магазине и длившейся две субботы: они сперва говорят о последствиях изменения ассортимента джемов в этом магазине, потом — ассортимента джемов во всех продуктовых магазинах Америки, потом — ассортимента всех товаров любого вида в любом магазине, а под конец уверенно переходят к серьёзным заявлениям о влиянии ассортимента товаров на целое общество.
Хотя результаты этих исследований часто экстраполируют до невероятных масштабов, та аргументация, к которой прибегают их защитники при обсуждении неудавшихся повторных экспериментов или неоднозначных данных, зачастую сама ставит под сомнение возможность такой экстраполяции. Утверждение, что повторный эксперимент неточно воспроизвёл оригинальный, предполагает, что изначально обнаруженный эффект наблюдается только в узком спектре случаев. И это уже не тянет на материал для доклада на TED о явлении мирового масштаба.
Нельзя сказать, что посвящённые выбору исследования не обнаруживают ничего интересного. Шайбехенне и его коллеги предполагают, что может существовать такой набор ограничений, при котором проявляется эффект перегрузки выбором. Эти условия могут включать в себя сложность выбора (но не за счёт большого числа вариантов), отсутствие явно выигрышных вариантов, разнообразие ассортимента, ограничение по времени или разброс в области качества товаров (как предполагает другой метаанализ). И так как воспроизвести эксперимент с джемом непросто, эти ограничения могут быть довольно жёсткими. Они предполагают, что решать проблему перегрузки выбором нужно более деликатным способом, чем простое сокращение ассортимента. Не стоит рекомендовать супермаркетам избавиться от 75% продуктовых линий, чтобы повысить продажи на 900%.
Итак, даже если исследование предполагает, что происходит нечто интересное, не стоит безоглядно верить всем докладам на TED и делать ставки на то, как это нечто кардинально изменит наше понимание мира. Даже если результаты представляют интерес, за кадром наверняка осталось множество нюансов.
Не хочу придираться к этому конкретному исследованию (хотя к подобной реакции — хочу). В конце концов, когда повторный эксперимент проваливается, это не доказывает, что эффекта не существует. Но невоспроизводимость результатов — это систематическая проблема в науке о поведении (да и во многих других). Брайан Носек (Brian Nosek) и его коллеги в своём исследовании изучили 100 работ по когнитивной и социальной психологии, опубликованных в ведущих профильных журналах. Субъективно они оценили количество воспроизводимых экспериментов в 39% от числа всех тех, что они пытались повторить. Только 25% работ в области социальной психологии из тех, что рассматривались в рамках данного исследования, прошли это испытание. А величина наблюдаемого в них эффекта составила около половины от заявленного изначально/
Так что вообще происходит? Откуда все эти ошибки? Во-первых, свою роль явно отыгрывает выборочная публикация. Только исследования с положительными результатами попадают в печать. Малые размеры выборки во многих исследованиях увеличивают вероятность того, что любые полученные положительные результаты — на самом деле ложноположительные.
А ещё есть апостериорный анализ. Люди играются с данными и гипотезами, подгоняя их друг под друга, пока не получат желаемый результат.
У оригинальных исследований есть свои сторонники, которые активно защищают их и говорят о техническом несовершенстве повторных экспериментов или о том, что в последних не учтены какие-либо тонкие нюансы. Лично я был бы рад чаще видеть признания в духе «эх, ну ладно, не получилось».
Но вот что удивляет, так это степень уверенности некоторых людей в достоверности результатов.
Так что не доверяйте безоглядно каждому исследованию, о котором читаете. Сохраняйте определённый уровень скептицизма по отношению даже к многочисленным опубликованным работам. Ищите исследования, авторы которых заранее объявляли, какие цели преследуют, ещё до получения результатов.
И нужно сказать, что эта рекомендация относится не только к академической работе. Сейчас существует куча правительственных учреждений и частных консультантов, направо и налево рекламирующих результаты своих исследований в области поведенческой науки, которые, весьма вероятно, страдают от тех же проблем
http://brights-russia.org/article/bad-behavioural-science.html
Journal information