Шлем жандарма

В начале XVIII столетия Якоб Бернулли предложил точную формулировку и математическое доказательство закона больших чисел. Теперь этот закон стал уже не наблюдением, а теоремой.

И данная теорема говорит нам, что игру Большой и Малой команды нельзя считать справедливой. Закон больших чисел всегда будет подталкивать результаты игроков Большой команды к 50 %, тогда как у игроков Малой команды будет гораздо более широкий диапазон результатов. Однако было бы глупо приходить к заключению, что Малая команда «лучше» справляется с подбрасыванием монет лицевой стороной вверх, даже когда она побеждает в каждой игре. Если найти средний показатель доли аверсов, выпавших у всех игроков Малой команды, вместо того чтобы рассматривать относительную долю результативного игрока, этот показатель также окажется близким к 50 %, как и у Большой команды. А если определить игрока с минимальным, а не максимальным количеством выпавших аверсов, Малая команда начинает выглядеть далеко не лучшим образом в плане подбрасывания монет лицевой стороной вверх: есть заметная вероятность, что один из игроков этой команды выбьет всего 20 % аверсов, тогда как ни один член Большой команды никогда не получит столь плохого результата. Определение результатов по абсолютному количеству аверсов дает Большой команде неоспоримое преимущество; с другой стороны, использование относительных показателей так же сильно склоняет игру в пользу Малой команды. Чем меньше количество монет – в статистике это количество обозначается термином «размер выборки», – тем больше разброс значений относительной доли монет, выпавших лицевой стороной вверх.

Именно этот эффект делает результаты политических опросов менее надежными, когда в них принимает участие меньшее количество избирателей. То же самое касается и рака мозга. В небольших штатах выборки имеют малый размер – они напоминают тонкий тростник, сгибающийся под ветром перемен, тогда как большие штаты можно сравнить с величественными старыми дубами, которым любой ветер нипочем. Определение абсолютного количества случаев заболеваемости раком мозга характеризуется смещением в сторону больших штатов, тогда как измерение самой высокой (или самой низкой) относительной доли ставит малые штаты во главе списка. Именно поэтому в Южной Дакоте может быть самый высокий уровень смертности от рака мозга, тогда как Северная Дакота претендует на одно из последних мест по этому показателю. Причина состоит не в том, что гора Рашмор или торговый центр Wall Drug[65] каким-то образом оказывают пагубное воздействие на мозг. Все проще: населению штатов меньшего размера по существу свойственна более высокая вариабельность.

Таков математический факт, который вам уже известен, даже если вы сами не догадываетесь об этом. Кто самый меткий снайпер в НБА[66]? Через месяц после начала сезона 2011/2012 года пять игроков получили равное значение самого высокого процента попаданий в лиге: Армон Джонсон, ДеАндре Лиггинс, Райан Рейд, Хашим Табит и Ронни Тюриаф.

Кто-кто?

Дело в том, что эти пять игроков не были лучшими бомбардирами НБА. Они вообще почти не играли. Армон Джонсон, например, играл в одном матче за Portland Trail Blazers. Он сделал один бросок, оказавшийся точным. В целом пять игроков из этого списка сделали тринадцать бросков, каждый из которых попал в корзину. Маленькие выборки более вариабельны, поэтому ведущим игроком НБА неизменно становится тот, кто совершил небольшое количество бросков и кому каждый раз сопутствовала удача. Вы ни за что не стали бы утверждать, что Армон Джонсон был более метким снайпером, чем Тайсон Чендлер, самый результативный постоянный игрок Knicks[67], который попал в цель в случае 141 из 202 бросков за тот же период[68]{43}. (Любые сомнения по этому поводу можно отбросить, взглянув на данные о результативности Джонсона на протяжении сезона 2010/2011 года, когда в ходе игры он сделал 45,5 % попаданий – причем попаданий довольно заурядных.) Именно поэтому в стандартном списке лидеров не отображаются данные о результативности таких игроков, как Армон Джонсон. Вместо этого НБА включает в рейтинги только тех, кто превысил определенный порог игрового времени; в противном случае первые места в списке занимали бы никому не известные временные игроки с их выборками малого размера.

Однако не всякая рейтинговая система разработана настолько грамотно, чтобы принимать во внимание закон больших чисел. В штате Северная Каролина, как и во многих других штатах в эпоху образовательной отчетности, были введены программы мотивации, рассчитанные на школы, добивающиеся высоких результатов по стандартизованным тестам. Рейтинг каждой школы определяется по среднему увеличению количества баллов, полученных учениками по тестам за период с весны текущего до весны следующего года. Школы, занявшие в рейтинге по данному показателю первые 25 мест, вывешивают свой плакат в спортивном зале и получают право с гордостью говорить о своих достижениях в близлежащих городах.

Кто побеждает в таком соревновании? Например, в 1999 году первое место в рейтинге (с «суммарным показателем результативности», равным 91,5) заняла начальная школа C. C. Wright Elementary в Северном Уилксборо. Это небольшая школа (всего 418 учеников), расположенная в штате, в котором средняя численность учеников начальных школ составляет 500 детей. Второе место заняла школа Kingswood Elementary (90,9 балла), за ней следует школа Riverside Elementary (90,4 балла). В школе Kingswood насчитывалось лишь 315 учеников, а в начальной школе Riverside из аппалачского городка Ньюленд учился только 161 ребенок{44}.

Получается, что по данному показателю небольшие школы обошли все остальные школы штата Северная Каролина. Томас Кейн и Дуглас Стейджер провели исследование, в ходе которого было установлено, что в тот или иной момент семилетнего периода, охваченного исследованием, 28 % самых маленьких школ штата попадали в первые 25 мест рейтинга; при этом из всех школ только 7 % школ получали право вывесить плакат в спортзале{45}.

Создается впечатление, что в маленьких школах уделяется больше времени для индивидуального обучения, поскольку учителя хорошо знают своих учеников и их семьи, и поэтому они лучше справляются с повышением результатов тестов.

Может быть, мне следует упомянуть, что статья Кейна и Стейджера называется так: The Promise and Pitfalls of Using Imprecise School Accountability Measures («Перспективы и подводные камни использования неточных показателей школьной отчетности»). Кроме того, нелишне отметить, что небольшие школы в среднем не демонстрируют тенденции к получению существенно более высоких результатов по тестам. И еще не мешало бы добавить, что школы, куда были направлены «группы по оказанию поддержки» (речь идет о школах, получивших от властей штата взбучку за низкие результаты по тестам), в большинстве своем также относились к числу небольших школ.

Короче говоря, насколько нам известно, школа Riverside не может считаться одной из лучших начальных школ штата Северная Каролина, так же как и Армон Джонсон не может быть самым метким снайпером в лиге. Небольшие школы занимают большинство из первых 25 мест в рейтинге не потому, что они лучшие, а потому что в маленьких школах более высокий уровень вариабельности результатов тестов. С одной стороны, несколько одаренных детей и несколько двоечников из третьего класса в состоянии существенно изменить средний показатель школы. С другой стороны, в крупной школе воздействие нескольких очень высоких или очень низких результатов просто растворится в большом среднем значении, практически не изменив общего показателя.

Не совсем ясно, по каким критериям определять, почему одна школа самая лучшая и почему граждане одного штата больше всего подвержены онкологическим заболеваниям, когда вычисление простых средних показателей не позволяет сделать этого? Если вы руководите работой многих групп, как вычислить эффективность каждой из них, если более мелкие группы с большой вероятностью займут как верхние, так и нижние позиции вашего рейтинга?

К сожалению, легкого ответа на этот вопрос не существует. Если в таком крохотном штате, как Южная Дакота, имеет место резкое увеличение уровня заболеваемости раком мозга, вы можете предположить, будто этот всплеск в значительной мере произошел по воле случая, и сделать вывод, что в будущем уровень заболеваемости раком мозга приблизится к общему показателю по стране. Это можно сделать, вычислив взвешенное среднее от уровня заболеваемости в Южной Дакоте и в целом по стране. Но как взвесить два данных показателя? В какой-то мере это искусство, требующее больших затрат труда на выполнение формальных операций, от описания которых я вас здесь избавлю{46}.

Один важный факт впервые обнаружил Абрахам де Муавр, который внес большой вклад в теорию вероятностей. Его книга The Doctrine of Chances («Теория случайностей») стала одним из ключевых трудов по этому предмету.

(Даже в те времена популяризация математических достижений представляла собой активную область. Эдмонд Хойл, чтобы помочь любителям азартных игр освоить новую теорию, написал учебный трактат An Essay Towards Making the Doctrine of Chances Easy to those who Understand Vulgar Arithmetic only, to which is added some useful tables on annuities («Исследование, предназначенное, чтобы сделать “теорию случайностей” более понятной для людей, понимающих только простую арифметику, а также несколько полезных таблиц аннуитетов»). Авторитет Хойла в вопросах карточных игр был настолько велик, что многие до сих пор ссылаются на его мнение; в определенной среде нередко можно услышать расхожие фразы: «По утверждению Хойла», «По правилам Хойла».)

Де Муавра не удовлетворял закон больших чисел, гласивший, что в долгосрочной перспективе доля аверсов в последовательности подбрасываний монет все больше приближается к 50 %. Он хотел знать, насколько ближе. Чтобы понять сделанное Муавром открытие, предлагаю вернуться к подбрасыванию монет и еще раз проанализировать этот феномен. Но теперь вместо перечисления общего количества монет, выпавших лицевой стороной вверх, мы будем записывать разность между количеством фактически выпавших аверсов и количеством аверсов, выпадания которых можно ожидать в случае 50 % подбрасываний.

Если подбрасывать десяток монет, вы получите такую последовательность:

1, 1, 0, 1, 0, 1, 2, 2, 1, 0, 0, 4, 2, 0, 2, 1, 0, 2, 2, 4…

Если подбрасывать сотню монет, последовательность выглядит так:

4, 4, 2, 5, 2, 1, 3, 8, 10, 7, 4, 4, 1, 2, 1, 0, 10, 7, 5…

А в случае тысячи монет будет получена такая последовательность:

14, 1, 11, 28, 37, 26, 8, 10, 22, 8, 7, 11, 11, 10, 30, 10, 3, 38, 0, 6…

Как видите, отклонения от 50 на 50 в абсолютном выражении становятся больше по мере увеличения количества подбрасываний монет, хотя (как того требует закон больших чисел) эти отклонения становятся меньше в случае относительной доли монет, выпавших той или иной стороной. Де Муавр пришел к выводу, что типичное отклонение[69] зависит от квадратного корня из количества монет, которые вы подбрасываете. Подбросьте в сто раз больше монет, чем раньше, и типичное отклонение возрастет в 10 раз – во всяком случае, в абсолютном выражении. В случае доли от общего количества подбрасываний отклонение сокращается по мере увеличения количества монет, поскольку квадратный корень из количества монет увеличивается гораздо медленнее, чем само количество монет. Тот, кто подбрасывает тысячу монет, порой отклоняется от уровня равномерного распределения на целых 38 аверсов, однако – с точки зрения доли от общего количества бросков – это составляет всего 3,8 % от распределения 50 на 50.

Наблюдение де Муавра совпадает с концепцией, лежащей в основе расчетов стандартной погрешности в результатах политического опроса. Если вы хотите сократить уровень погрешности в два раза, вам необходимо опросить в четыре раза больше людей. Но если вы хотите знать, как правильно оценить довольно большое количество выпавших аверсов, можно определить, на сколько квадратных корней из числа попыток данное значение отклоняется от 50 %. Квадратный корень из 100 равен 10. Следовательно, если я получил 60 аверсов за 100 попыток, это и есть отклонение на один квадратный корень от распределения 50 на 50. Квадратный корень из 1000 равен почти 31; следовательно, если я получил 538 аверсов за 1000 попыток, значит, мне удалось совершить нечто еще более удивительное, хотя во втором случае я получил всего 53,8 % аверсов, тогда как в первом случае – 60 %.

Однако де Муавр еще не поставил точку в своих изысканиях. Он обнаружил, что в долгосрочной перспективе отклонения от 50 на 50 всегда стремятся сформировать идеальную колоколообразную кривую, которую мы называем нормальным распределением. Основоположник статистики Фрэнсис Исидор Эджуорт предложил называть эту кривую шлемом жандарма{47}. (Должен признаться, мне жаль, что этот термин не прижился.)

Колоколообразная кривая («шлем жандарма») высокая посередине и плоская по краям; другими словами, чем дальше отклонение от нуля, тем меньше вероятность такого отклонения. Это можно точно представить в количественной форме. Если вы подбрасываете N монет, вероятность того, что в итоге вы отклонитесь от 50 % не более чем на квадратный корень из N, составляет 95,45 %. Квадратный корень из 1000 равен 31; в действительности восемнадцать из представленных выше двадцати попыток в случае подбрасывания тысячи монет (или 90 %) были в пределах 31 аверсов больше или меньше 500. Если я продолжил бы игру, относительная доля количества раз, когда я попадал бы в диапазон от 469 до 531, все больше приближалась бы к показателю 95,45 %[70].

Возникает ощущение, будто нечто воздействует на то, как это происходит. Вполне допускаю, что подобное ощущение было и у самого де Муавра. Согласно многим свидетельствам, он рассматривал закономерности в поведении монет при многократном подбрасывании (или в любом другом эксперименте при наличии фактора случайности) как проявление воли Бога, превращавшего любые кратковременные особенности монет, игральных костей и человеческих жизней в предсказуемое долгосрочное поведение, которым управляют непреложные законы и поддающиеся расшифровке формулы{48}.

Однако такое ощущение опасно, поскольку как только вы примете за истину, будто чья-то трансцендентальная воля (Божья ли, Госпожи ли Удачи или Лакшми[71] – чья конкретно, не имеет значения) подталкивает монеты к тому, чтобы они выпадали лицевой стороной вверх в половине случаев, вы сразу начинаете верить в так называемый закон средних: если пять монет подряд выпадают аверсом, тогда следующая почти наверняка выпадет реверсом. Если у кого-то есть три сына, следующей наверняка будет дочь. В конце концов, разве де Муавр не говорил нам, что крайние результаты (такие как четыре сына подряд) в высшей степени маловероятны? Говорил, и так оно и есть на самом деле. Тем не менее, если у вас уже есть три сына, возможность того, что четвертым тоже будет сын, далеко не маловероятна. В действительности вероятность, что у вас снова будет сын, такая же, как если это был бы ваш первый ребенок[72].

На первый взгляд может показаться, что это противоречит закону больших чисел, который должен был бы разделить ваше потомство в равных частях на девочек и мальчиков[73]. Однако это только кажущееся противоречие. Легче понять, что происходит, на примере монет. Я мог бы начать подбрасывать монеты и получить 10 аверсов подряд. Что произойдет далее? Прежде всего вы заподозрите, будто что-то не так с вашей монетой. Во второй части книги мы вернемся к этому вопросу, но пока будем исходить из предположения, что монета у нас правильная. Итак, закон гласит: по мере того как я подбрасываю монету все больше и больше раз, относительная доля выпавших аверсов должна приближаться к 50 %.

Здравый смысл говорит, что теперь – дабы скорректировать существующий дисбаланс – вероятность выпадания реверсов должна быть немного выше.

Но тот же здравый смысл еще более настойчиво утверждает: монета никак не в состоянии помнить, что с ней происходило, когда я подбрасывал ее первые десять раз!

Не хочу держать вас в неведении. Здравый смысл прав во втором случае. Закон средних получил не очень подходящее название, поскольку законы должны быть истинными, а этот закон ложный. У монет нет памяти, а значит, у следующей монеты, которую вы подбросите, такой же шанс 50 на 50 выпасть лицевой стороной вверх, что и у любой другой. Общая относительная доля монет стремится к 50 % вовсе не по причине благоволения судьбы к реверсам – дабы компенсировать уже выпавшие аверсы. Причина в том, что чем больше вы подбрасываете монету, тем больше уменьшается влияние первых десяти подбрасываний. Если я подброшу монету еще тысячу раз и получу при этом примерно половину аверсов, то их доля в серии первых 1010 подбрасываний также приблизится к 50 %. Именно так работает закон больших чисел: не уравновешивая то, что уже произошло, а разбавляя произошедшее новыми данными до тех пор, пока прошлое станет настолько пропорционально незначительным, что его вполне можно будет забыть.