Отрывок из книги «Полный бред! Скептицизм в мире больших данных»

N+1Наука

«Полный бред! Скептицизм в мире больших данных». Как относиться к получаемой информации критически

Манн, Иванов и Фербер, научно-популярные книгоиздатели

Если кто-то подкрепляет утверждения затейливыми терминами, цифрами и красивыми графиками, это еще не значит, что ему можно доверять. Статистика и язык точных наук могут быть всего лишь инструментами, призванными скрыть обман. Тот, кто умеет анализировать и перепроверять информацию, скорее всего, заметит подвох — остальные рискуют попасться в ловушку. В книге «Полный бред! Скептицизм в мире больших данных» (издательство «Манн, Иванов и Фербер»), переведенной на русский Елизаветой Пономаревой, ученые Карл Бергстром и Джевин Уэст рассказывают, как распознать чушь (в оригинале — bullshit) и почему для этого совсем не обязательно быть специалистом, а достаточно воспользоваться обыкновенной логикой. Предлагаем вам ознакомиться с фрагментом, посвященным «ошибке прокурора» и уровню значимости (p-value).

Ошибка прокурора

Как мы видели, в большинстве научных исследований ищут закономерности в данных, позволяющие делать выводы о мире. Но как отличить закономерность от случайного шума? И как определить, насколько она значима? Существует несколько способов это сделать, и самый распространенный — это использование р-значения. Грубо говоря, р-значение указывает, насколько вероятно, что наблюдаемая закономерность возникла по чистой случайности. Если это маловероятно, то мы можем сказать, что результат статистически значим. Но что это на самом деле означает и как нам трактовать р-значение? Мы ответим на эти вопросы с помощью короткой истории.

Представьте, что вы известный адвокат, который защищает скромного биолога, обвиняемого в самом поразительном похищении предмета искусства в современной истории.

Это сенсационное преступление. Богатая собирательница отправила частную коллекцию из тридцати шедевров европейского искусства на охраняемом поезде из своего особняка в Санта-Кларе в аукционный дом в Нью-Йорке. Когда поезд достиг пункта назначения, коробки отнесли в аукционный дом для распаковки. Путешествие прошло без происшествий, и к коробкам, на первый взгляд, никто не прикасался. Но, к всеобщему ужасу, четыре самые ценные картины были вырезаны из рам и исчезли! Ни полиция, ни страховая компания не нашли ни единой улики, не считая единственного отпечатка пальца на раме одной из пропавших работ. Украденные шедевры так никогда и не отыскали.

При отсутствии каких-либо иных наметок полиция прогнала от печаток пальца через огромную базу данных ФБР и нашла совпадение — отпечаток вашего клиента. (Он сдал свои отпечатки Администрации транспортной безопасности в обмен на возможность проходить досмотр в аэропорту, не снимая ботинок.) На допросе выяснилось, что у вашего клиента нет алиби. Он утверждает, что ни с кем не контактировал две недели, пока выслеживал окольцованную куропатку в горах Высокая Сьерра в рамках научного проекта.

Несмотря на отсутствие алиби, вы уверены, что ваш клиент не может быть виновен. Он всего лишь застенчивый ученый, а не хладнокровный похититель шедевров. У него уже есть два гранта NSF на исследование размножения куропаток, и, похоже, он не нуждается в дополнительных источниках дохода. К тому же, насколько вы заметили, он ни черта не понимает в искусстве; да что там, он считает, что Донателло — это черепашка-ниндзя.

Тем не менее начинается судебный процесс, и вы сталкиваетесь с блестящей молодой звездой прокуратуры. После описания всех остальных доказательств вины вашего клиента — слабых и косвенных — прокурор переходит к своему козырю, отпечатку пальца. Прокурор рассказывает присяжным, как именно компьютер сопоставляет отпечатки пальцев, и завершает свое выступление словами: «Нет абсолютно никаких шансов случайного совпадения настолько идентичных отпечатков».

Вы опровергаете его заявление: «По вашим словам, нет абсолютно никаких шансов настолько точного совпадения. Но так не бывает. В каждом тесте есть по крайней мере небольшой шанс ошибки». — «Конечно, — уступает он, — в принципе, тесты могут ошибаться. Но на практике шанс, что это случится, нулевой. Исследования ФБР показывают, что существует один шанс на десять миллионов, что два отпечатка совпадут настолько же точно. Один на десять миллионов — тут нет места сомнениям!»

Именно этого вы и ждали. Вы обращаетесь к присяжным и рисуете таблицу на три строки и два столбца на большом листе бумаги. Выглядит она примерно вот так.

«Я думаю, все мы согласны, что это преступление было кем-то совершено. И давайте также предположим, что отпечатки виновного есть в базе данных. Может быть, и нет, — обращаетесь вы к прокурору, — но это ослабит ваши доказательства. Так что давайте предположим, что они есть в базе». Прокурор кивает. «Тогда таблица должна выглядеть примерно вот так». Вы заполняете верхний ряд большим красным маркером.

Повернувшись к прокурору, вы интересуетесь: «Сколько человек включены в эту вашу базу ФБР?» Он перебивает вас: «Возражение, Ваша честь! Какое отношение это имеет к делу?» — «В этом и есть вся суть дела, — объясняете вы. — Я убежден, что объясню это все в течение следующих нескольких минут». — «Возражение отклонено». Сторона обвинения признается, что, если учесть все отпечатки пальцев преступников в США, все отпечатки гражданских лиц, полученные при проверке их биографий, и все отпечатки из базы Администрации транспортной безопасности, в базе представлено приблизительно пятьдесят миллионов американцев. И конечно, большинство отпечатков в базе не совпадают с тем, что найден на раме.

«Итак, теперь мы можем заполнять таблицу дальше», — говорите вы и вписываете число 50 000 000 в нижний правый угол.

Теперь вы указываете на нижний левый угол (это невиновные люди, чьи отпечатки тем не менее совпадут с найденным) и спрашиваете: «Как вы думаете, что нужно вписать сюда?»

Вы смотрите прямо на прокурора. «Вы сказали, что существует один шанс на десять миллионов, что алгоритм нашел неправильное совпадение. Это значит, что среди пятидесяти миллионов человек в этой базе должно быть примерно пять, чьи отпечатки совпадают с найденным и на месте преступления. Так что давайте заполним таблицу следующим образом»

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

«Россия: страна, которая хочет быть другой. Двадцать пять лет — взгляд изнутри» «Россия: страна, которая хочет быть другой. Двадцать пять лет — взгляд изнутри»

Приватизация и либерализация цен изменила жизнь россиян

N+1
Польза клубники: 5 главных фактов и советы врачей Польза клубники: 5 главных фактов и советы врачей

Клубника — вкусная и полезная ягода, из которой можно сделать домашнюю косметику

РБК
На Марсе будут расти дома: ученые придумали способ, который решит проблему колонизации На Марсе будут расти дома: ученые придумали способ, который решит проблему колонизации

Как строить из того, что предлагает сам Марс?

Inc.
Комары Комары

Лету радуются все. В том числе такие кусачие насекомые, как комары

Здоровье
Психология ожиданий: как наши прогнозы формируют реальность Психология ожиданий: как наши прогнозы формируют реальность

Что такое ожидания и почему они имеют над тобой такую власть

VOICE
Плати смартфоном легко! Плати смартфоном легко!

Как работает система быстрых платежей?

VOICE
Топ-15 инноваций, которые изменят мир микроэлектроники Топ-15 инноваций, которые изменят мир микроэлектроники

Топ-15 инноваций, которые изменят мир микроэлектроники

РБК
Танатофобия: что такое страх смерти и как с ним бороться Танатофобия: что такое страх смерти и как с ним бороться

Почему у некоторых людей любое упоминание смерти вызывает панику и тревожность?

РБК
У меня в глазу спектрометр: инструкция по разложению света невооруженным взглядом. У меня в глазу спектрометр: инструкция по разложению света невооруженным взглядом.

Мы все носим с собой спектрометры

N+1
Чтение выходного дня: фрагмент детской и крайне познавательной книги о мигрантах Чтение выходного дня: фрагмент детской и крайне познавательной книги о мигрантах

Книга для детей рассказывает истории мигрантов в художественной форме

Правила жизни
Дело не в еде: как я похудела на 47 кг Дело не в еде: как я похудела на 47 кг

Моя личная история – это не только история снижения веса

Новый очаг
Почему мы никогда не забываем тех, кто обижал нас в детстве: 10 причин Почему мы никогда не забываем тех, кто обижал нас в детстве: 10 причин

Почему мы вспоминаем наших обидчиков снова и снова?

Psychologies
Что в вашем моющем средстве? Что в вашем моющем средстве?

Как моющие средства влияют на здоровье и окружающую среду?

Новый очаг
Сыроедение Сыроедение

Насколько сыроедение полезно?

Здоровье
Управлять авто, ловить мошенников и писать сценарии: на что уже сегодня способны нейросети Управлять авто, ловить мошенников и писать сценарии: на что уже сегодня способны нейросети

Нейросеть — механизм, схожий по принципу работы с мозговой деятельностью

ТехИнсайдер
Предсказуемо яркая мегазвезда: Дженнифер Лопес в фильме «Половина» Предсказуемо яркая мегазвезда: Дженнифер Лопес в фильме «Половина»

Фильм о Дженнифер Лопес и пути, который она прошла за почти 30-летнюю карьеру

Forbes
Анализ редкого метеорита пролил неожиданный свет на происхождение Марса Анализ редкого метеорита пролил неожиданный свет на происхождение Марса

Кусок скалы с Марса может раскрыть нам подробности формирования красной планеты

ТехИнсайдер
Сухие губы: причины, последствия и способы лечения Сухие губы: причины, последствия и способы лечения

Отопление и холодный ветер не единственные причины сухости губ

РБК
Новая Москва Новая Москва

Мы давно хотели поговорить с главным архитектором столицы Сергеем Кузнецовым

ТехИнсайдер
Какой была бы современная Россия, если бы Петра I не существовало Какой была бы современная Россия, если бы Петра I не существовало

Чего мы бы лишились без пресловутого окна в Европу

Maxim
Колибри оказались самыми пестрыми птицами Колибри оказались самыми пестрыми птицами

Девять из десяти птиц с самой разнообразной окраской относятся к колибри

N+1
Мастер современной научной фантастики, которого рекомендовал сам Билл Гейтс: 5 лучших книг Кима Стэнли Робинсона Мастер современной научной фантастики, которого рекомендовал сам Билл Гейтс: 5 лучших книг Кима Стэнли Робинсона

Произведения фантаста Кима Стэнли Робинсона, на которые стоит обратить внимание

ТехИнсайдер
Автомобили ретро: 7 самых дорогих машин в истории, продававшихся на аукционе. Сложно представить, сколько они стоили! Автомобили ретро: 7 самых дорогих машин в истории, продававшихся на аукционе. Сложно представить, сколько они стоили!

Взгляните на самые дорогие автомобили, когда-либо продававшиеся на аукционе

ТехИнсайдер
Нырнуть в Баренцево море и поймать волну в Финском заливе: 5 направлений для экстремального водного туризма в России Нырнуть в Баренцево море и поймать волну в Финском заливе: 5 направлений для экстремального водного туризма в России

Экстремальный водный туризм России: рассказывают профессионалы

Вокруг света
Разгон процессора: насколько это  эффективно и безопасно Разгон процессора: насколько это  эффективно и безопасно

Что скрывается за таким таинственным словом разгон процессора?

CHIP
Что делать, если вы случайно прикоснулись к борщевику? 5 вопросов о токсичном растении Что делать, если вы случайно прикоснулись к борщевику? 5 вопросов о токсичном растении

Как бороться с борщевиком на даче и может ли растение быть полезным

ТехИнсайдер
Какие учреждения появились в России при Петре I. Отрывок из книги Какие учреждения появились в России при Петре I. Отрывок из книги

Отрывок из книги «Люди и учреждения петровской эпохи»

СНОБ
Почему отношения «как в кино» не работают? Почему отношения «как в кино» не работают?

Идеальные отношения «из кино» в реальной жизни нас разочаруют

Psychologies
Максим Петров, Юлдус Бахтиозина, Константин Бинкин Максим Петров, Юлдус Бахтиозина, Константин Бинкин

Как создавался первый мультимедийный спектакль Мариинского театра?

Собака.ru
Горцы — и как с ними быть в новой реальности Горцы — и как с ними быть в новой реальности

Горцы — не только люди, живущие в горах, но и название большого числа растений

Наука
Открыть в приложении