Доверие на автопилоте: почему человек верит машине больше, чем людям, — и не напрасно ли
Перевод издания «Идеономика».
Журналисты BBC рассказали, почему человек склонен доверять компьютеру и к чему это может привести. Материал перевело издание «Идеономика».
Многие люди заявляют, что скептически относятся к автономным технологиям, но кажется, мы, наоборот, слишком доверяем машинам.
Когда рейс 447 Air France полетел брюхом в Атлантический океан со скоростью почти 300 км в час, пилоту Пьеру-Седрику Бонену пришлось бороться со штурвалом. Он взял управление на себя, когда автопилот внезапно отключился, по-видимому, из-за оледенения на корпусе. Ситуация требовала ручного вмешательства.
Другие пилоты, не предполагавшие такого сценария, не могли стабилизировать самолёт. Их сбивали с толку сообщения и сигналы тревоги от бортового компьютера — всё выглядело так, будто двигатель не заглох, хотя на самом деле ситуация была критической.
Все 216 пассажиров и 12 членов экипажа погибли в тот день, 1 июня 2009 года. У таких несчастных случаев с участием людей и техники обычно существует несколько факторов или причин. Но аналитики частично обвиняют в трагедии рейса 447 чрезмерное доверие к технологиям.
Лётный экипаж надеялся на автопилот и на то, что информационные системы самолёта предоставляют точную информацию. И это далеко не единственный инцидент, в котором излишнее доверие к технологиям привело к гибели людей.
Это хорошо изученное явление, известное как предвзятость автоматизации, которая иногда также приводит к потере бдительности — то есть люди меньше способны замечать неисправности, когда всем управляет компьютер. Удивительно то, что на эту склонность «слишком доверять» машинам, возможно, напрямую повлияли миллионы лет эволюции.
«Излишнее доверие к технологиям — это ошибка ошеломляющего масштаба», — пишет Патрисия Хардре из Университета Оклахомы. Она утверждает, что людям обычно не хватает способности судить о том, насколько надежна конкретная технология. Мы иногда отказываемся от помощи компьютера в ситуациях, когда это принесёт нам пользу, или слепо доверяем ему тогда, когда он в конечном счёте вредит человеку и угрожает его существованию.
Поведение одного из наших ближайших родственников, шимпанзе, указывает на то, почему мы так плохо умеем оценивать надежность техники. Возможно, причина в том, что мы вместо этого оцениваем других представителей своего вида.
В недавнем эксперименте исследователи создали устройство, позволяющее шимпанзе в заповеднике в Кении получать еду, потянув за верёвку. Одна верёвка предлагала основную награду в виде кусочка банана. Но был второй вариант — более крупное вознаграждение в виде двух кусочков банана и ломтика яблока, которые можно было получить либо с помощью машины, либо от другого шимпанзе.
Однако иногда машина не выдавала угощение, а другой шимпанзе предпочитал не делиться. Таким образом, хотя этот способ потенциально обещал большую награду, его использование предполагало некую неопределённость. А участники-шимпанзе оказывались либо в социальных, либо в несоциальных условиях. Им нужно было довериться либо машине, либо другому шимпанзе, чтобы иметь шанс получить большее вознаграждение.
Исследование показало, что приматы реже выбирали способ, когда на другом конце верёвки оказывался другой шимпанзе, и отказывались участвовать в социальном эксперименте в 12% случаев. Но машину они отвергали только в 4% случаев. Другими словами, технике они доверяли больше.