Технологические аварии давно не редкость, но кто в них виноват?

Популярная механикаHi-Tech

Uber-сюрприз: “человеческий фактор” и аварии беспилотных автомобилей

Автор текста: Андрей Кузнецов

36493706b1df01a77abdcc042e919f2d.jpg
Waymo

Наша жизнь все больше насыщается технологиями. Технологические аварии давно не редкость. Как понимать эти события? Кто виноват? И что делать? Есть популярное объяснение аварий через отсылку к “человеческому фактору”. В этом материале мы покажем, что это объяснение не только ошибочное, но и вредное. Часто такие объяснения дают, чтобы ничего не делать, ничего не менять в политике технологий.

В противовес этому мы на примере беспилотных автомобилей предложим другой способ понимания технологических аварий.

Центр исследований науки и технологий Европейского университета в Санкт-Петербурге совместно с Факультетом технологического менеджмента и инноваций Университета ИТМО делает уникальную для России магистратуру “Технонаука и инновации”. В рамках этой образовательной программы мы готовим исследователей наук, технологий и инноваций, спрос на которых растет по мере технологизации нашей жизни. Мы учим думать о технологиях по-новому, по-современному, чтобы помочь сделать их не только чуть более надежными и эффективными, но и более справедливыми, устойчивыми и социально ориентированными.

Один из стандартных способов думать о технологиях – объяснять технологические аварии или поломки через отсылку к “человеческому фактору”. Ниже мы покажем, что этот механизм интерпретации аварий проблематичен и даже вреден. Чтобы сделать наши технологии лучше, мы должны от него отказаться.

Начнем с примера, показывающего, как выглядит объяснение аварий через “человеческий фактор” на практике.

“Человеческий фактор” в объяснении небольшого инцидента с Waymo в Сан-Франциско

Совсем недавно, 16 июня 2021, во время тестирования в Сан-Франциско беспилотный автомобиль Waymo сбил человека, пересекавшего пешеходный переход на электросамокате. Человек получил неизвестные повреждения мягких тканей тела и покинул место происшествия самостоятельно, у беспилотника слегка пострадала табличка с номером. Власти Калифорнии обязывают составлять протоколы всех происшествий с беспилотными автомобилями и делать их публичными.

Из протокола этого столкновения узнаем подробности. Автомобиль Waymo подъехал к перекрестку в беспилотном режиме, чтобы совершить поворот налево, и остановился на красный свет. Когда загорелся зеленый, автомобиль в беспилотном режиме чуть продвинулся на пешеходный переход, подготавливаясь поворачивать налево, но начал пропускать встречный транспорт и других участников движения. Тем временем загорелся желтый свет, а автомобиль Waymo все еще стоял, частично перекрывая перекресток и отказываясь поворачивать налево. В этот момент водитель-испытатель взял управление на себя и начал совершать поворот налево. Через 4 секунды, автомобиль Waymo, находясь в ручном режиме, на скорости 6 миль в час сбил человека на электросамокате, пересекавшего на скорости 7 миль в час пешеходный переход на красный свет как для транспорта, так и для пешеходов.

81777ea3c6f07c1d82eab60a267cbca2.jpg
ANDREI STANESCU/ALAMY

Это событие идеально для наших целей. С одной стороны, инцидент вряд ли бы освещался публично, если бы в нем не был замешан беспилотный автомобиль на стадии тестирования. С другой – обошлось без серьезных последствий, и в последующем обсуждении превалируют не ажиотаж и эмоции, а трезвые попытки понять, что же произошло. Вряд ли за данной мелкой аварией последует публичное расследование. Но в одном из сообществ на Reddit, посвященном беспилотным автомобилям, возникла небольшая, но интересная дискуссия. Трудно сказать, кем являются пользователи, участвующие в этой дискуссии. Только один из них заявляет о себе, как о бывшем водителе-испытателе. Но это не так важно как то, что дискуссия носит предметный и рациональный характер, никаких перепалок и холиваров. Люди действительно пытаются интерпретировать протокол-описание инцидента.

Что обсуждают члены сообщества Reddit?

Был ли водитель нетерпелив в этой ситуации? Нет, утверждает экс-водитель-испытатель Waymo, их обучают выводить автомобиль из беспилотного режима, когда того требует ситуация, как здесь. Был риск застрять на перекрестке и заблокировать его. Но из отчета ясно, что автомобиль не стоял посреди перекрестка, а лишь блокировал часть одного из переходов. Так что водитель мог подождать следующего зеленого сигнала светофора. Но экс-водитель-испытатель не сдается и предлагает не винить водителя в этом инциденте. Да, он принял неверное решение, но их работа связана с очень большим стрессом. Для одного из пользователей информация о том, чему обучают водителей-испытателей Waymo звучит как инсайт. Она позволяет понять, почему во всех отчетах об инцидентах с Waymo, их автомобили находятся в ручном, а не беспилотном режиме.

Кто виноват в столкновении - “компьютер” Waymo или водитель?

Пользователи дают несколько объяснений аварии через “человеческий фактор”, в которых именно человек, а не технологии виноваты в инциденте. Согласно одной версии, водитель неправильно оценил ситуацию. Он мог остаться на перекрестке на еще один цикл светофора, и ничего страшного не случилось бы. В другой версии выдвигается гипотеза, что сенсоры Waymo заметили электросамокат на тротуаре заранее, а алгоритмы предсказали его возможное поведение (проезд через переход на красный) и, вероятно, поэтому автомобиль не собирался поворачивать, даже когда у него появилась такая возможность. Водитель не понял этой “прозорливости” беспилотника, принял неверное решение и взял управление на себя. В еще одной версии ссылаются на неназванную книгу, написанную физиком, который разрабатывал системы безопасности для атомных реакторов. Основная мысль этой книги в том, что все аварии на атомных станциях случались в результате того, что люди нарушали протоколы безопасности, потому что ошибочно думали, что знают систему лучше.

Резюмируем: проблема, скорее всего, в водителе. Автоматика сделала правильный выбор. Все это говорит о том, что компьютер очень мало или вообще не способствовал возникновению этого инцидента. Waymo просто нужно исправить некоторые баги, которые иногда приводят [беспилотный автомобиль] к путанице или делают его слишком нерешительным.

Один из самых заплюсованных комментариев утверждает: “Это интересно, поскольку это тот случай, когда присутствие страховочного водителя делает его [беспилотный автомобиль] менее безопасным. Это может быть одним из ожидаемых знаков зрелости беспилотных автомобилей – страховочный водитель становится самым большим источником рисков в беспилотном автомобиле”.

На периферии дискуссии оказываются замечания о том, что если у Waymo действительно есть видео, доказывающее, что их технологии все делали правильно, а проблема именно в водителе, то почему они их не выложат?

Что показывает этот пример?

  • Даже в такой, с виду простой, ситуации вовсе не очевидно, что именно произошло. Требуется интеллектуальная работа, чтобы понять и объяснить аварию. В данном случае, ее провели пользователи Reddit.
  • Участники дискуссии несколькими разными способами пытались перенести вину за происшествие с “компьютеров” Waymo на водителя-испытателя. Эту схему интерпретации мы назвали "объяснением технологической аварии через человеческий фактор”. Единственная попытка оправдать водителя исходит от пользователя, непосредственно знакомого с подобными ситуациями изнутри.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Стоит ли бояться применения искусственного интеллекта в медицинской диагностике Стоит ли бояться применения искусственного интеллекта в медицинской диагностике

Что такое ИИ и как он применяется в медицинской диагностике?

Популярная механика
10 лучших ужастиков для летнего вечера 10 лучших ужастиков для летнего вечера

ТОП-10 самых страшных фильмов ужасов

Cosmopolitan
После ограбления сжечь После ограбления сжечь

Как удалось провернуть самое крупное ограбление в истории США?

GQ
Мечтать не вредно! Мечтать не вредно!

Как отличить фантазии от жизненных планов и можно ли превратить одно в другое?

Лиза
5 медсестер на одного пациента: как устроена больница, где лечится Елизавета II 5 медсестер на одного пациента: как устроена больница, где лечится Елизавета II

Как устроена главная больница Лондона и могут ли в ней лечиться простые смертные

Cosmopolitan
Статистика: 10 мобильных приложений, которые больше всего раздражают, и 10 — которые приносят удовольствие Статистика: 10 мобильных приложений, которые больше всего раздражают, и 10 — которые приносят удовольствие

Как приложения делают людей довольными, а какие выводят из себя

Maxim
Что такое постпанк: 5 фактов о мрачном (но не всегда) жанре Что такое постпанк: 5 фактов о мрачном (но не всегда) жанре

Постпанк — музыка, которая всегда живее всех живых

Playboy
«Самое главное — гармония внутри» «Самое главное — гармония внутри»

Татьяна Навка всегда в центре внимания

OK!
Чем отличается кожа мужчин и женщин, и почему мужчинам тоже нужен ежедневный уход Чем отличается кожа мужчин и женщин, и почему мужчинам тоже нужен ежедневный уход

Чем отличается мужская кожа и как правильно за ней ухаживать

Популярная механика
Как сделать скриншот на макбуке: 3 простых способа Как сделать скриншот на макбуке: 3 простых способа

Скриншот с макбука: с помощью сочетания клавиш, встроенной и сторонних утилит

CHIP
Как понять вино без сомелье-переводчика: все тонкости взаимоотношений с напитком Как понять вино без сомелье-переводчика: все тонкости взаимоотношений с напитком

Налаживаем диалог с вином самостоятельно

Playboy
За пять минут до полуночи... Маршрут № 1 За пять минут до полуночи... Маршрут № 1

Путешествие из Петербурга в Москву - любимое русское занятие

Караван историй
Всемирно известный скульптор променял Англию и Италию на Читу, чтобы спасти родное село Всемирно известный скульптор променял Англию и Италию на Читу, чтобы спасти родное село

Оно уж готовилось к вымиранию, но теперь придется стать туристическим оазисом

Maxim
В затонувшем древнеегипетском порту нашли фрагменты корабля и греческое кладбище В затонувшем древнеегипетском порту нашли фрагменты корабля и греческое кладбище

Находки были сделаны в ходе подводных раскопок города Гераклион

N+1
Найдено самое слабое магнитное поле в рентгеновских пульсарах Найдено самое слабое магнитное поле в рентгеновских пульсарах

Удалось обнаружить аккрецирующий рентгеновский пульсар со слабым магнитным полем

Популярная механика
Трудно быть с богом Трудно быть с богом

Как «Солярис» Станислава Лема стал прощанием с верой в прогресс

Weekend
Топ-5 самых медленных животных планеты Топ-5 самых медленных животных планеты

Что насчет самых медленных существ планеты?

Популярная механика
Жареные лисички Жареные лисички

Как готовить жареные лисички

Weekend
Боат-шеринг. Михаил Высоковский — о том, как в Москве развивают аренду катеров Боат-шеринг. Михаил Высоковский — о том, как в Москве развивают аренду катеров

В Москве открылся первый в России клуб совместного использования катеров

СНОБ
Охотилась на уток и настреляла два рекорда за Олимпиаду: кто такая Виталина Бацарашкина Охотилась на уток и настреляла два рекорда за Олимпиаду: кто такая Виталина Бацарашкина

Виталина Бацарашкина — олимпийская чемпионка в стрельбе из пистолета

Maxim
Юлдус Бахтиозина Юлдус Бахтиозина

Русская художница Юлдус Вильдановна Бахтиозина делает локальное глобальным

Собака.ru
Тайные возлюбленные и служебные романы: личная жизнь звезд фильма «Лед» Тайные возлюбленные и служебные романы: личная жизнь звезд фильма «Лед»

Личная жизнь звезд фильма «Лед»

Cosmopolitan
Почему вам стоит чаще ругаться с партнером и как делать это правильно Почему вам стоит чаще ругаться с партнером и как делать это правильно

Как научиться ссориться грамотно?

Psychologies
Из России — в Канны: съемочные группы рассказывают о своих проектах Из России — в Канны: съемочные группы рассказывают о своих проектах

Команды фильмов «Петровы в гриппе» и «Дело» — о работе, свободе, вызовах времени

РБК
«Девушка, вы издеваетесь?»: как Анна Семенович и другие звезды скандалили в ЦУМе «Девушка, вы издеваетесь?»: как Анна Семенович и другие звезды скандалили в ЦУМе

Некоторых звезд возмутил сервис в ЦУМе

Cosmopolitan
MINI Countryman. Стильно, модно и надёжно MINI Countryman. Стильно, модно и надёжно

Обзор стильного кроссовера MINI Countryman

4x4 Club
Заряд для бизнеса: чем запомнится электрический Porsche Taycan на «Иннопроме» Заряд для бизнеса: чем запомнится электрический Porsche Taycan на «Иннопроме»

Porsche Taycan на «Иннопроме»

Forbes
Гусеницы позаимствовали у вирусов белки для убийства наездников Гусеницы позаимствовали у вирусов белки для убийства наездников

Они не дают личинкам наездников развиваться

N+1
Поправки с риском Поправки с риском

Изменения в закон об агростраховании лишат господдержки растениеводов

Агроинвестор
Принцесса навсегда Принцесса навсегда

В чем феномен народной любви к леди Ди?

Лиза
Открыть в приложении