Компьютеры всегда совершали ошибки, ИИ делает ситуацию критически опасной, но закон на стороне машин
Более 20 лет назад консориум Fujitsu поставил главному почтовому ведовству Великобритании UK Post Office систему автоматизации рабочих мест почтовых работников по всей стране. Только через много лет стало известно, что система постоянно ошибалась, и многие почтовые работники были оштрафованы, заключены в тюрьму, а несколько человек покончили с собой. Почему это происходило так долго? И можно ли сегодня защитить себя от компьютерных ошибок?
Эта трагическая история связана с «презумпцией безошибочности компьютеров». Но компьютеры могут ошибаться, а в системах ИИ некоторый процент ошибок заложен изначально. И пока непонятно как защитить человека от «железного» обвинителя.
Более 20 лет назад японский технологический консориум Fujitsu создал ИТ-систему бухгалтерского учета для Почты Великобритании (UK Post Office). Система получила название Horizon. Рабочие места этой системы были установлены по всей стране. Часто это были небольшие почтовые отделения, которые собирали и доставляли письма и посылки. 20 лет назад это был крупнейший гражданский ИТ-проект в Европе.
Система Horizon была далеко небезупречной. Она делала ошибки. Но руководители Почты Великобритании верили ей, а не людям.
Многих работников почтовых отделений обвинили в краже или фальсификации отчетности. От них требовали возместить убытки и угрожали судом. В период с 2000 по 2014 год более 700 человек были привлечены к ответственности, и в среднем 30 человек каждый год в период с 2000 по 2014 заключали под стражу. Люди теряли недвижимость, накопления, репутацию. Некоторые из безвинно пострадавших покончили жизнь самоубийством.
Многие подробности этой трагедии до сих пор неизвестны. Но самым вопиющим стало заявление Fujitsu, что компания знала об ошибках в системе примерно в то время, когда поставила Horizon Почте Великобритании в 1999 году.