Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

CAR-T-терапия поставила на ноги двух пациентов с тяжелой аутоиммунной нейропатией CAR-T-терапия поставила на ноги двух пациентов с тяжелой аутоиммунной нейропатией

Частично обездвиженные заболеванием люди начали ходить с помощью CAR-T-терапии

N+1
10 автомобилей с самыми крутыми фарами 10 автомобилей с самыми крутыми фарами

Какие современные и классические автомобили могут похвастаться лучшими фарами?

Популярная механика
900 запусков ракет в космос выдержит атмосфера Земли. Далее – разрушение озонового слоя 900 запусков ракет в космос выдержит атмосфера Земли. Далее – разрушение озонового слоя

Сколько запусков ракет происходит ежегодно и как это воздействует на атмосферу?

ТехИнсайдер
Как убрать бока: эффективные упражнения и советы эксперта Как убрать бока: эффективные упражнения и советы эксперта

Как уменьшить объемы в районе талии с помощью питания и тренировок

РБК
Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек Как Пеппи Длинныйчулок стала символом свободы и изменила жизни миллионов девочек

Как Астрид Линдгрен стала борцом за права детей и причем тут Пеппи Длинныйчулок?

Forbes
Не на птичьих правах Не на птичьих правах

Самые громкие правозащитные кейсы из мира животных

Weekend
Что такое суперизвержение: как один вулкан может вызвать катастрофу планетарного масштаба Что такое суперизвержение: как один вулкан может вызвать катастрофу планетарного масштаба

Как одно сверхизвержение вулкана может катастрофически повлиять на климат?

Популярная механика
«Повелитель мух» в реальности: как 6 подростков выживали на острове «Повелитель мух» в реальности: как 6 подростков выживали на острове

Шестеро сбежавших из школы учеников провели год на клочке земли посреди океана

Cosmopolitan
У человечества нет плана «Б»: Петр Коваленко рассказывает, почему важна экомода У человечества нет плана «Б»: Петр Коваленко рассказывает, почему важна экомода

Экомода — новый тренд, о котором мы слышим всё чаще

Cosmopolitan
«Мой якорь — материнская любовь и вера»: хореограф Акрам Хан о своем балете Kaash «Мой якорь — материнская любовь и вера»: хореограф Акрам Хан о своем балете Kaash

Акрам Хан — о том, что такое современный балет и что он дает зрителю

Forbes
Конкуренция разработок: как новые мессенджеры завоевывают аудиторию Конкуренция разработок: как новые мессенджеры завоевывают аудиторию

Как конкурируют современные мессенджеры?

Популярная механика
«Ленин» жив. Уроки истории в Мурманском областном театре кукол «Ленин» жив. Уроки истории в Мурманском областном театре кукол

История о корабле и столичные гастроли Мурманского областного театра кукол

СНОБ
Археологи нашли на Дону серебряную накладку с изображениями скифских богов Археологи нашли на Дону серебряную накладку с изображениями скифских богов

Ученые обнаружили изображения богов в скифском погребении IV века до нашей эры

N+1
Морская тачанка. История первого катера на воздушной подушке Морская тачанка. История первого катера на воздушной подушке

Угадай, где придумали судно на воздушной подушке?

Maxim
Что это за зверь — тестостерон: 10 фактов о гормоне мужественности Что это за зверь — тестостерон: 10 фактов о гормоне мужественности

Как определить пониженный тестостерон, и на что этот гормон влияет

Playboy
Новый ASUS ZenBook Pro Duo: зачем ноутбуку два экрана Новый ASUS ZenBook Pro Duo: зачем ноутбуку два экрана

Сегодня от ноутбука требуется быть мастером на все клавиши

РБК
В подвале чешского дома обнаружили братскую могилу с жертвами битвы под Аустерлицем В подвале чешского дома обнаружили братскую могилу с жертвами битвы под Аустерлицем

Чешские ученые исследовали останки жертв битвы под Аустерлицем

N+1
Правило № 68: Ребята, надо верить в чудеса Правило № 68: Ребята, надо верить в чудеса

Коуч Алексей Ситников объясняет, как выдать безумные фантазии за бизнес

Tatler
Периодическое падение яркости двойной звезды объяснили плотным облаком пыли Периодическое падение яркости двойной звезды объяснили плотным облаком пыли

Почему некоторые звезды могут тускнеть?

N+1
Самолюбие и внутренняя пустота: как распознать психопатку Самолюбие и внутренняя пустота: как распознать психопатку

Распознать женщину-психопатку не так-то просто — издалека они само очарование

Psychologies
Стрелки котенка: легкий макияж, который идет всем и всегда получается Стрелки котенка: легкий макияж, который идет всем и всегда получается

Макияж должен быть одинаково уместен и в дневное, и в вечернее время

Cosmopolitan
В Германии раскопали средневековый некрополь для прокаженных В Германии раскопали средневековый некрополь для прокаженных

Археологи нашли некрополь для тяжелобольных

N+1
7 неожиданных вещей, которые во всем мире, кроме России, называют «русскими» 7 неожиданных вещей, которые во всем мире, кроме России, называют «русскими»

Русским любят приписывать рандомные традиции и явления

Maxim
Гангстерский шик: как правильно носить культовую шляпу-федору борсалино Гангстерский шик: как правильно носить культовую шляпу-федору борсалино

Как насчет высококачественной и элегантной шляпы, прошедшей проверку временем?

Playboy
Похоже, мы недооценили первую в истории вспышку чумной пандемии Похоже, мы недооценили первую в истории вспышку чумной пандемии

Последствия чумы были более серьезным, чем предполагали ранние исследования

Популярная механика
Школа мраморирования, или Танцующий завиток Школа мраморирования, или Танцующий завиток

В оформлении книг издавна использовали пёструю бумагу ручной выделки

Наука и жизнь
6 известных пирамид, кроме египетских 6 известных пирамид, кроме египетских

Пирамиды есть даже в России, правда, без фараонов внутри

Maxim
Как устроен вертолет Ми-28НЭ — летучий антитанк Как устроен вертолет Ми-28НЭ — летучий антитанк

Ми-28НЭ — гроза любой ползучей техники

Maxim
Как бывший консультант McKinsey в 27 лет возглавил сервис «Яндекс.Еда» Как бывший консультант McKinsey в 27 лет возглавил сервис «Яндекс.Еда»

Генеральный директор «Яндекс.Еды» — как ему удалось быстро вырасти в корпорации?

Forbes
Ее Королевское Высочество: фильмы, сериалы и подкаст о принцессе Диане Ее Королевское Высочество: фильмы, сериалы и подкаст о принцессе Диане

Если вы не устали от Дианы Спенсер, рассказываем, какие что посмотреть о ней

Esquire
Открыть в приложении