Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

1647-летний можжевельник из Финляндии назвали старейшим древесным растением тундры и Европы 1647-летний можжевельник из Финляндии назвали старейшим древесным растением тундры и Европы

Старейший можжевельник из Финляндии рос с 260 по 1906 год

N+1
Анонимы и спекулянты: стал ли арт-рынок прозрачнее благодаря блокчейну Анонимы и спекулянты: стал ли арт-рынок прозрачнее благодаря блокчейну

Анализируем самые громкие сделки по продаже NFT-искусства в 2021 году

Forbes
Аналог ацтекского омичикауацтли из человеческой кости выявили среди находок из Техаса Аналог ацтекского омичикауацтли из человеческой кости выявили среди находок из Техаса

Какие ацтекские артефакты обнаружили на юге Техаса

N+1
Вес, выйди вон: как составить программу правильного питания для похудения Вес, выйди вон: как составить программу правильного питания для похудения

Какой может быть программа вкусного и здорового питания

Cosmopolitan
От жуткого хоррора до ироничной пародии: как кино переосмысливает классические сказки на новый лад От жуткого хоррора до ироничной пародии: как кино переосмысливает классические сказки на новый лад

Оригинальные проекты, переосмысливающие классические сказки в неожиданном ключе

Правила жизни
Электромобиль для зумеров: WayRay Holograktor Электромобиль для зумеров: WayRay Holograktor

WayRay представила первый в мире электромобиль с голографическим AR-остеклением

Популярная механика
Игра в лицензиара: как правильно использовать видео из компьютерных игр Игра в лицензиара: как правильно использовать видео из компьютерных игр

Как правильно использовать фрагменты видеоигр

Популярная механика
Николай Хомерики Николай Хомерики

Самый лиричный режиссер нулевых – Николай Хомерики

Собака.ru
Обязаны ли дети ухаживать за престарелыми родителями? Обязаны ли дети ухаживать за престарелыми родителями?

В каких случаях уход за ближайшими родственниками стоит переложить на других?

Psychologies
Тусклые, жирные, ломкие? Научись составлять диету для решения проблем с волосами Тусклые, жирные, ломкие? Научись составлять диету для решения проблем с волосами

5 основных проблем шевелюры. Мы разберем каждую

Cosmopolitan
«Я впервые поцеловалась в 9 лет»: Ани Лорак раскрыла секреты личной жизни «Я впервые поцеловалась в 9 лет»: Ани Лорак раскрыла секреты личной жизни

Ани Лорак поделилась откровениями об отношениях с мужчинами

Cosmopolitan
6 полезных жизненных навыков, которым могут научить видеоигры 6 полезных жизненных навыков, которым могут научить видеоигры

Могут ли видеоигры научить чему-то полезному?

Maxim
Дмитрий Брейтенбихер: «Сначала лучше, потом дешевле. Сначала доходы, потом расходы» Дмитрий Брейтенбихер: «Сначала лучше, потом дешевле. Сначала доходы, потом расходы»

ВТБ намерен развивать бизнес по работе с состоятельными клиентами

Forbes
«Спасение от стресса»: Меган Маркл помогла Адель пережить развод и похудеть «Спасение от стресса»: Меган Маркл помогла Адель пережить развод и похудеть

Герцогиня Сассекская стала источником вдохновения для Адель

Cosmopolitan
Как удалить Windows 10: четыре простых способа Как удалить Windows 10: четыре простых способа

Разбираем, как удалить Windows 10 без дополнительного софта

CHIP
5 ошибок Дмитрия Федорова, основателя сервиса по доставке еды Catery 5 ошибок Дмитрия Федорова, основателя сервиса по доставке еды Catery

Основатель сервиса Catery — об ошибках, которые мешали его бизнесу развиваться

Inc.
Дочери Газманова, Табакова, Крапивиной: как выглядят дебютантки бала Tatler-2021 Дочери Газманова, Табакова, Крапивиной: как выглядят дебютантки бала Tatler-2021

Посмотрим на девушек, которых скоро будет обсуждать вся страна!

Cosmopolitan
Секс во славу богов: невероятная история храмовой проституции Секс во славу богов: невероятная история храмовой проституции

Как проституция превратилась из священного ритуала в позорное ремесло?

Maxim
Какая ж ты зараза: что делать с герпесом на губах Какая ж ты зараза: что делать с герпесом на губах

Что нужно знать о герпесе на губах?

РБК
Как формат изакая-бар попал из Японии в Москву и почему стал таким популярным Как формат изакая-бар попал из Японии в Москву и почему стал таким популярным

Японский формат баров, которые называют изакая, успешно работает в Москве

Forbes
О сложностях материнства, романе с Гарри и не только: новое интервью Меган Маркл О сложностях материнства, романе с Гарри и не только: новое интервью Меган Маркл

Меган Маркл пришла в студию к Эллен Дедженерес

Cosmopolitan
Что такое отношения «с задней конфорки» и почему не стоит в них ввязываться Что такое отношения «с задней конфорки» и почему не стоит в них ввязываться

В современных отношениях появился интересный феномен — «задняя конфорка»

Maxim
Ученые обнаружили самую тусклую сверхновую типа Iax Ученые обнаружили самую тусклую сверхновую типа Iax

Чем уникальны сверхновые типа Iax?

N+1
Истории поиска product/market fit от основателей Netflix, Uber, Airbnb и других успешных компаний Истории поиска product/market fit от основателей Netflix, Uber, Airbnb и других успешных компаний

Как понять, что вы нашли product/market fit?

VC.RU
Создала франшизу за 60 лет до McDonald’s: это Марта Харпер, открывшая сотни салонов красоты в 20 веке Создала франшизу за 60 лет до McDonald’s: это Марта Харпер, открывшая сотни салонов красоты в 20 веке

Как Марта Харпер построила бизнес-империю на франшизах

VC.RU
Ледянка VS снегокат: на чем лучше и безопаснее кататься с горки грядущей зимой Ледянка VS снегокат: на чем лучше и безопаснее кататься с горки грядущей зимой

Самые популярные варианты средств для катания с горки

Cosmopolitan
Винные термины: азбука от А до Я Винные термины: азбука от А до Я

Краткий гид по виноделию

Esquire
Лилия Бурдинская Лилия Бурдинская

Танц-художница и основательница центра Bye Bye Ballet Лилия Бурдинская

Собака.ru
Виргинский опоссум Виргинский опоссум

Подкупить опоссума можно только уважением, терпением и любовью. И едой, конечно

Weekend
Почему султан Сулейман в «Великолепном веке» запретил кофе? Почему султан Сулейман в «Великолепном веке» запретил кофе?

Почему в Турции боялись, что кофе разрушит страну?

Cosmopolitan
Открыть в приложении