Какой размерности должно быть пространство признаков, позволяющих отличать лица?

N+1Наука

Вупи Голдберг в векторах: оцениваем размерность пространства лиц

Денис Федосеев, математик

Всякий раз, когда мы включаем телефон и глядим в камеру, ему приходится решать сложную задачу: понять, его ли хозяин сейчас пытается его включить. По сути, это один из самых близких нам сейчас примеров задачи распознавания образов. Ее можно сформулировать так: пусть у нас имеется большая библиотека фотографий лиц разных людей в разных ракурсах. Как по новой фотографии лица определить, принадлежит ли она кому-то из людей в библиотеке, и если да, то кому именно? Математик Денис Федосеев с мехмата МГУ и его коллеги попытались выяснить, какой размерности должно быть пространство признаков, которые позволят отличить Вупи Голдберг от Шона Коннери.

Чтобы решать задачу распознавания лиц при помощи компьютера, нужно сперва закодировать фотоснимки каким-то понятным компьютеру методом. Конечно, всякая картинка в памяти компьютера уже представлена некоторым кодом — например, многомерным вектором, где каждой его компоненте соответствует пиксель на картинке, а значение компоненты — это, например, представление цвета этого пикселя. Но у такой кодировки есть проблема: коды фотографий одного и того же человека, вообще говоря, не будут иметь между собой ничего общего. Потому что человек-то один, но сами картинки выглядят очень по-разному.

Решение этой проблемы пришло с развитием нейросетей. Не вдаваясь в подробности можно сказать, что нейросеть можно представлять как некий черный ящик, кодирующий фотографии «разумным образом»: так, что фотографии одного и того же человека получают хоть и разные, но в каком-то смысле похожие коды. Говоря более точно, нейросеть сопоставляет каждой фотографии точку в пространстве некоторой большой размерности, причем расстояния между точками, соответствующими одному человеку, достаточно малы по сравнению с размерами полученного облака точек, а точки, отвечающие разным людям, наоборот, более далеки друг от друга.

Лица в векторах

Итак, непонятные фотографии превращены в точки с учетом их принадлежности людям. Но теперь нужно разобраться, в каком смысле они «близки» или «далеки». В самом деле, рассмотрим простой пример. Пусть пространство, в котором живут полученные точки, двумерное — это плоскость. И пусть точки оказались размещены на спирали.

Расстояние на плоскости между красной и желтой точками — длина соединяющего их отрезка — меньше, чем расстояние между желтой и синей. Но если идти вдоль спирали, желтая точка окажется гораздо ближе к синей, чем к красной.

Значит, чтобы решить задачу распознавания образов, нужно понять, какую геометрию имеет множество точек, построенное нейросетью. Вопрос осложняется еще и тем, что объемлющее пространство, в котором живут точки, как правило имеет огромную размерность. Например, некоторые из стандартных в индустрии нейросетей (скажем, ResNet50 и ResNet100) работают с пространством размерности 512. Чтобы понять, насколько это необозримо, приведу пример: возьмем точку в 512-мерном пространстве и для каждой ее координаты скажем только, положительная она или отрицательная. Получим 2512 вариантов, что больше числа атомов в наблюдаемой части Вселенной. То есть для такой размерности даже простейшая попытка классифицировать точки по знаку координат обречена на провал.

К счастью, специалистами в этой науке давно сформулирована — и хотя и не доказана, но многократно экспериментально подтверждена, — так называемая «Гипотеза о многообразии». Она гласит, что точки, полученные из реального мира (например, как говорилось выше, из фотографий людей), сосредоточены в объемлющем пространстве вблизи некоторого многообразия существенно меньшей размерности. И геометрию этого-то многообразия и нужно определить, чтобы эффективно решать задачу распознавания.

Лоскутное одеяло

Многообразие — это, говоря неформально, многомерный «разумный» аналог кривой или поверхности. Пусть, например, у нас есть плоскость, двумерный объект. Если мы вырежем из нее маленький кусочек, получим так называемый двумерный диск. Разрешим себе изгибать этот диск — главное его не разрывать и не склеивать его точки. Теперь будем склеивать из таких изогнутых дисков «лоскутное одеяло». Полученный объект уже может быть устроен «хитрее» диска. Например, из двух изогнутых листов можно склеить сферу, которая на диск совсем не похожа. Это и есть неформальное описание устройства многообразия. В общем случае вместо двумерного диска — кусочка плоскости — нужно брать диски многомерные, кусочки многомерного пространства фиксированной размерности.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Астрономы подтвердили существование экзогиганта на ретроградной орбите в тесной двойной системе Астрономы подтвердили существование экзогиганта на ретроградной орбите в тесной двойной системе

Астрономы нашли экзогиганта на необычно широкой и ретроградной орбите

N+1
Игры разума Игры разума

Дорн и Чумаченко — о том, где проходит грань между творчеством и алгоритмами

Esquire
Аналог ацтекского омичикауацтли из человеческой кости выявили среди находок из Техаса Аналог ацтекского омичикауацтли из человеческой кости выявили среди находок из Техаса

Какие ацтекские артефакты обнаружили на юге Техаса

N+1
Истории поиска product/market fit от основателей Netflix, Uber, Airbnb и других успешных компаний Истории поиска product/market fit от основателей Netflix, Uber, Airbnb и других успешных компаний

Как понять, что вы нашли product/market fit?

VC.RU
Слушаем и не осуждаем: чем полезны сплетни на работе и когда они вредят коллективу Слушаем и не осуждаем: чем полезны сплетни на работе и когда они вредят коллективу

Как сплетни и слухи могут влиять на рабочий процесс и настроения в офисе

Forbes
Стрижка «веник»: что мы знаем о горячем hair-тренде этой зимы Стрижка «веник»: что мы знаем о горячем hair-тренде этой зимы

Чем прическа «веник» отличается от классического боба

Cosmopolitan
Интервью с рестораторами Надеждой Пак и Александром Брайловским Интервью с рестораторами Надеждой Пак и Александром Брайловским

Основатели кафе рассказали, какие существуют правила семейного счастья

Cosmopolitan
“Мы пытаемся, но не слышим друг друга” “Мы пытаемся, но не слышим друг друга”

Конфликтолог Олег Иванов помогает Вике и Антону разобраться в своих отношениях

Psychologies
Микролазер в форме ленты Мёбиуса помог разобраться с геодезическими линиями Микролазер в форме ленты Мёбиуса помог разобраться с геодезическими линиями

Физики изготовили микролазер в форме ленты Мёбиуса

N+1
Деньги зумеров: кто больше всех зарабатывает на рекламе в YouTube Деньги зумеров: кто больше всех зарабатывает на рекламе в YouTube

Сколько стоит реклама в крупных YouTube-каналах, какие факторы влияют на цену?

Forbes
Как выглядят сегодня актрисы культовых сериалов нулевых: от «Клона» до «Лоста» Как выглядят сегодня актрисы культовых сериалов нулевых: от «Клона» до «Лоста»

Так ли сильно изменило время актрис из наших любимых сериалов

Cosmopolitan
Что смотреть и пробовать в Краснодарском крае. Гид «РБК Стиль» Что смотреть и пробовать в Краснодарском крае. Гид «РБК Стиль»

Рассказываем, что такое Краснодарский край в несезон

РБК
Личинки данио-рерио успели починить ДНК в нейронах за шесть часов сна Личинки данио-рерио успели починить ДНК в нейронах за шесть часов сна

Эффективность репарации ДНК в нейронах данио-рерио зависела от количества сна

N+1
Как остаться друзьями после расставания: 3 правила Как остаться друзьями после расставания: 3 правила

Как избежать вражды и отрицательных эмоций при расставании?

Psychologies
«Вширь и вверх: как облачная телефония помогает бизнесу расти не только географически, но и финансово» «Вширь и вверх: как облачная телефония помогает бизнесу расти не только географически, но и финансово»

Как облачная телефония влияет на бизнес?

Inc.
Живой детектор лжи: агент секретной службы США о мышлении пуленепробиваемых людей Живой детектор лжи: агент секретной службы США о мышлении пуленепробиваемых людей

Отрывок из книги «Стань неуязвимым» о том, как научиться распознавать ложь

Forbes
Профессиональные «болезни» предпринимателей: что это и как с ними бороться Профессиональные «болезни» предпринимателей: что это и как с ними бороться

Чего ждать от типичных «болезней предпринимателя» и можно ли от них уберечься

Inc.
Новые сани для Санты Новые сани для Санты

Если бы у Санта-Клауса был Porsche Taycan Cross Turismo – он успел бы ко всем

GQ
Археологи нашли в Великом Новгороде средневековые костяные коньки Археологи нашли в Великом Новгороде средневековые костяные коньки

Ученые подвели итоги раскопок 2021 года в Великом Новгороде

N+1
«Российская миссия. Забытая история о том, как Америка спасла Советский Союз от гибели» «Российская миссия. Забытая история о том, как Америка спасла Советский Союз от гибели»

Чем еще кроме продовольственной помощи APA занималась в России?

N+1
Облысевшая женщина вернула себе волосы и помолодела на 20 лет Облысевшая женщина вернула себе волосы и помолодела на 20 лет

78-летняя Бренда Викерс из Уокергейта на протяжении 20 лет теряла волосы

Cosmopolitan
Что случилось на МКС и сбивала ли Россия спутник? Что случилось на МКС и сбивала ли Россия спутник?

Почему США обвинили Россию в испытаниях противоспутникового оружия

Maxim
Одна вокруг света: путешествие на лодке и знакомство с индейцами куна Одна вокруг света: путешествие на лодке и знакомство с индейцами куна

146-я серия о кругосветном путешествии москвички Ирины Сидоренко и ее собаки

Forbes
10 предметов из фильмов и сериалов, которые останавливали пулю 10 предметов из фильмов и сериалов, которые останавливали пулю

Или что такое «карманный защитник» и как его эксплуатирует кинематограф

Maxim
История с продолжением История с продолжением

Квартира с коллекционным дизайном и современным искусством

AD
Память vs внимание: как понять, с чем именно у вас проблемы? Память vs внимание: как понять, с чем именно у вас проблемы?

Мчитесь домой перепроверять, выключили ли утюг? Не спешите винить память

Psychologies
Вперед в прошлое: почему кнопочные телефоны до сих пор не пропали с прилавков Вперед в прошлое: почему кнопочные телефоны до сих пор не пропали с прилавков

В чем секрет длительной актуальности кнопочных телефонов

Популярная механика
Александр «Чача» Иванов Александр «Чача» Иванов

Ветеран панк-рока рассказал о своих отношениях со спиртным, религией и музыкой

Maxim
5 фильмов об экологии, которые стоит посмотреть, чтобы разобраться в вопросе 5 фильмов об экологии, которые стоит посмотреть, чтобы разобраться в вопросе

Фильмы об экологии, которые помогут понять, что происходит с нашей планетой

GQ
Курс на Италию Курс на Италию

Галина Зернова о жизни в ПНИ и за его пределами

ПУСК
Открыть в приложении