Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

8 продуктов, которые помогут снизить риск инсульта 8 продуктов, которые помогут снизить риск инсульта

Если есть эти продукты регулярно, можно снизить риск инсульта на 27%!

Популярная механика
Как работает лазерная эпиляция Как работает лазерная эпиляция

Разбираемся, что такое лазерная эпиляция

Популярная механика
Зарядки, SIM-карты и кнопки: какие технологии в гаджетах могут исчезнуть уже через пару лет Зарядки, SIM-карты и кнопки: какие технологии в гаджетах могут исчезнуть уже через пару лет

О том, какие технологии в гаджетах имеют тенденцию к полному исчезновению

ТехИнсайдер
«Били линейкой по рукам»: как обучение превращается в мучение «Били линейкой по рукам»: как обучение превращается в мучение

Что делать, если учителя издеваются над детьми?

Psychologies
Как сахар влияет на клеточное старение и разрушает коллаген: данные исследований Как сахар влияет на клеточное старение и разрушает коллаген: данные исследований

Почему сахар провоцирует воспаления клеток?

ТехИнсайдер
«Благодаря аварии я нашла свое новое призвание» «Благодаря аварии я нашла свое новое призвание»

Внезапное несчастье развернуло судьбу Нины Никифоровой

Psychologies
Плакал кровью: 7 страшилок из ужастиков, которые оказались реальными болезнями Плакал кровью: 7 страшилок из ужастиков, которые оказались реальными болезнями

Режиссеры фильмов ужасов вдохновляются настоящими историями из жизни

Cosmopolitan
Фильмы о Джеймсе Бонде, которые нам не суждено увидеть Фильмы о Джеймсе Бонде, которые нам не суждено увидеть

Вспоминаем, какие части бондианы мир так и не увидел и почему

Esquire
Хорошо, как дома Хорошо, как дома

Квартира в Санкт-Петербурге вдохновленная работами американских декораторов

AD
Американский маникюр: быстро делается, долго держится Американский маникюр: быстро делается, долго держится

Слышала ли ты хотя бы раз про американскую технику маникюра?

Cosmopolitan
Делал дизайн, пока говорил по телефону: история Пола Рэнда, который создал логотипы для IBM и Стива Джобса Делал дизайн, пока говорил по телефону: история Пола Рэнда, который создал логотипы для IBM и Стива Джобса

Пол Рэнд работал арт-директором в Esquire и делал рекламу на азбуке Морзе

VC.RU
Главный редактор Vogue Диана Вриланд об эпохе Сергея Дягилева и Коко Шанель Главный редактор Vogue Диана Вриланд об эпохе Сергея Дягилева и Коко Шанель

Отрывок из автобиографии Дианы Вриланд, главного редактора Vogue

Forbes
«Оставила пуповину вместе с плацентой». Женщина рассказала про лотосовые роды «Оставила пуповину вместе с плацентой». Женщина рассказала про лотосовые роды

Лотосовые роды — это необычная традиция родом с Бали

Cosmopolitan
Загадки психосоматики Загадки психосоматики

Частые или длительные стрессы ведут к развитию заболеваний – это известный факт

Лиза
После «оттепели». «Способ неопасного диссидентства» После «оттепели». «Способ неопасного диссидентства»

Юлию, оставшуюся фактически сиротой, удочерили старшие Хрущёвы

Дилетант
Сетевому архитектору из Мичигана долго не проводили интернет — тогда он создал свой оператор связи и подключил соседей Сетевому архитектору из Мичигана долго не проводили интернет — тогда он создал свой оператор связи и подключил соседей

Как Джаред Мауч сам себе подключил высокоскоростной интернет

VC.RU
«Поливал меня святой водой»: 20 смешных историй о странных бойфрендах и мужьях «Поливал меня святой водой»: 20 смешных историй о странных бойфрендах и мужьях

Читательницы о своих странных и забавных бойфрендах

Cosmopolitan
Моделирование предсказало существование устойчивых двойных систем сверхмассивных черных дыр Моделирование предсказало существование устойчивых двойных систем сверхмассивных черных дыр

Астрофизики предположили существование двойных систем сверхмассивных черных дыр

N+1
Азиатский макияж: шокирующие фото девушек до и после перевоплощения Азиатский макияж: шокирующие фото девушек до и после перевоплощения

Невероятные трансформации азиатских девушек

Cosmopolitan
Выкуп без рисков Выкуп без рисков

На что стоит обратить внимание, приобретая сельхозземлю

Агроинвестор
Три года в Долине строил мессенджер и закрыл его: что сделал не так Юрий Лифшиц и какие уроки вынес из провала Три года в Долине строил мессенджер и закрыл его: что сделал не так Юрий Лифшиц и какие уроки вынес из провала

Какие проблемы могут возникнуть при создании мессенджера — рассказал Юрий Лифшиц

VC.RU
Как исследуют ускоряющуюся Вселенную? Как исследуют ускоряющуюся Вселенную?

Несмотря на все достижения, мы наблюдаем только около 5% Вселенной

Популярная механика
Биоархеологи обнаружили различия в обряде кремации на бельгийских памятниках эпохи палеометалла Биоархеологи обнаружили различия в обряде кремации на бельгийских памятниках эпохи палеометалла

Биоархеологи исследовали останки людей с четырех древних могильников

N+1
Ведьма с Уолл-стрит: самая богатая и самая скупая женщина в мире Ведьма с Уолл-стрит: самая богатая и самая скупая женщина в мире

Беттми Грин: история о том, как не нужно обращаться с деньгами

Cosmopolitan
Почему попадание в рейтинги может ничего не говорить о репутации Почему попадание в рейтинги может ничего не говорить о репутации

Понимать всю ограниченность рейтингов, не становясь его заложником

Forbes
Как подключить смартфон к телевизору: от простого к сложному Как подключить смартфон к телевизору: от простого к сложному

Все основные способы подключения смартфона к телевизору

CHIP
«Отец не перестает меня удивлять» «Отец не перестает меня удивлять»

Федор Бондарчук о документальном фильме про Сергея Бондарчука

Weekend
Гаджеты из прошлого: топ-6 крутых устройств, вызывающих прилив ностальгии Гаджеты из прошлого: топ-6 крутых устройств, вызывающих прилив ностальгии

Гаджеты, которые оставались в тренде годами, если не десятилетиями

CHIP
4 неожиданных способа добычи золота 4 неожиданных способа добычи золота

Вокруг нас, оказывается, раскидана уйма золота

Maxim
Как носить неформальные костюмы? Показывает музыкант и певец Zoloto Как носить неформальные костюмы? Показывает музыкант и певец Zoloto

Костюмы, в которых переживать осень будет куда ярче и приятнее

Esquire
Открыть в приложении