Как нейросети помогают создавать протезы и восстанавливать культурные памятники

Популярная механикаHi-Tech

Мир копий и двойников: зачем нужна цифровая обработка геометрии

Алексей Артёмов

От беспилотных автомобилей до цифровых аватаров: обработка геометрических данных лежит в основе многих технологий, которые быстро становятся привычными. Научный сотрудник Сколтеха, лауреат премии имени Ильи Сегаловича 2021 года и выпускник Школы анализа данных Яндекса Алексей Артёмов рассказывает, как нейросети помогают создавать медицинские протезы и восстанавливать культурные памятники.

Обработка геометрических данных: что это такое

Компьютерное зрение — быстро развивающаяся и суперширокая область компьютерных технологий, к которой причастны сотни тысяч людей. Одни занимаются пониманием и извлечением содержания из изображений, другие — системами видеонаблюдения и автопилотирования, третьи — дополненной реальностью, кино и фотографией.

Моя специализация — цифровая обработка геометрии (3D geometry processing), то есть высокоточная реконструкция объектов по изображениям и создание их трехмерных моделей.

Обработка геометрических 3D-данных — междисциплинарная область на стыке математики, компьютерных наук и инженерного дела. Для построения цифрового трехмерного двойника требуется множество данных об объекте, например большой массив фотоснимков или 3D-сканы (мы используем технологию структурированной подсветки, когда на объект проецируются специальные изображения, позволяющие системе выделить его геометрию). Могут также использоваться камеры глубины, например Kinect. Чем больше данных, тем лучше. Нейросеть или другой алгоритм способны обсчитать массив данных и выдать цифровую версию объекта. Наша задача — сделать процесс настолько точным, чтобы можно было воспроизвести копию, например с помощью 3D-принтера.

Работа специалистов в области восстановления геометрических 3D-данных связана с формой — и этим напоминает работу скульпторов. Всё начинается с подготовки объекта к процессу сканирования и выбору оптимальной стратегии оцифровки — ведь исходными данными могут быть, например, CAD-модели, 3D-сканы, фотографии, чертежи или объемные томограммы.

Само получение трехмерной информации — необходимый, но часто наиболее простой шаг. Затем нужно провести определенные манипуляции с этими данными: очистить их от топологических и геометрических ошибок, убрать шум. Финальный продукт обработки геометрии может быть виртуальным (например, для использования в компьютерной графике) или реальным физическим предметом (скажем, произведенным на 3D-принтере или на станке для лазерной резки).

fcb7387e2475e02ed81b16d3c55d9095.jpg

В последние годы компьютерное зрение и обработка геометрии, как и вся область компьютерных наук, сильно выиграли от внедрения глубокого обучения и нейросетевых моделей, способных автоматически восстанавливать точную 3D-форму объектов и эффективно описывать их содержание по изображениям, даже когда исходные данные зашумлены.

Медицина, реверс-инжиниринг, реконструкция: где применяется geometry processing

Сложно придумать сферу, где компьютерное зрение и обработка геометрических данных не могли бы принести пользу. По сути, geometry processing можно применять везде, где есть потребность в создании физических или виртуальных копий.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Еще три вкусных продукта, которые помогут сжечь лишний жир Еще три вкусных продукта, которые помогут сжечь лишний жир

Здоровая и вкусная пища, которая способствует избавлению от лишнего веса

Популярная механика
Хорошее начало отношений — каким оно должно быть? Хорошее начало отношений — каким оно должно быть?

Как не обмануться и уберечь себя от негативных эмоций в начале отношений?

Psychologies
«Осторожно, в небе металлолом» — Что делают со старыми авиалайнерами «Осторожно, в небе металлолом» — Что делают со старыми авиалайнерами

Почему пассажирские авиалайнеры так рано списывают?

ТехИнсайдер
Чем предпринимателю полезен родительский опыт Чем предпринимателю полезен родительский опыт

Как опыт в воспитании детей помогает эффективнее управлять компанией

Inc.
11 способов становиться немного умнее каждый день 11 способов становиться немного умнее каждый день

Интеллект, как и тело, требует правильного питания и регулярных тренировок

Psychologies
Как израильский историк был гидом в бывших концлагерях Польши. Глава книги «Монстр памяти» Ишая Сарида Как израильский историк был гидом в бывших концлагерях Польши. Глава книги «Монстр памяти» Ишая Сарида

Отрывок из книги «Монстр памяти» — об интерпретации прошлого

Esquire
Бутылочный метод позволил измерить время жизни нейтрона с рекордной точностью Бутылочный метод позволил измерить время жизни нейтрона с рекордной точностью

Физики представили результаты измерения времени жизни ультрахолодных нейтронов

N+1
Скульптура, состоящая из ассоциаций Скульптура, состоящая из ассоциаций

Скульптура на набережной: что москвичи узнали об искусстве и о самих себе

Наука
Исследование: покупатели больше доверяют компаниям с короткими и простыми названиями Исследование: покупатели больше доверяют компаниям с короткими и простыми названиями

Название бренда влияет на то, как к нему относятся покупатели

Inc.
Карина Андоленко: «Самоирония спасает в любой ситуации» Карина Андоленко: «Самоирония спасает в любой ситуации»

Карина Андоленко об испытаниях, о своем трудоголизме и правильном восстановлении

Здоровье
«Ничего лишнего, простые формы и натуральные материалы»: как Джобс с командой разрабатывали первый магазин Apple Store «Ничего лишнего, простые формы и натуральные материалы»: как Джобс с командой разрабатывали первый магазин Apple Store

Как Том Кобе работал над Apple Store в 1999 году

VC.RU
Стоит ли переплачивать за дорогой корпус для компьютера Стоит ли переплачивать за дорогой корпус для компьютера

В чем преимущества дорогого компьютерного корпуса и стоит ли экономить на нем?

CHIP
Где-то над землей Где-то над землей

Певец Артём Качер — о предстоящей свадьбе и своих отношениях с любимой девушкой

OK!
Hе забывается такое никогда Hе забывается такое никогда

Организаторы светского процесса в двухтысячных делятся подробностями той эпохи

Tatler
О чем не расскажут риэлторы: безопасно ли жить там, где кто-то умер? О чем не расскажут риэлторы: безопасно ли жить там, где кто-то умер?

Стоит ли избегать квартир, в которых произошла смерть?

Psychologies
9 психологических причин болезненных менструаций 9 психологических причин болезненных менструаций

Нередко причины болезненных месячных скрыты в нашей голове

Psychologies
«Все родственники стали смотреть “Доту”». Интервью с киберспортсменами Team Spirit, которые выиграли 18 миллионов долларов «Все родственники стали смотреть “Доту”». Интервью с киберспортсменами Team Spirit, которые выиграли 18 миллионов долларов

«Сноб» поговорил с Team Spirit об их образе жизни, страхах и мечтах

СНОБ
Группа ноль. Что нужно знать о самой редкой группе крови? Группа ноль. Что нужно знать о самой редкой группе крови?

Нулевой резус-фактор — самая редкая группа крови

Esquire
За самозанятость! За самозанятость!

Почему самозанятость — это выгодно и удобно

Лиза
Бывают ли плоские звёзды Бывают ли плоские звёзды

Что такое аккреционные диски?

Популярная механика
Очень сердечный жест Очень сердечный жест

Определить, что причиной боли в груди является сердце, можно с помощью… жестов

Здоровье
Послания Павла: словарь Esquire по советам и мудростям основателя Telegram Послания Павла: словарь Esquire по советам и мудростям основателя Telegram

Главные заветы Павла Дурова

Esquire
Явление кракена Явление кракена

Не все персонажи средневековых бестиариев относятся лишь к сфере мифологии

Вокруг света
Как позаботиться о себе, если у тебя «работа на ногах» Как позаботиться о себе, если у тебя «работа на ногах»

Реально ли избежать постоянной усталости ног от стоячей работы?

Лиза
Что такое NVMe SSD: чем он лучше SATA Что такое NVMe SSD: чем он лучше SATA

Чем NVMe SSD лучше SATA?

CHIP
Первый гирокар в истории: изобретение русского графа Шиловского Первый гирокар в истории: изобретение русского графа Шиловского

Гирокар - это автомобиль, имеющий два или более колёса, расположенных в линию

Популярная механика
Хочешь сладких апельсинов? Хочешь сладких апельсинов?

Истории людей, которые решили разнообразить свою сексуальную жизнь

Лиза
Археологи достали из растаявшего ледника вторую лыжу эпохи викингов Археологи достали из растаявшего ледника вторую лыжу эпохи викингов

Ученые нашли пару лыж, возраст которой около 1300 лет

N+1
«Это смерть за мной приходила»: как самопрограммирование сводит нас в могилу «Это смерть за мной приходила»: как самопрограммирование сводит нас в могилу

Отрывок из книги «Фокус на жизнь» — глава о самореализующихся пропрочествах

Forbes
Как мужчины борются со стереотипами в моде: 10 удачных примеров Как мужчины борются со стереотипами в моде: 10 удачных примеров

Как изменилась мужская мода за последнее время

РБК
Открыть в приложении