Как Иван Пупырев разработал технологию Soli

ForbesHi-Tech

«Мне говорили, что это никогда не будет работать»: как российский инженер Google научил телефон понимать жесты

Ирина Юзбекова

mg_6963-2-1.jpg__1573649342__99631.jpg
Фото ivanpoupyrev.com

Российский инженер Иван Пупырев в 2014 году начал работать над технологией Soli, которая спустя пять лет позволила Google выпустить первый в мире смартфон, понимающий взмахи рук пользователя — Pixel 4. Forbes поговорил с изобретателем о проблемах, с которыми столкнулись создатели смартфона, о новых проектах российского изобретателя и сложностях в работе с талантливыми людьми.

15 октября 2019 года компания Google презентовала свои новые продукты, в том числе показала следующую версию своего смартфона — Pixel 4. Новинка умеет распознавать пользователя по лицу под любым углом. Кроме того, устройство получило новую технологию — Motion Sense, которая позволяет ему понимать жесты пользователя. Рядом с камерой Pixel 4 расположился мини-радар, который понимает движения рук человека без прикосновения к экрану. Над его созданием в рамках проекта Soli, основанном на технологии радарного датчика, последние пять лет работал Иван Пупырев, руководитель проектов лаборатории Google Advanced Technology and Projects (ATAP), которая занимается нестандартными разработками.

До того, как прийти в Google, Пупырев, выпускник Московского авиационного института (МАИ), успел поработать с Disney и Sony. В Disney он создал 17 интерактивных технологий, часть из которых компания задействовала в своих парках аттракционов. Самая главная из них — Touché, которая позволяла распознавать прикосновения человека к предмету, растению или даже воде.

Работая в Sony, Пупырев еще до появления первого iPhone в 2007 году, предлагал выпустить мобильный телефон с сенсорным дисплеем, но в компании не поддержали эту идею, хотя Пупырев уверен, что японская корпорация могла опередить появление iPhone. Пупырев и его коллеги из Sony придумали другой проект — Gummi. Это небольшой дисплей, на котором для перемещения объектов можно водить пальцем по оборотной стороне устройства. Sony применила технологию задней сенсорной панели на игровой консоли PlayStation Vita, которую выпустила в 2011 году.

Forbes побеседовал с инженером о невербальном взаимодействии человека с техникой, привычке людей к кнопкам, «умных куртках» и «сумасшедших идеях», которые работают.

Чем отличаются технология Soli и датчик Motion Sense в смартфоне Pixel 4?

Motion Sense – это не другая технология, это та же самая Soli. С точки зрения брендинга Pixel 4 в Google решили назвать ее Motion Sense. В телефоне у нее более узкое применение: она должна распознавать взаимодействия пользователя с телефоном. Для того, чтобы пользователю было понятнее, что это за технология, ее назвали Motion Sense.

Какой функционал Soli задействован в смартфоне?

Само по себе технология может делать много вещей. Так как она новая и была создана с нуля, мы решили ограничить ее использование. Кроме того, мы столкнулись с большим количеством технических трудностей при ее внедрении.

Сейчас технология используется для распознавания человеческих действий. Философия применения Soli в интерфейсах состоит в том, что смартфон должен понимать, что вокруг него происходит и это не должно требовать от пользователя каких-то специальных действий. Это то, что мы называем невербальное взаимодействие — без использования голоса или кнопок. Мы заинтересованы в том, чтобы телефон был умный как человек, и понимал, что происходит вокруг, понимал контекст.

Сейчас, например, в нем есть функция, которая позволяет жестом убавить звук звонящего телефона. Можно жестом отключить звонок или будильник. Это очень удобно, потому что когда в семь утра звонит будильник и ты пытаешься проснуться, тебе не надо брать телефон и нажимать какую-то кнопку – ты просто протягиваешь руку и звук отключается сам.

В Pixel 4 есть также технология идентификации пользователя по лицу. Тут всегда возникает вопрос, когда должны включаться камеры распознавания. Если они работают все время, то у вашего телефона быстро сядет батарейка. Поэтому телефон должен распознавать «знаки», которые сигнализируют о том, что пользователь намеревается использовать эту функцию. Soli позволяет нашему телефону понимать намерения. Если Pixel 4 лежит на столе, а рука пользователя протягивается к нему, в этот момент камеры уже активируются и начинают работать еще до того, как владелец поднес телефон к лицу. Эта комбинация сенсоров ускоряет процесс, и сохраняет заряд батарейки.

Последняя функция состоит в том, что когда телефон лежит на столе, а вас рядом нет, то его дисплей выключается. А когда вы подходите к телефону, он снова включается.

Сенсор может делать гораздо больше, но все эти вещи — новые для пользователя. Поэтому мы бы хотели, чтобы пользователи привыкли к тому, что есть сейчас, а потом подумаем о расширении возможностей.

С какими сложностями вы столкнулись при внедрении Soli в Pixel 4?

Внедрение любой технологии, разработанной в лаборатории, в продукт — это долгий и тяжелый процесс. Когда вы работаете над исследованием, вам надо показать, что технология работает хотя бы один раз. Когда вы работаете над продуктом, нужно показать, что технология работает всегда. Вам нужно принять во внимание огромное количество ситуаций, при которых она не будет работать. Что происходит с Soli, когда человек роняет телефон, что происходит, когда другие сенсоры включены, есть ли какое-то ненужное взаимодействие между другими сенсорами и Soli? Ни у одной компании в мире нет опыта внедрения радара в мобильный телефон. Поэтому нет никакой документации на этот счет.

Поскольку индустрия мобильных телефонов уже довольно развитая, большое количество знаний о том, как делать телефон, находится на фабриках. У фабрик, которые делают телефоны, есть много наработанных производственных технологий. Но когда они получают новую технологию, они тоже не знают, что с ней делать. Им нужно выстраивать новую продуктовую линию, тренировать операторов на фабрике, определять возникающие проблемы, потому что они еще никогда не внедряли эту технологию. Нужно учитывать огромное количество деталей, потому что, когда ты выпускаешь миллион телефонов, маленькая деталь может повлиять на тысячи людей.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Как быть, если твой ребенок не такой, как все Как быть, если твой ребенок не такой, как все

Некоторые воплощенные в жизнь фантазии могут выйти боком

СНОБ
Тамара Гвердцители: «Трудно быть толстокожей» Тамара Гвердцители: «Трудно быть толстокожей»

Певица откровенно о том, чем занято ее сердце

StarHit
Рецензия: Каким получился Рецензия: Каким получился

Почему Disney прямо на наших глазах совершает революцию в киноиндустрии

Esquire
От «Паразитов» до «Лобстера»: 10 главных фильмов о (не)справедливости От «Паразитов» до «Лобстера»: 10 главных фильмов о (не)справедливости

Самая справедливая подборка фильмов от Forbes Life

Forbes
Прощание с декадой: чем запомнилась мода 2010-х Прощание с декадой: чем запомнилась мода 2010-х

Вспоминаем минувшие десять лет мужской моды и немного грустим

GQ
Можно ли разучить упражнения по видеокурсу? Можно ли разучить упражнения по видеокурсу?

Насколько реально освоить упражнения по видео и чем это может быть полезно

Psychologies
«Через несколько лет в России будет равенство во всем». Основатель форума «Woman Who Matters» Анна Рудакова о том, зачем бизнесу нужны женщины «Через несколько лет в России будет равенство во всем». Основатель форума «Woman Who Matters» Анна Рудакова о том, зачем бизнесу нужны женщины

Как женская повестка становится главным двигателем прогрессивного бизнеса

Forbes
Сколько зарабатывают российские фигуристы: признания Елизаветы Туктамышевой (видео) Сколько зарабатывают российские фигуристы: признания Елизаветы Туктамышевой (видео)

О призовых, гонорарах и зарплатах спортсменов в российском фигурном катании

Maxim
Какого рожна нам надо? Правильно ли социологи понимают россиян в их желании перемен Какого рожна нам надо? Правильно ли социологи понимают россиян в их желании перемен

До 60% россиян высказались за перемены, притом «решительные и полномасштабные»

СНОБ
Уход дорогого друга: что может потерять Россия после отставки Эво Моралеса Уход дорогого друга: что может потерять Россия после отставки Эво Моралеса

Кризис в Боливии имеет сугубо политические причины

Forbes
«Роскошь обрекает человека на одиночество». Правила потребления основателя KupiVIP Оскара Хартманна «Роскошь обрекает человека на одиночество». Правила потребления основателя KupiVIP Оскара Хартманна

Оскар Хартманн рассказал об отношении к деньгам в Германии и России

Forbes
Viennacontemporary: артодоксия в действии Viennacontemporary: артодоксия в действии

Интервью с владельцем ярмарки современного искусства viennacontemporary

СНОБ
«Когда мертвые не встают, спектакль становится живым». Директор театра им. Станиславского и Немировича-Данченко о новой опере «Когда мертвые не встают, спектакль становится живым». Директор театра им. Станиславского и Немировича-Данченко о новой опере

Антон Гетьман рассказал, почему оперное искусство сейчас важнее всего

Forbes
Наш долг перед Африкой: почему избыточное потребление стало постыдным Наш долг перед Африкой: почему избыточное потребление стало постыдным

Почему нужно несколько раз подумать, прежде чем купить себе новый iPhone

Forbes
Как я перенесла инсульт в 24 года: откровенный рассказ от первого лица Как я перенесла инсульт в 24 года: откровенный рассказ от первого лица

Всё чаще нарушение мозгового кровообращения происходит до 50 лет

Cosmopolitan
Давай пошалим Давай пошалим

Архитекторы превратили традиционное шале в загородный дом с арт-галереей

AD
«Я куда более созвучна с Петербургом, чем с Москвой» «Я куда более созвучна с Петербургом, чем с Москвой»

Паулина Андреева объяснила, почему любит Питер больше, чем Москву

Grazia
Мама или бизнес-леди? Как совмещать любовь к детям и к своему делу Мама или бизнес-леди? Как совмещать любовь к детям и к своему делу

Женщины, которые запустили и развивают свой бизнес, оставаясь любящими мамами

Cosmopolitan
«Я впервые худела не для кого-то, а для себя!» «Я впервые худела не для кого-то, а для себя!»

Юлия Шевель похудела на 55 кг и продолжает удерживать вес

Psychologies
Мужская марка, за которой стоит следить: ODOR Мужская марка, за которой стоит следить: ODOR

Основатель марки ODOR о подходе к работе и любви к винтажным тканям

Esquire
Хранительница знания: как 14-летняя узница Освенцима создала в концлагере подпольную библиотеку Хранительница знания: как 14-летняя узница Освенцима создала в концлагере подпольную библиотеку

Роман, основанный на реальной истории 14-летней узницы концлагеря Диты Краус

Forbes
Бриллианты: синтетические против природных Бриллианты: синтетические против природных

Тема лабораторно выращенных бриллиантов подогревается последние три года

Robb Report
Новогодние приключения Новогодние приключения

Зимние праздники - прекрасное время для путешествий на автомобиле всей семьей

Вокруг света
При живом-то муже... При живом-то муже...

Ты любящая и верная жена. Но периодически у тебя возникают неприличные фантазии?

Лиза
Коктейль «Таблетка» Коктейль «Таблетка»

Чем больше лекарств мы принимаем, тем выше риск опасного взаимодействия

Здоровье
Гонка героя Гонка героя

Кристиан Бейл сыграл знаменитого гонщика в фильме «Ford против Ferrari»

Grazia
На дне города: кто, как и зачем в Москве помогает бездомным На дне города: кто, как и зачем в Москве помогает бездомным

Для многих тарелка горячего супа или стакан чая — возможность выжить

Seasons of life
Федор Бондарчук: «Я по-прежнему идеалист» Федор Бондарчук: «Я по-прежнему идеалист»

Федор Бондарчук – о молодом Голливуде, диджитал-детоксе и восстании машин

Cosmopolitan
Рота, подъем! Рота, подъем!

Учительница Юлии Ковальчук раскрыла тайну, как певица зарабатывала на наряды

StarHit
Как убрать ржавчину в домашних условиях Как убрать ржавчину в домашних условиях

Как избавиться от ржавчины при помощи подручных средств

Cosmopolitan
Открыть в приложении