Мировые тренды, которые со временем окажут влияние и на нашу жизнь

СНОБHi-Tech

Куда нас приведут нейросети

В последние годы в России развитию сферы искусственного интеллекта уделялось немало внимания. Сейчас сложно говорить о том, что будет в стране дальше, но нельзя упускать из виду мировые тренды, которые со временем окажут влияние и на нашу жизнь. О происходящем в науке рассказывает NLP-инженер и исследователь Иван Ильин

tekst.jpg
Иллюстрация: Дарья Орлова

Natural Language Understanding

Область понимания естественного языка находится на переднем крае создания сильного искусственного интеллекта. Ведь язык — это основная система передачи информации от человека к человеку. От современных языковых нейросетей ждут умения делать логические выводы как подтверждения способности к «мышлению».

Гигантские языковые модели, обученные на терабайтах текстовых данных, по-прежнему в трендах мировых компаний. Недавно Facebook* представила OPT-2, Google — PaLM, DeepMind — Gopher и RETRO, Nvidia — Megatron, OpenAI — обновила GPT-3 и выпустила Codex.

За счет увеличения числа параметров и обучения на огромных массивах данных нейросети стали демонстрировать возможность few-shot-обучения. Это способность буквально за пару тренировочных кейсов «по аналогии» решать математические задачи, выдавать ответы на реплики, продолжать повествование и вести диалог.

Обновленная модель GPT-3 от OpenAI теперь умеет редактировать и делать вставки в текст, а не только продолжать его. Поэтому новую версию можно использовать для рерайта, чтобы ускорить работу редакторов. Модель Codex (аналог GPT-3, обученная вместо текста на коде) может генерировать синтаксически корректный и функциональный код по описанию функций комментариями, ускоряя работу программиста. Генерация кода на основе этой модели уже успешно применяется в сервисе GitHub Copilot.

Следующий тренд — инъекция в языковые модели знаний об устройстве окружающего мира с помощью «Википедии» или графов знаний (создание своеобразной «памяти»), что позволило бы им при ответах на вопросы использовать не только контекст и данные из обучающей выборки, но и иметь прямой доступ к фактологической информации. Один из таких примеров — RETRO от DeepMind.

Гигантские языковые модели по-прежнему вотчина глобальных корпораций и их лабораторий, так как для обучения требуются огромные вычислительные ресурсы, высокопрофессиональные инженеры и исследователи в области машинного обучения.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

еуые

Рекомендуемые статьи

Астрономы ищут в океане неизвестный объект, который, вероятно, прибыл из межзвездного пространства Астрономы ищут в океане неизвестный объект, который, вероятно, прибыл из межзвездного пространства

В 2014 году странный объект упал недалеко от побережья Папуа-Новой Гвинеи

ТехИнсайдер
Результат любви несовместимых пород: 5 собак-метисов, которые рассмешат вас своей внешностью Результат любви несовместимых пород: 5 собак-метисов, которые рассмешат вас своей внешностью

Собаки, которые характером и красотой не уступают чистокровным собратьям

ТехИнсайдер
«Захватывает дух»: 5 фильмов про акул-убийц, которые смотрятся на одном дыхании «Захватывает дух»: 5 фильмов про акул-убийц, которые смотрятся на одном дыхании

Фильмы про акул-убийц, основанные на реальных событиях

ТехИнсайдер
Ученые установили, как Ученые установили, как

Зомби-клетки — это клетки, которые продолжают жить, но уже не могут делиться

ТехИнсайдер
И тут неплохо кормят: искусственно выращенная форель оказалась полезнее дикой И тут неплохо кормят: искусственно выращенная форель оказалась полезнее дикой

Российские ученые сравнили разные виды рыб

Вокруг света
Сделай сам: простой походный холодильник из подручных средств? Легко и доступно! Сделай сам: простой походный холодильник из подручных средств? Легко и доступно!

Как сделать оазис холода из "сами знаете чего и палок"

ТехИнсайдер
Палеопаразитологи впервые обнаружили азиатского цепня в древних фекалиях из Ирана Палеопаразитологи впервые обнаружили азиатского цепня в древних фекалиях из Ирана

Палеопаразитологи исследовали 30 образцов палеофекалий

N+1
А вдруг все серьезнее... А вдруг все серьезнее...

Болит спина – и мы спешим на массаж. А может, надо к врачу?

Лиза
Самую большую кувшинку в мире признали отдельным видом Самую большую кувшинку в мире признали отдельным видом

Самая большая кувшинка растет только на севере Боливии

N+1
Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем) Злодеи из кинокомиксов, которые в чем-то правы (и мы им даже сопереживаем)

Суперзлодеи кинокомиксов порой интереснее любого добряка

Maxim
Путеводитель по Ясной поляне Путеводитель по Ясной поляне

Знакомьтесь с бытом, привычками и увлечениями Льва Толстого

Культура.РФ
Своих хватает: звезды, которые пытались, но не смогли прославиться за рубежом Своих хватает: звезды, которые пытались, но не смогли прославиться за рубежом

Кто из российских звезд пытался покорить иностранную сцену

VOICE
Люди дороже денег: как торговые центры привлекают посетителей в кризис Люди дороже денег: как торговые центры привлекают посетителей в кризис

ТРЦ привлекают все больше досуговых концепций, но доходов они почти не приносят

Forbes

Мужчины называют этим термином что угодно, совсем не разобравшись в сути

VOICE
Почему собаки ставят на вас лапы: 9 главных причин Почему собаки ставят на вас лапы: 9 главных причин

Собака ставит на вас лапы? Есть несколько причин, объясняющих такое поведение

ТехИнсайдер
Как и что говорить, чтобы покорить его на первом свидании? Советы, которые работают Как и что говорить, чтобы покорить его на первом свидании? Советы, которые работают

Как сделать так, чтобы он точно перезвонил? Рассказываем

VOICE
Археологи раскопали на дне Саяно-Шушенского водохранилища могилу хуннского воина Археологи раскопали на дне Саяно-Шушенского водохранилища могилу хуннского воина

В одной из могил водохранилища археологи обнаружили останки хуннского воина

N+1
«Первая леди всего мира»: как Элеонор Рузвельт добилась успеха, нарушая все правила «Первая леди всего мира»: как Элеонор Рузвельт добилась успеха, нарушая все правила

Жизнь Элеонор Рузвельт напоминает киносюжет

Forbes
Археологи нашли в Гнездове подтверждение письменных свидетельств о погребальном обряде русов Археологи нашли в Гнездове подтверждение письменных свидетельств о погребальном обряде русов

Археологи сообщили о первых результатах раскопок в Гнездове

N+1
Правда ли, что алмазы горят: 7 интересных фактов о редких драгоценностях Правда ли, что алмазы горят: 7 интересных фактов о редких драгоценностях

Что вы знаете об алмазах?

ТехИнсайдер
Как психологические травмы супергероев Marvel становятся их суперспособностью Как психологические травмы супергероев Marvel становятся их суперспособностью

Проекты Marvel все больше углубляются в психологию героя

Правила жизни
14000-летний архаичный череп из Китая оказался сапиентным 14000-летний архаичный череп из Китая оказался сапиентным

Палеогенетики отсеквенировали ДНК из останков, найденных в пещере Малудун

N+1
Новые русские миллионеры Новые русские миллионеры

Новые русские миллионеры — что это за люди и как они вошли в новую реальность

Правила жизни
Толстый и тонкий Толстый и тонкий

Вес, настроение и даже память могут зависеть от… Состояния кишечника

Лиза
Карла Суарес: «Гавана, год нуля» Карла Суарес: «Гавана, год нуля»

Глава из романа «Гавана, год нуля» — о том, как можно отвлечься от ужаса вокруг

СНОБ
Александра Белякова: «Варианта не быть богатой не было» Александра Белякова: «Варианта не быть богатой не было»

Как Александра Белякова сочетает карьеру певицы и бизнес-коуча

ЖАРА Magazine
От «Твин Пикса» до «Тьмы»: 15 отличных сериалов в жанре мистики, от которых тяжело оторваться От «Твин Пикса» до «Тьмы»: 15 отличных сериалов в жанре мистики, от которых тяжело оторваться

Сериалы о паранормальном, путешествиях во времени и фантастических существах

Правила жизни
Руки прочь! 5 частей тела, которые опасно трогать без необходимости Руки прочь! 5 частей тела, которые опасно трогать без необходимости

Части тела, которые лучше вообще не трогать руками без крайней необходимости

VOICE
«Французский язык в России». Социальная, политическая, культурная и литературная история «Французский язык в России». Социальная, политическая, культурная и литературная история

ВXVIII–XIX веке российское дворянство было всерьез увлечено всем французским

N+1
«Труба – это главный механизм» «Труба – это главный механизм»

Специалист по макроэкономике Олег Буклемишев — во что выгоднее вкладывать деньги

Правила жизни
Открыть в приложении