Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Немного от мартышки, немного от шимпанзе: ученые объяснили, почему человек воюет Немного от мартышки, немного от шимпанзе: ученые объяснили, почему человек воюет

Что с нами не так, почему мы развязываем кровавые войны?

Psychologies
Изотопный анализ показал, как питались элита и низшие классы во Франции 1000 лет назад Изотопный анализ показал, как питались элита и низшие классы во Франции 1000 лет назад

​​​​​​​Археологи узнали средневековые диетические практики Франции

ТехИнсайдер
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Как диета с ограничением калорий влияет на рак Как диета с ограничением калорий влияет на рак

Как диета, имитирующая голодание, влияет на здоровые и раковые клетки организма?

ТехИнсайдер
Писатель для бедных. 130 лет со дня рождения Михаила Зощенко Писатель для бедных. 130 лет со дня рождения Михаила Зощенко

О творческом пути Михаила Зощенко, его популярности и травле

СНОБ
«Один на один с жизнью»: почему человек становится жертвой. Отрывок из книги психолога «Один на один с жизнью»: почему человек становится жертвой. Отрывок из книги психолога

Почему человек чувствует себя жертвой? Можно ли этому противостоять?

СНОБ
Солнце мое: как правильно пользоваться санскрином на море и в городе? Солнце мое: как правильно пользоваться санскрином на море и в городе?

Какие важные факты об SPF важно держать в голове?

Правила жизни
3 роскошные альтернативы новому внедорожнику Tank 700. Подробности и цены 3 роскошные альтернативы новому внедорожнику Tank 700. Подробности и цены

Три достойные альтернативы для флагмана Great Wall

РБК
Бег по лавандовому полю за €2 млн: зачем в Париже сделали красивой легкую атлетику Бег по лавандовому полю за €2 млн: зачем в Париже сделали красивой легкую атлетику

Почему французы на Олимпиаде отошли от традиционного кирпично-красного цвета?

Forbes
10 способов ментальной самообороны 10 способов ментальной самообороны

Хотите инструкцию, какие конкретно принять меры против манипуляций?

Psychologies
Сухбат Афлатуни: «Катехон». Фрагмент из романа-головоломки Сухбат Афлатуни: «Катехон». Фрагмент из романа-головоломки

Глава из «Катехона» — истории любви и хроники жизни от Сухбата Афлатуни

СНОБ
Синхронное плавание Синхронное плавание

Владимир Кристовский и его жена Ольга о вдохновении для всех, кто его ищет

Psychologies
Иди и дружи! Иди и дружи!

Как быть, если в книжках дружба есть, а в жизни ребенка – совсем наоборот?

Лиза
Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!» Ксения Таран: «Благодарна Касаткиной, Бурдонскому, Чурсиной за то, что преподали мне свои уроки!»

Театр — это живой организм: как ты к нему относишься, так он и отвечает

Коллекция. Караван историй
Избавиться от травмы: как, зачем и что будет после? Избавиться от травмы: как, зачем и что будет после?

Что делать, чтобы преодолеть травму и начать двигаться вперед?

Psychologies
Новая реальность морских сражений Новая реальность морских сражений

Назначение БЭКов и особенности боевого применения

Обозрение армии и флота
Андрей Миронов. «Он нравился. Он влюблял в себя. В нем была магия...» Андрей Миронов. «Он нравился. Он влюблял в себя. В нем была магия...»

«Быть артистом — это абсолютно его предназначение. Сцена у него затмевала все»

Коллекция. Караван историй
Как готовят будущих «айтишников» в столичных школах Как готовят будущих «айтишников» в столичных школах

Как помочь будущему айтишнику найти свое призвание

Наука и техника
Первая it-girl и «восхитительное пустое место»: Эди Седжвик как икона стиля Первая it-girl и «восхитительное пустое место»: Эди Седжвик как икона стиля

Эди Седжвик — первый модный инфлюенсер середины шестидесятых

Правила жизни
Изменение вектора: как политика отразится на новом поколении Изменение вектора: как политика отразится на новом поколении

Почему власти стали уделять такое внимание развитию подрастающего поколения?

ФедералПресс
Кого поставить в угол Кого поставить в угол

Взрослые глазами детей: у них тоже есть к нам обоснованные претензии!

Лиза
20 советов 20 советов

Советы тренеров со всего мира о том, как привести себя в форму

Men Today
Инвестиции в импортозамещение: их эффект для развития российской промышленности Инвестиции в импортозамещение: их эффект для развития российской промышленности

Какие инвестиции направляются на реализацию импортозамещающих производств сейчас

ФедералПресс
Как и чем убрать царапины на машине своими руками Как и чем убрать царапины на машине своими руками

Какие виды царапин бывают на автомобиле и как их убрать

РБК
Японский бот тебе товарищ Японский бот тебе товарищ

«Санни»: сериал-инструкция по мирному сосуществованию с роботами

Weekend
«Докторская» колбаса и зеленка: вещи, придуманные в СССР, которыми мы пользуемся до сих пор «Докторская» колбаса и зеленка: вещи, придуманные в СССР, которыми мы пользуемся до сих пор

Наработки из СССР, над которыми время оказалось не властно

ТехИнсайдер
Что такое «фанфляция», или почему у вас так мало денег на банковской карте Что такое «фанфляция», или почему у вас так мало денег на банковской карте

«Фанфляция» — на чем строится современная культура потребления

Psychologies
Держись подальше. 7 признаков токсичного партнера Держись подальше. 7 признаков токсичного партнера

Как вычислить токсичного партнера по определенным признакам в поведении

Лиза
Топ-6 мифов о яхтинге в России Топ-6 мифов о яхтинге в России

Развенчиваем главные заблуждения о способе совместить приятное с роскошным

Maxim
Окно в Арктику Окно в Арктику

5 причин отправиться уже сейчас в теплые объятия Русского Севера

Лиза
Открыть в приложении