Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли

ТехИнсайдерHi-Tech

Как думает ChatGPT: эмбеддинг, токены и другая невидимая «начинка» нейросети

33605858518c5af8bc7414c29afab396_ce_2000x1334x0x1.jpg
Freepik

Человеческий язык принципиально неточен: естественной речи обычно сходит с рук некоторая расплывчатость и образность. Что касается компьютерного языка, то он, наоборот, должен быть точен и понятен. С одной стороны, он по своей природе обладает фундаментальной точностью, ведь определяемое им может быть однозначно выполнено на компьютере. Но если речь идет о большой языковой модели, все оказывается не так-то просто. Как на самом деле ИИ понимает человека и что помогает ему формулировать мысли — расскажем в этом материале.

Как мы находим общий язык c ChatGPT и что происходит внутри ИИ-разума? Эти ответы мы нашли в книге Стивена Вольфрама «Как устроен ChatGPT?» от издательства МИФ.

Эмбеддинг слов

Представим, что у нас есть словосочетание «the ___ cat [англ. кошка]». Опираясь на обширный массив текстовых данных в интернете, мы можем определить, какие слова с высокой вероятностью могут заполнить этот пробел. Аналогично, в словосочетании «___ black [англ. черная] ___» мы можем оценить вероятность появления различных сопутствующих слов.

Как можно описать эту задачу с точки зрения нейронной сети? Один из способов — присвоить уникальный идентификационный номер каждому из примерно 50 тысяч наиболее распространенных слов английского языка. Например, артикль the может получить номер 914, а слово cat (с пробелом перед ним) — 3542.

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Что говорит о нас наш дом Что говорит о нас наш дом

Организуя свой дом, мы воплощаем наши неосознанные влечения и инстинкты

Psychologies
Идеальный секс проходит 7 стадий — а у вас нигде нет сбоя? Идеальный секс проходит 7 стадий — а у вас нигде нет сбоя?

Почему может произойти сбой на том или ином из этапов сексуального цикла?

Maxim
6 признаков глупого человека 6 признаков глупого человека

Как понять, кого нужно избегать? Да и нужно ли на самом деле?

Psychologies
Врагу не пожелаешь! Вот почему люди впадают в кому: интересные факты Врагу не пожелаешь! Вот почему люди впадают в кому: интересные факты

Кома — одно из самых загадочных и сложных состояний глубокой потери сознания

ТехИнсайдер
8 удивительных парадоксов, о которых должен знать каждый, кто увлекается психологией 8 удивительных парадоксов, о которых должен знать каждый, кто увлекается психологией

Необычные феномены, которые можно отследить в своих и чужих поступках

Psychologies
Из кожуры арбуза сделали ион-селективные мембраны Из кожуры арбуза сделали ион-селективные мембраны

Китайские материаловеды изготовили ион-селективные мембраны из кожуры арбуза

N+1
Токсоплазма доставила терапевтические белки в нейроны Токсоплазма доставила терапевтические белки в нейроны

Ученые использовали внутриклеточного паразита для доставки белков в нейроны

N+1
Смерть самурая Смерть самурая

Лучший фильм, чтобы проститься с Аленом Делоном

Weekend
Правила взаимности: при каких условиях деловые знакомства превращаются в бизнес-связи Правила взаимности: при каких условиях деловые знакомства превращаются в бизнес-связи

Как нетворкинг-туры помогают договариваться о выгодных контрактах и партнерствах

Forbes
Это должен знать каждый: что делать, если подавился? Как оказать помощь себе и ребенку? Это должен знать каждый: что делать, если подавился? Как оказать помощь себе и ребенку?

Как помочь себе или близкому, если кто-то подавился

ТехИнсайдер
Сколько зарабатывает дальнобойщик и как им стать Сколько зарабатывает дальнобойщик и как им стать

Как стать дальнобойщиком и сколько он зарабатывает, выяснил Autonews.ru

РБК
Как художница Луиз Буржуа осмысляла травматичное детство и материнский опыт Как художница Луиз Буржуа осмысляла травматичное детство и материнский опыт

Каково это — быть способной создать новую жизнь, но ощущать себя несвободной?

Forbes
Вавилонская башня: самые сложные и самые простые языки для изучения Вавилонская башня: самые сложные и самые простые языки для изучения

Почему одни языки легче выучить, чем другие?

ТехИнсайдер
«Стихи Живаго и есть то, что нужно было сказать» «Стихи Живаго и есть то, что нужно было сказать»

Константин Поливанов о том, зачем Пастернаку понадобился доктор Живаго

Weekend
«Может быть, это судьба?»: почему дейтинг-приложения — опасный способ сбежать от одиночества «Может быть, это судьба?»: почему дейтинг-приложения — опасный способ сбежать от одиночества

Как понять, убийца ли тот, с кем вы познакомились в приложении для знакомств?

Psychologies
Почему мы ненавидим в других то, что не принимаем в себе? Почему мы ненавидим в других то, что не принимаем в себе?

Что такое проекция и почему нас раздражает то, что мы не принимаем в себе

Psychologies
Приручить внутренних драконов: советы для любителей спорить и бездумно говорить «да» Приручить внутренних драконов: советы для любителей спорить и бездумно говорить «да»

Проверенные стратегии для укрощения «драконов» — вредных ментальных привычек

Forbes
Кого на самом деле всю жизнь любила Клавдия Шульженко Кого на самом деле всю жизнь любила Клавдия Шульженко

«Я это исполнять не буду. Что за платочки? Банально, приторно!»

Коллекция. Караван историй
Придумал ценники, скидки и супермаркеты: история «короля шоппинга» Фрэнка Вулворта Придумал ценники, скидки и супермаркеты: история «короля шоппинга» Фрэнка Вулворта

История человека, который подарил миру удобный и выгодный шоппинг

ТехИнсайдер
«Все есть копия» «Все есть копия»

Как китайцы начинают работать над новым дизайном этого мира

Правила жизни
Логотип личности Логотип личности

Как дизайн трех знаменитых российских логотипов менялся вместе со страной

Правила жизни
11 идей прелюдии, которые должна попробовать каждая женщина 11 идей прелюдии, которые должна попробовать каждая женщина

Собрали лучшие идеи для прелюдии — выбирай и тестируй!

VOICE
Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй! Только итальянцы? Вот как люди из разных стран используют жесты во время рассказа историй!

Правда ли, что некоторые культуры жестикулируют больше, чем другие?

ТехИнсайдер
Мозг людей, рожденных слепыми, обладает уникальной пластичностью Мозг людей, рожденных слепыми, обладает уникальной пластичностью

Нейронные паттерны визуальной коры у слепых уникальны и не меняются со временем

ТехИнсайдер
Защищает от простуды и рака! Узнайте интересные факты о пользе приправы карри Защищает от простуды и рака! Узнайте интересные факты о пользе приправы карри

Карри: ароматная и полезная для здоровья приправа

ТехИнсайдер
Пиво и сыр помогли японским ботаникам уличить пещерных кузнечиков в распространении семян ринхотехума Пиво и сыр помогли японским ботаникам уличить пещерных кузнечиков в распространении семян ринхотехума

Ринхотехум из семейства геснериевых расселяется за счет пещерных кузнечиков

N+1
«Регион получает специалиста, выпускник — современную программу обучения» «Регион получает специалиста, выпускник — современную программу обучения»

Чему учат на Дальнем Востоке и как работают в макрорегионе федеральные программы

РБК
Терраформирование Марса уже не фантастика Терраформирование Марса уже не фантастика

Для терраформирования Марса необходимо увеличить его температуру на 10°C

ТехИнсайдер
Подводный беспилотник исследовал ледяной шельф, но бесследно исчез Подводный беспилотник исследовал ледяной шельф, но бесследно исчез

Ученые составили карту нижней стороны шельфового ледника Дотсон в Антарктиде

ТехИнсайдер
Касторовое масло топит жир или нет: популярный тренд в TikTok Касторовое масло топит жир или нет: популярный тренд в TikTok

Следуя трендам: поможет ли касторовое масло избавиться от жира на животе?

ТехИнсайдер
Открыть в приложении