Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Мальчик или девочка? Вероятность рождения сына или дочери не равна 50/50 Мальчик или девочка? Вероятность рождения сына или дочери не равна 50/50

Как возраст матери играет ключевую роль в определении пола будущего ребенка

ТехИнсайдер
Как работают апельсиновые танкеры: удивительные факты о кораблях-соковозах Как работают апельсиновые танкеры: удивительные факты о кораблях-соковозах

Корабли-соковозы: как они доставляют соки по всему миру?

ТехИнсайдер
Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты! Какие ценности есть у ИИ? Ученые изучили Claude и рассказали интересные факты!

Как ИИ выражает свои «принципы» в диалогах с людьми

ТехИнсайдер
Роборука отсоединилась от манипулятора и поползла Роборука отсоединилась от манипулятора и поползла

Роборука передвигается на пальцах и захватывает предметы

N+1
Психология ожиданий: как наши прогнозы формируют реальность Психология ожиданий: как наши прогнозы формируют реальность

Что такое ожидания и почему они имеют над тобой такую власть

VOICE
Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе Дрон-охранник с искусственным интеллектом: как разработчики научили беспилотник следить за порядком в городе

«Контур» — комбинация дрона-охранника и стационарной камеры наблюдения

ТехИнсайдер
Ах, эта язва! Ах, эта язва!

Какого специального лечения зачастую требует стоматит?

Лиза
3 роли, которые вынужденно играют дети в семье родителей-нарциссов 3 роли, которые вынужденно играют дети в семье родителей-нарциссов

«Золотой ребенок», «козел отпущения» — роли детей в семье нарциссов

Psychologies
Жадность города берет Жадность города берет

«Ненасытные люди»: черная комедия, подражающая братьям Коэн

Weekend
«Внеждановщина: Советская послевоенная политика в области культуры как диалог с воображаемым Западом» «Внеждановщина: Советская послевоенная политика в области культуры как диалог с воображаемым Западом»

Что не понравилось Сталину в фильме «Большая жизнь»

N+1
Почему важно заниматься растяжкой: 5 причин Почему важно заниматься растяжкой: 5 причин

Гибкость — один из важнейших аспектов поддержания хорошего самочувствия тела

ТехИнсайдер
Расхламляйся! Расхламляйся!

Как расстаться навсегда с ненужным скарбом?

Лиза
Миллионы чаевых Миллионы чаевых

Как купеческий род Перловых чайную империю создал и потерял

Деньги
Эти модные детали интерьера круто выглядят на картинках, но разочаровывают в быту: предупреждение дизайнера Эти модные детали интерьера круто выглядят на картинках, но разочаровывают в быту: предупреждение дизайнера

Модные интерьерные решения, которые абсолютно непригодны в быту

VOICE
Институт травмы: каждый третий элитный спортсмен пережил опыт насилия в детстве Институт травмы: каждый третий элитный спортсмен пережил опыт насилия в детстве

С насилием в той или иной сфере столкнулись 75% спортсменов

Forbes
Наталия Селиверстова: «Олег Павлович Табаков всегда говорил, что нервы у артиста должны быть железные» Наталия Селиверстова: «Олег Павлович Табаков всегда говорил, что нервы у артиста должны быть железные»

Артисты драмы — люди действия. Так нас учили великие педагоги: решил — делай!

Коллекция. Караван историй
Гигантский оползень в Гренландии услышали сейсмостанции всего мира Гигантский оползень в Гренландии услышали сейсмостанции всего мира

USO вызвало цунами на исследовательской станции в гренландском фьорде Диксон

ТехИнсайдер
«Так живет большинство семей в России»: 4 типа невротичных пар «Так живет большинство семей в России»: 4 типа невротичных пар

Что такое невротичные отношения? Почему мы в них вступаем?

Psychologies
По кругу По кругу

На краю деревни, среди леса стоит дом, в который хочется привести каждого

Seasons of life
Быть и казаться Быть и казаться

«Симон с горы»: тайная жизнь людей с особенностями

Weekend
«Золушка — это я» «Золушка — это я»

Екатерина Вилкова о теме сказок, сказочных ролях и чудесах в жизни

OK!
Теннисистка Анастасия Пивоварова рассказала, как справляться с любыми трудностями Теннисистка Анастасия Пивоварова рассказала, как справляться с любыми трудностями

Теннисистка Анастасия Пивоварова поделилась своими рецептами успеха

Psychologies
Нарушение циркадного ритма привело к воспалению в легких Нарушение циркадного ритма привело к воспалению в легких

С нарушенным циркадным ритмом в дыхательных путях наблюдается воспаление

N+1
С гробом по жизни С гробом по жизни

«Джанго»: один из самых жестоких вестернов в истории

Weekend
Анатомия QR-кодов: как устроены загадочные черно-белые квадраты Анатомия QR-кодов: как устроены загадочные черно-белые квадраты

QR-коды могут содержать разную информацию, как же им удается это все впитывать?

ТехИнсайдер
Неврологи описали изменения мозга у беременной женщины Неврологи описали изменения мозга у беременной женщины

Ученые провели 26 томографий беременной, чтобы оценить изменения ее мозга

N+1
Тёплая осень 1964-го Тёплая осень 1964-го

«Не прошу милости — вопрос решён» — так Никита Хрущёв завершил своё выступление

Дилетант
Отставка Отставка

От заседания Президиума ЦК 13 и 14 октября 1964 г. осталась протокольная запись

Дилетант
10 типов людей, которые всех бесят 10 типов людей, которые всех бесят

Разбираем типажи людей, поведение которых вводит нас в недоумение

Psychologies
Автомобили Автомобили

Рекорды мощности, внимание к деталям и всеобщая цифровизация лучших автомобилей

RR Люкс.Личности.Бизнес.
Открыть в приложении