Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Нашу ближайшую соседку галактику Малое Магелланово Облако рвет на части Нашу ближайшую соседку галактику Малое Магелланово Облако рвет на части

Притяжение Большого Магелланова Облака может разрывать Малое Облако на части

ТехИнсайдер
Пусть не говорят Пусть не говорят

Давай разберемся, чем и почему ты можешь раздражать других сотрудников

VOICE
От полезных советов до создания ИИ-жен: как люди используют чат-ботов От полезных советов до создания ИИ-жен: как люди используют чат-ботов

Как люди пользуются персонифицированными чат-ботами?

Inc.
Пули и дураки Пули и дураки

«Наемный убийца»: авторемейк Джона Ву, которого лучше бы не было

Weekend
Самые безумные и правдоподобные теории заговора про римских пап Самые безумные и правдоподобные теории заговора про римских пап

Какие теории заговора про римских пап были самыми безумными?

Maxim
Разговаривать с собой: нормально ли это? Разговаривать с собой: нормально ли это?

Может ли внутренний диалог принести пользу? Или наоборот — причинить вред?

Psychologies
Розовые горы Пенджикента Розовые горы Пенджикента

Личная и трогательная история Ани, основавшей бренд «Атлас мира»

Seasons of life
Успеть за 24 часа Успеть за 24 часа

Гид по Москве. Программа-минимум для тех, кто первый раз в столице

Лиза
В ожидании полярного сияния. О якутской драме «Чума» В ожидании полярного сияния. О якутской драме «Чума»

Какие темы поднимает фильм Дмитрия Давыдова «Чума»

СНОБ
Как бросить есть: мегахит для худеющих Как бросить есть: мегахит для худеющих

Ozempic стал первым лекарственным хитом XXI века

ТехИнсайдер
Баклажан Баклажан

Все о баклажанах: чем полезны, откуда произошли и что из них приготовить

Здоровье
Голова идет кругом Голова идет кругом

С жалобой на головокружение обычно не спешат к врачу. И напрасно!

Лиза
От древнеримских вилл до дальнего космоса От древнеримских вилл до дальнего космоса

Как умами ученых и политиков овладела перспектива создания ядерного оружия

Наука и техника
Без воды Без воды

Какие у безводной косметики преимущества и недостатки?

Лиза
Природная связь Природная связь

Как общаются существа, у которых нет мозга и вообще нервной системы?

Вокруг света
И снова стать собой! И снова стать собой!

Как вернуть вкус к жизни: 12 рабочих приемов против апатии

Лиза
Где исполняются желания? Где исполняются желания?

В каждом городе мира есть места, где принято бросить монетку на счастье

Лиза
Неврологи описали изменения мозга у беременной женщины Неврологи описали изменения мозга у беременной женщины

Ученые провели 26 томографий беременной, чтобы оценить изменения ее мозга

N+1
Квантовая нейросеть «видит» оптические иллюзии, как человек Квантовая нейросеть «видит» оптические иллюзии, как человек

Что такое квантовое туннелирование и как оно помогает обучать нейросети?

ТехИнсайдер
Кто чего боится Кто чего боится

Каких неожиданных вещей боятся обладатели фобий?

Лиза
Не плохой парень Не плохой парень

Интервью актера Андрея Максимова — о критике и ролях «по вкусу».

СНОБ
Внимание, найден внутренний ребенок Внимание, найден внутренний ребенок

Что такое эго-состояния, можно ли «включать» их в нужный момент?

Grazia
Игрушка: Петрушка Уксусов Игрушка: Петрушка Уксусов

Символ русского театра кукол — Петрушка

КАНТРИ Русская азбука
Куркума и зеленый чай — одни из самых полезных пищевых добавок, из-за которых люди попадают в больницы Куркума и зеленый чай — одни из самых полезных пищевых добавок, из-за которых люди попадают в больницы

Насколько вреден прием популярных растительных добавок, помогающих похудеть?

ТехИнсайдер
Что не продать — переработать Что не продать — переработать

Стоит ли садоводам создавать собственные перерабатывающие мощности

Агроинвестор
Пчелы учат дроны летать роем Пчелы учат дроны летать роем

Как дроны перенимают у пчел манеру полета

ТехИнсайдер
«Да ладно!» Новая теория постройки пирамид выглядит логичной, но ученые в сомнениях «Да ладно!» Новая теория постройки пирамид выглядит логичной, но ученые в сомнениях

Египетские строители доставляли каменные блоки к месту стройки вплавь по каналам

ТехИнсайдер
Над поверхностью Земли Над поверхностью Земли

Существует целое сообщество людей, которым открыто все небо

2Xplore
Укрепление Сибири или совпадение: как объяснить масштабные кадровые перестановки Укрепление Сибири или совпадение: как объяснить масштабные кадровые перестановки

За неполные два года в трети сибирских регионов сменились руководители

ФедералПресс
Любовь наперекор Любовь наперекор

Haval H3 просто обречен на любовь – и плевать на законы физики

ТехИнсайдер
Открыть в приложении