Сегодня активно обсуждается «коллапс модели». Насколько это опасно?

ТехИнсайдерHi-Tech

Что такое «коллапс модели», чем он угрожает развитию ИИ и человека

Сегодня активно обсуждается так называемый «коллапс модели», явление при котором нейросеть деградирует и перестает работать. Но насколько реалистичны эти прогнозы и что вообще такое этот «коллапс модели»? С этим попробовал разобраться Аарон Дж. Сносвелл научный сотрудник по вопросам ИИ, Квинслендского технологического университета.

Владимир Губайловский

5925e3452d7f503fd3b5c03aa9bd4895_ce_900x600x293x0.jpg
Когда модели изображений искусственного интеллекта обучаются на собственных результатах, они могут создавать искаженные изображения, изуродованные пальцы или странные узоры. Изображения, созданные Sina Alemohammad and others.

Обсуждавшийся еще 2023 году, но ставший популярным совсем недавно «коллапс модели» относится к гипотетическому сценарию, при котором будущие системы ИИ деградируют, потому что обучаются на данных генерируемых ИИ.

Современные системы ИИ строятся на основе машинного обучения. Программисты закладывают математическую структуру, но реальный «интеллект» появляется в результате обучения системы на определенных дата-сетах.

Это не любые данные. Современным генеративным системам ИИ нужны высококачественные данные, причем в большом количестве. 

Сколько надо данных

«Чтобы обучить GPT-3, OpenAI понадобилось более 650 миллиардов английских слов текста — примерно в 200 раз больше, чем вся английская Википедия. Но для этого требовалось собрать почти в 100 раз больше исходных данных из интернета и 98% которых было затем отфильтровано и отброшено», — пишет Аарон Дж. Сносвелл со ссылкой на статью, размещенную на сервере arxiv.

Чтобы получить эти данные, крупные технологические компании, такие как OpenAI, Google, Meta (признана экстремистской организацией на территории РФ) и Nvidia, постоянно сканируют интернет, собирая терабайты контента, чтобы «накормить» машины. Но после появления в 2022 году широкодоступных и полезных систем генеративного ИИ люди все чаще загружают и делятся контентом, частично или полностью созданным ИИ.

В 2023 году исследователи начали задумываться о том, нельзя ли обойтись для обучения только данными, созданными ИИ, вместо данных, сгенерированных человеком.

Для этого есть огромные стимулы. Контент, созданный ИИ гораздо дешевле, чем данные, созданные человеком. Кроме того, его собирание не вызывает сомнений с этической и юридической точек зрения. На него ни у кого нет авторских прав, кроме компании которая его создает. 

Авторизуйтесь, чтобы продолжить чтение. Это быстро и бесплатно.

Регистрируясь, я принимаю условия использования

Рекомендуемые статьи

Почему нам хочется есть: как нейрофизиология объясняет переедание и импульсивные перекусы Почему нам хочется есть: как нейрофизиология объясняет переедание и импульсивные перекусы

Каков ключ к решению проблемы переедания и импульсивных перекусов?

ТехИнсайдер
Сделано в Питере. Сделано по-питерски… Сделано в Питере. Сделано по-питерски…

Как «питерский вайб» влияет на дизайн в бизнесе

Монокль
От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России От бронирования переговорной до входа в бизнес-зал: где используется биометрия в России

Зачем нужна биометрия и как ее использовать в России

ТехИнсайдер
Делиться, не владеть: как меняется рынок шеринга в России и в мире Делиться, не владеть: как меняется рынок шеринга в России и в мире

Почему рынок шеринга переживает бурный рост во всем мире?

ТехИнсайдер
8 доказанных наукой привычек, которые действительно повышают интеллект 8 доказанных наукой привычек, которые действительно повышают интеллект

Какие ритуалы стоит добавить в свою рутину, чтобы стать умнее

Maxim
Мухи с котлетами: почему третий бак не решит проблему переработки пищевых отходов Мухи с котлетами: почему третий бак не решит проблему переработки пищевых отходов

Почему отдельный бак для пищевых отходов не избавит страну от выброшенной еды?

Forbes
На Alibaba нашлась машинка для производства алмазов за скромные деньги. Но есть подвох На Alibaba нашлась машинка для производства алмазов за скромные деньги. Но есть подвох

Можно ли делать алмазы в гараже?

ТехИнсайдер
Аналог полиции и прототип ФБР: история Национального детективного агентства Пинкертона Аналог полиции и прототип ФБР: история Национального детективного агентства Пинкертона

Пинкертоны: одно из первых детективных агентств

ТехИнсайдер
Филипп Чижевский: Человек без специального образования зачастую воспринимает музыку острее, чем искушенный слушатель Филипп Чижевский: Человек без специального образования зачастую воспринимает музыку острее, чем искушенный слушатель

Дирижер Филипп Чижевский — о музыке, путешествиях и эмоциях

СНОБ
Офицерский выбор Офицерский выбор

105 лет назад войска Северо-Западной армии повели наступление на Петроград

Дилетант
Бегство от реальности: 4 истории детского и подросткового эскапизма Бегство от реальности: 4 истории детского и подросткового эскапизма

Истории детей и подростков, которые примеряют на себя образы животных

СНОБ
Сейчас напишут Сейчас напишут

Как бьюти-блогеры меняют индустрию красоты и за что им бывает стыдно

Новый очаг
Теннисистка Анастасия Пивоварова рассказала, как справляться с любыми трудностями Теннисистка Анастасия Пивоварова рассказала, как справляться с любыми трудностями

Теннисистка Анастасия Пивоварова поделилась своими рецептами успеха

Psychologies
«И тянутся города»: как группа из Барнаула прославилась благодаря виральному треку «И тянутся города»: как группа из Барнаула прославилась благодаря виральному треку

Как барнаульцы создали один из самых успешных рок-проектов страны?

Forbes
Как правильно ухаживать за разделочными досками Как правильно ухаживать за разделочными досками

Поддержание досок в идеальном состоянии  — это не просто прихоть «красоты»

ТехИнсайдер
Правильные слова Правильные слова

Сегодня наш язык снова меняется. Действительно ли он при этом портится?

Вокруг света
Карты, деньги, два спеца Карты, деньги, два спеца

Психолог и крупье рассказали RR, как не «подсесть» на игру

RR Люкс.Личности.Бизнес.
Вы поразитесь, почему люди любят боль! Узнайте интересный ответ эксперта Вы поразитесь, почему люди любят боль! Узнайте интересный ответ эксперта

Почему люди испытывают наслаждение от процессов, которые приносят боль?

ТехИнсайдер
Первое свидание и знакомство с родителями: эти правила этикета помогут вам быть на высоте Первое свидание и знакомство с родителями: эти правила этикета помогут вам быть на высоте

Какие правила этикета нужно соблюдать на первой встрече с родителями партнера?

Psychologies
Гений места Гений места

Архыз, Ольхон, Красная Поляна — о любимых маршрутах рассказывают гиды

Новый очаг
Уютное и доброе фэнтези: 5 бестселлеров и новинок для осеннего чтения Уютное и доброе фэнтези: 5 бестселлеров и новинок для осеннего чтения

Атмосферные, согревающие истории поднимут настроение холодными вечерами

Maxim
Наталья Андрейченко «Откровение». Исповедь актрисы Наталья Андрейченко «Откровение». Исповедь актрисы

«Откровение»: о несостоявшихся съемках в «Зимней вишне» и «Интердевочке»

СНОБ
«Я лечила свои раны»: Виктория Маслова рассказала, как ее спасли съемки в сериале «Триггер» «Я лечила свои раны»: Виктория Маслова рассказала, как ее спасли съемки в сериале «Триггер»

Актриса Виктория Маслова о съемках в сериале «Триггер» и экранной героине

VOICE
«Прогноз погоды на сто лет. Как меняется климат Земли и что с этим делать» «Прогноз погоды на сто лет. Как меняется климат Земли и что с этим делать»

Как изменение температуры приводит в движение экосистемы

N+1
Курс на Канны Курс на Канны

Составляем список обязательных к посещению стендов на Cannes Yachting Festival

Y Magazine
Быть и казаться Быть и казаться

«Симон с горы»: тайная жизнь людей с особенностями

Weekend
На пике тренда На пике тренда

Где приобщиться к моде на летний отдых на горнолыжных курортах?

Men Today
Дом над ямой. Победить своих демонов Дом над ямой. Победить своих демонов

Как справиться с безнадежностью — колонка Катерины Мурашовой

СНОБ
Леонардо Ди Каприо, Люк Бессон и Марион Котийяр: как звезды пытаются спасти планету Леонардо Ди Каприо, Люк Бессон и Марион Котийяр: как звезды пытаются спасти планету

Почему Леонардо Ди Каприо и другие звезды занялись защитой планеты?

Forbes
Портрет неизвестного Портрет неизвестного

Кто решает, какое произведение искусства называть шедевром?

СНОБ
Открыть в приложении