Эксперт объяснил «инъекцией» ситуацию с ЖКХ-ботом, начавшим материться

Разработчики ИИ-ассистента для ЖКХ, начавшего материться после общения с клиентами, вероятно, не настроили стоп-темы, в результате чего нейросеть удалось спровоцировать, применив к ней так называемую инъекцию, говорят эксперты

Разработчики отечественного ИИ-ассистента для управляющих компаний в сфере ЖКХ, который пришлось переобучать из-за использования ненормативной лексики, скорее всего, изначально халатно отнеслись к настройке стоп-тем для обсуждения, что позволило «спровоцировать» нейросеть. Об этом в эфире Радио РБК заявил основатель Alternative Technology Future Эдгар Григорян.

«Это называется «инъекция»— когда вы саму нейросеть заставляете ругаться либо, наоборот, рассказывать противоположную информацию»,— объяснил он.

О том, что нейросеть научилась материться после общения с потребителями услуг ЖКХ, ранее рассказал президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов. По его словам, такой «забавный случай» демонстрирует активное взаимодействие системы с реальными пользователями.

По словам Григоряна, часто бывает, что под оболочкой импортозамещенного сервиса скрывается международный продукт либо продукт, сделанный не самим департаментом IT.

Он также рассказал, что, когда в его компании разработчики халатно отнеслись к чат-боту, который отвечал на все запросы пользователей, «какой-то умелец» обучил через «инъекцию» этого бота ругаться матом и критиковать проводимые компанией мероприятия.

«Оттуда мы поняли, что внешний контур очень опасно использовать»,— добавил Григорян.

Гендиректор сервиса Dbrain Алексей Хахунов подтвердил, что нейросети могут спонтанно приобретать неожиданные навыки уже после обучения. В качестве примера он привел одну из зарубежных моделей: будучи обученной на английском языке, в состоянии «грусти» она переключается на русский.

Самый простой способ борьбы с такими эффектами— корректировка базового промпта, объяснил Хахунов. Более сложный метод— alignment, дообучение модели на финальной стадии с участием людей. При этом, подчеркнул он, контролировать можно лишь известные риски: «Заранее предугадать, где и что пойдет не так, достаточно тяжело».

Советник генерального директора по искусственному интеллекту ассоциации «Финтех» Алексей Сидорюк ранее в эфире программы «Таманцев. В итоге» в эфире Радио РБК отмечал, что человечество «прошло точку невозврата» в вопросе взаимодействия с ИИ: люди уже адаптировали эти технологии под жизненные и рабочие ситуации настолько, что откатиться обратно очень сложно. При этом он отметил, что конец 2025 года стал «ямой разочарования» в технологии ИИ.

Читайте РБК в Telegram.

Запись Эксперт объяснил «инъекцией» ситуацию с ЖКХ-ботом, начавшим материться впервые опубликована на сайте Про технологии.