У моделей ИИ тоже может происходить «интеллектуальный сбой»

Новое исследование показывает, что обучение больших языковых моделей на низкокачественном контенте снижает их когнитивные способности, сообщает Wired.

Такой эффект похож на воздействие короткого вовлекающего контента у людей, что вызывает информационное выгорание. Во время эксперимента две модели обучались на разных видах текста: одна на привычных для подобных моделей, а вот другая – на коротких постах из соцсетей, содержащих упрощенные и рекламные формулировки. Помимо общего ухудшения когнитивных способностей, исследователи обнаружили, что модели, обученные на контенте низкого качества, сложно поддавались переобучению.

Как отметили экспериментаторы: «Чем больше бессмысленного контента расползается по соцсетям, тем больше он загрязняет те самые данные, на которых будут обучаться будущие модели. Наши выводы показывают, что, как только этот вид „информационного выгорания“ укореняется, последующее обучение на качественных данных не может полностью его исправить».

К слову, ранее писали том, как искусственный интеллект научился манипулировать, чтобы одерживать победу в дискуссиях.

Запись У моделей ИИ тоже может происходить «интеллектуальный сбой» впервые появилась PEOPLETALK.