ChatGPT плохо справился с краткими пересказами научных статей

Американская ассоциация содействия развитию науки (AAAS) в течение года проверяла, может ли ChatGPT помогать журналистам писать короткие пересказы научных исследований. Спойлер: нет.

С декабря 2023 по декабрь 2024 года команда AAAS выбрала 64 научные работы и попросила ChatGPT сделать по ним краткие обзоры. Для проверки использовались разные промты, а тексты сравнивали с материалами, подготовленными профессиональными журналистами.

Результат оказался слабым. Хотя ChatGPT умел копировать структуру таких заметок, его пересказы часто упрощали или искажали факты, путали причину и следствие, забывали о важных деталях и иногда чрезмерно «раздували» значимость открытий.

Оценки журналистов тоже были низкими: в среднем около 2 баллов из 5 за точность и интересность текста. Только один пересказ получил максимальный балл.