Legen… Wait, Wait… Dary! Разбираемся с рефлексией LLM

Хабр, привет! Меня зовут Андрей Галичин, я младший научный сотрудник группы «Доверенные и безопасные интеллектуальные системы» в Институте AIRI, инженер‑исследователь в лаборатории безопасного искусственного интеллекта SAIL AIRI‑МТУСИ, а также аспирант Сколтеха. Мы с коллегами занимаемся интерпретируемостью больших языковых моделей. В январе этого года, когда все обсуждали впечатляющие результаты новой рассуждающей языковой модели DeepSeek‑R1 (подробный разбор статьи от моего коллеги Антона Разжигаева можно найти здесь), мы задались вопросом: а что на самом деле происходит внутри этих моделей, когда они «думают»?

Главная особенность таких моделей — это способность к рефлексии, самопроверке и сомнениях в своих рассуждениях, которые магическим образом возникают в процессе обучения ("aha moment") и выражаются в использовании моделью человекоподобных фраз типа "Wait", "Alternatively" и других. Однако никто толком не разбирался, откуда они берутся и зачем нужны (работает — не трогай!).

Именно на эти вопросы мы и попытались ответить в нашей новой статье "​I Have Covered All the Bases Here: Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders". Мы обнаружили, что эти фразы — не просто декорация, а действительно важные для модели вещи. Мы спустились на уровень скрытых представлений модели и нашли механизмы, отвечающие за рассуждающие способности. Более того, мы научились их контролировать — усиливая нужные компоненты, мы смогли заставить модель рассуждать глубже и точнее!

В этой статье я коротко расскажу про наши главные выводы.